ChatGPT는 그렇게 똑똑한데, 왜 회사 일에는 못 쓸까

#범용 AI는 우리 회사 매출을 본 적이 없다

범용 AI 서비스에 "이번 달 우리 지점별 매출이 어떻게 돼?"라고 물으면 답은 금방 나옵니다. 문장은 매끄럽고 표까지 그려 줍니다. 그런데 숫자를 들여다보면 보고서에 옮길 수가 없습니다. 우리 회사 매출을 본 적이 없으니 일반론을 늘어놓거나 그럴듯한 예시 숫자를 만들어 냅니다.

모델이 모자라서가 아닙니다. 답의 재료인 회사 데이터를 읽지 못하고, 회사가 지켜야 할 권한과 기록 규칙을 걸 방법이 없어서입니다.

#똑똑함보다 먼저 갖춰야 할 재료와 규칙

업무에 쓰는 AI라면 똑똑함을 따지기 전에 갖춰야 할 조건이 네 가지 있습니다. 둘은 답의 재료에 관한 것이고, 둘은 회사가 지켜야 할 규칙에 관한 것입니다.

재료부터 보면, AI는 회사 데이터를 알아야 합니다. 사내 규정과 제품 문서, 업무 DB가 답의 재료가 되어야 합니다. 그 데이터도 지금 상태여야 합니다. 오늘 시점의 재고와 주문을 읽어야 합니다. 지난달 보고서에 적힌 숫자로는 부족합니다.

규칙은 권한과 기록입니다. 인사 데이터를 볼 수 없는 사람에게는 AI도 그 데이터를 보여 주면 안 됩니다. 그리고 AI가 무엇을 했는지 남아야 합니다. 어떤 데이터를 조회해 어떤 답을 냈는지 나중에 확인할 수 있어야 책임을 따질 수 있습니다.

#범용 AI는 회사 데이터를 못 보고, 권한도 기록도 걸 수 없다

범용 AI는 인터넷에 공개된 글로 배운 모델이라 회사 안의 DB와 문서를 처음부터 보지 못했습니다. 파일을 올려 주면 그 파일은 읽습니다. 하지만 매번 사람이 자료를 찾아 붙여 넣어야 하고, 올린 파일은 그 순간의 스냅샷일 뿐입니다.

규칙 쪽은 더 어렵습니다. 직원 한 사람 한 사람이 각자 AI 서비스에 자료를 올리는 방식이면 누가 무엇을 봤는지 회사가 알 길이 없습니다. 권한을 걸 방법도, 감사 때 꺼내 보일 기록도 회사에는 없습니다.

#질문한 사람의 권한 안에서 회사 DB를 직접 읽는다

OwlAI는 질문을 받으면 연결된 데이터베이스와 문서, 사내 도구 가운데 필요한 것을 골라 씁니다. 매출을 물으면 회사 DB에 직접 질의해 지금의 숫자를 가져오고, 사내 문서에서 기준을 찾아 함께 답합니다.

무엇을 볼 수 있는지는 관리자가 역할마다 정합니다. 어떤 DB(OwlDB로 연결한 DB는 테이블까지), 어떤 문서 묶음, 어떤 외부 도구를 쓸 수 있는지가 역할에 묶이고, AI는 질문한 사람의 역할 안에서만 움직입니다. SQL은 실행될 때마다 기록으로 남아서, 관리자는 SQL 실행 이력에서 누가 어느 DB에 무엇을 조회했는지 확인합니다.

질문한 사람도 확인할 수 있습니다. 답 위의 사고 과정에 AI가 거친 단계가 쌓이고, 단계를 펼치면 어떤 데이터를 조회해 어떤 결과를 받았는지 보입니다. 숫자를 그대로 보고서에 옮길지는 그 근거를 보고 판단하면 됩니다.

#이 연재가 차례로 답할 질문

「OwlAI 인사이트」는 업무용 AI를 도입하려는 회사가 실제로 부딪히는 질문을 한 편에 하나씩 다룹니다. 회사 DB에 자연어로 묻는 일이 왜 어려운지, 쓸수록 AI가 회사와 사람을 더 잘 알게 되려면 무엇이 필요한지, 반복 업무와 문서 작성을 어디까지 맡길 수 있는지, 보안 담당자가 묻는 반출·권한·감사 문제를 어떻게 다루는지를 차례로 살핍니다.

글마다 같은 주제를 기술적으로 풀어 쓴 「OwlAI 엔지니어링 노트」가 짝으로 붙습니다. 도입 검토를 맡은 IT 담당자에게는 짝 글을 함께 넘기면 됩니다.