챗봇은 지난달 보고서의 숫자를 읽는다
영업 담당자가 사내 AI 챗봇에 "A 제품 지금 재고 몇 개야?"라고 묻습니다. 챗봇은 지난달 말에 올라온 재고 보고서를 찾아 거기 적힌 숫자로 답합니다. 문장은 자신 있지만 숫자는 한 달 전 것입니다.
챗봇이 고장 난 것은 아닙니다. 읽을 수 있는 것이 문서뿐이라 가장 최근 문서의 숫자를 가져왔을 뿐입니다. 오늘의 재고는 문서가 아니라 업무 시스템의 데이터베이스(DB)에 있습니다. OwlAI는 숫자를 묻는 질문을 받으면 연결된 DB를 그 자리에서 조회해 답합니다.
문서는 쓰인 날에 멈춰 있다
이런 챗봇은 대개 문서 검색으로 답합니다. 질문과 비슷한 문서 조각을 찾아 AI에게 읽히고, AI는 그 조각을 근거로 답을 씁니다. 업계에서는 RAG(검색 증강 생성)라고 부릅니다. 규정, 절차, 제품 설명처럼 잘 바뀌지 않는 지식을 물을 때는 꽤 쓸 만합니다.
걸리는 곳은 문서가 쓰인 시점에 멈춰 있다는 점입니다. 재고, 주문, 미수금처럼 매일 움직이는 숫자는 문서에 담기는 순간 과거가 됩니다. 문서 검색 AI가 알 수 있는 것은 누군가 가장 최근에 정리해 둔 숫자까지입니다.
질문이 조금만 달라져도 막힙니다. 보고서에 지점별 합계만 있다면 "서울 지점의 지난주 반품률"은 어느 문서에도 없습니다. 원본 데이터를 다시 집계해야 나오는 숫자이기 때문입니다.
"몇 개"와 "얼마나"의 답은 DB에 있다
현업에서 오가는 질문에는 "얼마나", "몇 개", "누가 가장"으로 시작하는 것이 많습니다. 이런 질문의 답은 업무 시스템의 DB에 있습니다. 지금까지는 담당자가 시스템에서 데이터를 뽑아 엑셀로 정리했고, 그 결과가 보고서로 돌아오기까지 며칠이 걸렸습니다.
숫자는 DB에서, 기준은 문서에서 찾는다
OwlAI는 문서 검색과 DB 조회를 둘 다 도구로 씁니다. 무엇이 필요한지는 질문을 받은 AI가 판단합니다. 규정을 물으면 문서를 찾고, 숫자를 물으면 연결된 DB에 직접 질의하고, 둘 다 필요하면 둘 다 씁니다. "우리 반품 기준으로 이번 주 반품 대상 주문이 몇 건이야?"라고 물으면 규정 문서에서 기준을 찾은 뒤 그 기준으로 주문 데이터를 조회합니다.
DB 조회는 질문할 때마다 새로 실행되므로 답에는 묻는 시점의 데이터가 들어갑니다. 조회 결과는 표로 붙어서 바로 복사하거나 엑셀 파일로 받을 수 있습니다. 어떤 조회를 거쳤는지는 답 위의 사고 과정을 펼쳐 확인합니다.
DB의 데이터는 바꾸지 않습니다. OwlAI는 연결된 DB를 읽기만 하고, 관리자가 역할별로 허용한 DB만 조회합니다. OwlDB로 연결한 DB는 테이블 단위까지 나눠 열 수 있습니다. 이 부분은 「운영 DB에 AI를 붙이자는 말에 보안팀이 묻는 세 가지」에서 자세히 다룹니다.
보고서 주기를 기다리지 않아도 된다
달라지는 것은 숫자를 손에 쥐기까지의 시간입니다. 현업 담당자는 궁금한 숫자를 그 자리에서 묻고, 조건을 바꿔 다시 묻습니다. 데이터 담당자에게 오던 단순 추출 요청이 줄어듭니다. 경영진은 정기 보고서와 보고서 사이에도 지금의 숫자를 봅니다.
정리된 보고서는 여전히 필요합니다. 다만 "지금 몇 개야?" 한 줄 때문에 다음 보고서를 기다릴 필요는 없습니다. 도입을 검토한다면 사내 챗봇에 실제로 들어오는 질문 가운데 숫자를 묻는 질문이 얼마나 되는지, 그 숫자가 어느 DB에 있는지부터 짚어 보면 됩니다.
