주문이 수만 건이어도 AI는 전부 읽고 답할까

#자료 대부분이 사라져도 화면은 조용하다

AI에게 "올해 주문 내역을 보고 이상한 거래를 찾아 줘"라고 시킵니다. AI는 주문 3만 건을 조회하고 몇 건을 짚어 "전체를 검토한 결과 이상 거래는 5건"이라고 보고합니다. 오류도 경고도 뜨지 않습니다.

그런데 AI가 실제로 읽은 것은 받은 자료의 극히 일부였을 수 있습니다. 나머지가 아무 표시 없이 버려졌다면 "3만 건 가운데 5건"은 수백 건만 보고 쓴 보고입니다. 업무용 AI에서 찾기 어려운 오답이 이런 모양입니다.

#AI가 한 번에 읽는 양에는 상한이 있다

AI 모델이 한 번에 읽을 수 있는 분량에는 상한이 있고, 회사 DB를 조회하면 그 상한을 단번에 넘는 결과가 쉽게 나옵니다. 그때 무슨 일이 벌어지는지 상용 AI 서비스로 직접 시험했습니다. 입력 상한이 27만 2천 토큰(토큰은 AI가 글을 세는 단위)인 모델에 129만 토큰짜리 조회 결과를 보내자, 서비스는 오류 없이 정상 응답을 돌려주었습니다. 들여다보니 결과의 94.4%를 잘라 내고 나머지만 모델에 넘긴 상태였습니다. 모델은 결과를 다 받았다고 믿은 채 답했습니다.

긴 대화를 요약하는 기능도 이 경우에는 소용이 없습니다. 요약하려면 원문을 먼저 읽어야 하는데, 조회 결과 하나가 이미 상한을 넘었기 때문입니다.

#틀린 답이 정상 답과 똑같이 생겼다

이 오답에는 겉으로 드러나는 흔적이 없습니다. 화면에 오류가 없으니 사용자는 의심할 이유가 없고, 답은 자신 있는 문장으로 쓰여 있습니다. 보호 장치가 없으면 아주 큰 조회 결과가 실린 요청에서 자료 대부분을 잃은 채 정상 답변처럼 나가는 일이 실제로 관측됩니다. OwlAI가 아래 장치를 넣은 이유입니다.

#줄여서 읽히되, 줄였다고 알린다

OwlAI는 도구 결과(AI가 DB 조회 같은 작업을 시켜 돌려받은 자료) 하나에 크기 상한을 둡니다. 상한을 넘은 결과는 앞부분과 구조를 남기는 방식으로 줄여서 AI에게 넘기고, 줄였다는 사실을 분명히 알립니다. 전체를 본 것처럼 말하지 말 것, 실제로 받은 건수를 밝힐 것, 나머지가 빠졌다고 말할 것도 함께 지시합니다.

원본은 버리지 않고 파일로 보관합니다. AI는 같은 조회를 다시 돌리는 대신 이 파일을 필요한 만큼 나눠 읽거나 값을 찾아 가며 답을 이어 갑니다. 사용자가 조회 결과 자체를 파일로 달라고 했다면 원본 파일을 그대로 내려받을 수 있게 붙입니다. 화면의 단계 상세에도 결과가 길어 앞부분만 표시한다는 안내가 보입니다.

#도입 전에 물어볼 세 가지

큰 자료를 다루는 업무에 AI를 들인다면 도입 전에 아래 세 가지를 물어보시길 권합니다.

• 받은 자료가 너무 클 때 AI가 그 사실을 아는가
• 사용자에게도 일부만 봤다고 알려 주는가
• 잘린 나머지를 다시 볼 방법이 있는가

OwlAI는 세 질문 모두에 그렇다고 답합니다. 하나라도 답이 모호한 AI라면, 그 AI가 내놓는 큰 숫자는 한 번 더 확인해야 합니다.