대화가 길어지면 AI는 왜 처음에 정한 조건을 잊을까

#한 시간 전에 정한 조건이 슬그머니 빠진다

분기 실적을 AI와 한 시간째 들여다보고 있습니다. 처음에 "반품은 빼고 국내 지점만 보자"고 정했는데, 어느 순간부터 AI가 내놓는 숫자에 반품이 섞여 있습니다. 다시 말하면 고치지만 조금 지나면 또 잊습니다. 긴 대화를 해 본 사람이라면 한 번쯤 겪어 본 일입니다.

대화가 AI가 한 번에 읽을 수 있는 분량에 가까워지면서 조건을 정한 첫머리가 잘려 나갔기 때문입니다. OwlAI는 대화가 그 지점에 닿으면 앞부분을 아무 표시 없이 잘라 내는 대신 요약본으로 정리합니다.

#AI는 질문마다 대화를 처음부터 다시 읽는다

AI는 대화를 기억해 두지 않습니다. 질문을 받을 때마다 지금까지 오간 대화를 처음부터 다시 읽고 답합니다. 그런데 한 번에 읽을 수 있는 분량에는 상한이 있습니다. 대화가 상한에 가까워지면 어딘가를 덜어 내야 하고, 앞부분부터 아무 표시 없이 잘라 내면 첫머리에서 정한 조건이 가장 먼저 사라집니다. 긴 대화에서 AI가 앞의 이야기를 잊는 이유 가운데 하나가 이것입니다.

#앞부분은 회의록 요약본처럼 한 장으로 남긴다

긴 회의를 마치면 회의록 요약본을 남기듯, OwlAI는 대화가 정해진 지점에 닿으면 앞부분을 정리합니다. 방식은 모델을 제공하는 프로바이더에 따라 둘입니다. 프로바이더가 서버 측 압축 기능을 제공하면 그 기능을 그대로 쓰고, 제공하지 않으면 OwlAI가 자체 압축으로 직접 정리합니다.

OwlAI가 직접 정리할 때 요약본에 반드시 남기는 것은 정해져 있습니다. 처음 원한 목표, 대화 중에 정한 조건과 확인된 사실, 실행한 조회와 그 핵심 결과, 시도했다 실패한 방법과 그 이유, 지금 하던 일과 다음 단계입니다. 덜어 내는 쪽은 조회 결과의 원본 행이나 되풀이된 설명처럼 다시 만들 수 있는 것부터입니다. 가장 최근의 대화와 결과에는 손대지 않습니다. 정리를 여러 번 거쳐도 목표와 조건은 매번 새 요약본에 다시 실립니다.

정리가 일어나면 답 위의 사고 과정에 대화 정리 단계가 나타납니다. AI가 앞부분을 요약해 두고 이어 가고 있다는 사실을 화면에서 바로 알 수 있습니다.

#정리가 언제 일어날지 게이지가 미리 보여 준다

대화가 길어지면 입력창 옆에 컨텍스트 게이지가 나타납니다. 누르면 지금 쓰고 있는 양과 최대치가 숫자로 보입니다. 이 최대치가 곧 정리가 실제로 일어나는 지점이고, 게이지는 대화가 그 절반에 이르렀을 때부터 보입니다.

화면과 내부 동작이 같은 값을 보게 해 두었기 때문에, 게이지가 가득 찼는데 정리가 안 되거나 절반쯤에서 느닷없이 정리되는 일이 없습니다. 게이지가 차오르면 곧 정리가 일어난다고 읽으면 됩니다.

#주제가 바뀌면 새 대화로 시작한다

정리는 자동으로 일어나고 언제 일어날지는 게이지가 미리 알려 주므로, 정리 때문에 따로 할 일은 없습니다. OwlAI의 자체 압축은 원본 행 같은 세부를 먼저 덜어 내고 목표와 조건은 끝까지 지키도록 만들었습니다.

다만 알아 두면 좋은 것이 두 가지 있습니다. 주제가 완전히 바뀌었다면 새 대화로 시작하는 편이 깔끔합니다. 그리고 요약된 적이 있는 대화에서 모델을 바꾸면 새 모델이 대화를 처음부터 다시 읽느라 사용량이 늘어납니다. 그래서 모델을 바꾸기 전에 확인 창이 먼저 뜹니다.