인사이트쓸수록 나아지는 AI

지난 대화에서 정한 기준을 AI가 이어 쓸 수 있을까

지난주의 결론은 대화 목록 어딘가에 묻혀 있다

지난주 AI와 한참 이야기한 끝에 거래처별 미수금을 어떻게 조회할지 정리했습니다. 오늘 비슷한 숫자가 다시 필요한데 그 대화가 어디 있는지 기억나지 않습니다. 대화 목록을 위아래로 훑고 제목이 "새 대화"로만 남은 대화를 하나씩 열어 보다가, 결국 포기하고 처음부터 다시 설명합니다. AI와 일을 많이 할수록 대화는 쌓이고, 그 안에 담긴 맥락을 다시 꺼내기는 그만큼 어려워집니다.

OwlAI에서는 그 대화를 찾는 일을 AI가 맡습니다. "지난번에 미수금 조회할 때 쓴 기준 그대로 다시 뽑아 줘"라고 말하면 AI가 지난 대화에서 그 기준을 찾아와 오늘 질문에 잇습니다.

"지난번 그 기준"이라고 말하면 AI가 찾아온다

AI는 지금 질문이 이전 대화를 가리킨다고 판단하면 질문한 사람의 지난 대화를 검색해 관련된 부분을 가져옵니다. 그때 어떤 테이블을 썼는지, 어떤 조건을 정했는지, 어떤 결론을 냈는지 확인한 뒤 오늘 질문에 이어서 답합니다. 검색은 낱말이 정확히 같지 않아도 뜻이 비슷한 대화를 찾아내므로, 지난주에 쓴 표현을 그대로 기억해 낼 필요가 없습니다.

새 대화에서 “지난번 그 기준”을 찾아 이어 답하는 AI
그림 1. 새 대화에서 “지난번 그 기준”을 찾아 이어 답하는 AI

새 대화를 열어도 맥락은 이어진다

같은 대화 안에서 앞 내용을 기억하는 것은 당연한 일입니다. 어려운 쪽은 새 대화입니다. 주제가 바뀌어 새 대화를 열었는데 예전 맥락이 필요해지는 일이 흔합니다.

그래서 OwlAI는 답이 하나 끝날 때마다 그 질문과 답을 검색할 수 있는 형태로 정리해 둡니다. 새 대화에서 예전 대화가 필요해지면 AI가 이 기록에서 관련 부분만 찾아옵니다. 지난 대화를 통째로 다시 읽히지 않으니, 대화가 쌓여도 새 대화에 실리는 것은 필요한 부분뿐입니다.

사람이 직접 찾고 싶을 때는 사이드바의 통합 검색을 씁니다. 지난 채팅과 회의록 스크립트를 한 번에 검색하고, 결과를 누르면 그 대화나 회의가 바로 열립니다. 자주 보는 대화는 목록 위에 고정해 둘 수 있습니다.

AI가 찾는 대화는 질문한 사람 본인 것뿐이다

AI가 검색하는 대상은 질문한 사람 본인의 대화뿐입니다. 같은 팀 동료의 대화도, 관리자의 대화도 결과에 나오지 않습니다.

팀이 함께 알아야 할 데이터 지식은 이와 따로 테이블 메모로 공유합니다(「담당자 머릿속에만 있던 데이터 규칙, 그 사람이 떠나도 AI는 기억할까」). 개인의 대화와 팀이 공유하는 데이터 지식은 서로 다른 곳에 쌓입니다.

대화를 지우면 검색 대상에서도 빠집니다. 지운 대화의 내용이 나중에 검색으로 다시 나오는 일은 없습니다.

월말 집계도, 며칠에 걸친 분석도 이어서 한다

월말마다 비슷한 집계를 하는 담당자는 "지난달과 같은 방식으로"라는 한마디로 작업을 시작합니다. 여러 날에 걸친 분석은 새 대화에서 "어제 정한 결론대로"라고 말하면 AI가 앞선 결론을 찾아 이어 갑니다. 회의에서 정한 내용을 확인할 때는 통합 검색으로 회의록 스크립트와 관련 채팅을 함께 찾습니다.

같은 일을 정해진 시각마다 반복해야 한다면 한 단계 더 갈 수 있습니다. 잘 된 대화를 그대로 반복 업무로 만드는 방법은 「매주 만드는 보고서, AI에게 통째로 맡길 수 있을까」에서 다룹니다.

도입을 검토한다면 IT 부서에 확인할 것은 두 가지입니다. AI의 대화 검색이 질문한 사람 본인의 대화로만 묶여 있는지, 그리고 지운 대화가 검색에서도 빠지는지입니다.

어떤 기술로 풀었을까요?

쓸수록 나아지는 AI의 다른 글