지난 대화에서 정한 기준을 AI가 이어 쓸 수 있을까

지난주의 결론은 대화 목록 어딘가에 묻혀 있다
지난주 AI와 한참 이야기한 끝에 거래처별 미수금을 어떻게 조회할지 정리했습니다. 오늘 비슷한 숫자가 다시 필요한데 그 대화가 어디 있는지 기억나지 않습니다. 대화 목록을 위아래로 훑고 제목이 "새 대화"로만 남은 대화를 하나씩 열어 보다가, 결국 포기하고 처음부터 다시 설명합니다. AI와 일을 많이 할수록 대화는 쌓이고, 그 안에 담긴 맥락을 다시 꺼내기는 그만큼 어려워집니다.
OwlAI에서는 그 대화를 찾는 일을 AI가 맡습니다. "지난번에 미수금 조회할 때 쓴 기준 그대로 다시 뽑아 줘"라고 말하면 AI가 지난 대화에서 그 기준을 찾아와 오늘 질문에 잇습니다.
"지난번 그 기준"이라고 말하면 AI가 찾아온다
AI는 지금 질문이 이전 대화를 가리킨다고 판단하면 질문한 사람의 지난 대화를 검색해 관련된 부분을 가져옵니다. 그때 어떤 테이블을 썼는지, 어떤 조건을 정했는지, 어떤 결론을 냈는지 확인한 뒤 오늘 질문에 이어서 답합니다. 검색은 낱말이 정확히 같지 않아도 뜻이 비슷한 대화를 찾아내므로, 지난주에 쓴 표현을 그대로 기억해 낼 필요가 없습니다.
새 대화를 열어도 맥락은 이어진다
같은 대화 안에서 앞 내용을 기억하는 것은 당연한 일입니다. 어려운 쪽은 새 대화입니다. 주제가 바뀌어 새 대화를 열었는데 예전 맥락이 필요해지는 일이 흔합니다.
그래서 OwlAI는 답이 하나 끝날 때마다 그 질문과 답을 검색할 수 있는 형태로 정리해 둡니다. 새 대화에서 예전 대화가 필요해지면 AI가 이 기록에서 관련 부분만 찾아옵니다. 지난 대화를 통째로 다시 읽히지 않으니, 대화가 쌓여도 새 대화에 실리는 것은 필요한 부분뿐입니다.
사람이 직접 찾고 싶을 때는 사이드바의 통합 검색을 씁니다. 지난 채팅과 회의록 스크립트를 한 번에 검색하고, 결과를 누르면 그 대화나 회의가 바로 열립니다. 자주 보는 대화는 목록 위에 고정해 둘 수 있습니다.
AI가 찾는 대화는 질문한 사람 본인 것뿐이다
AI가 검색하는 대상은 질문한 사람 본인의 대화뿐입니다. 같은 팀 동료의 대화도, 관리자의 대화도 결과에 나오지 않습니다.
팀이 함께 알아야 할 데이터 지식은 이와 따로 테이블 메모로 공유합니다(「담당자 머릿속에만 있던 데이터 규칙, 그 사람이 떠나도 AI는 기억할까」). 개인의 대화와 팀이 공유하는 데이터 지식은 서로 다른 곳에 쌓입니다.
대화를 지우면 검색 대상에서도 빠집니다. 지운 대화의 내용이 나중에 검색으로 다시 나오는 일은 없습니다.
월말 집계도, 며칠에 걸친 분석도 이어서 한다
월말마다 비슷한 집계를 하는 담당자는 "지난달과 같은 방식으로"라는 한마디로 작업을 시작합니다. 여러 날에 걸친 분석은 새 대화에서 "어제 정한 결론대로"라고 말하면 AI가 앞선 결론을 찾아 이어 갑니다. 회의에서 정한 내용을 확인할 때는 통합 검색으로 회의록 스크립트와 관련 채팅을 함께 찾습니다.
같은 일을 정해진 시각마다 반복해야 한다면 한 단계 더 갈 수 있습니다. 잘 된 대화를 그대로 반복 업무로 만드는 방법은 「매주 만드는 보고서, AI에게 통째로 맡길 수 있을까」에서 다룹니다.
도입을 검토한다면 IT 부서에 확인할 것은 두 가지입니다. AI의 대화 검색이 질문한 사람 본인의 대화로만 묶여 있는지, 그리고 지운 대화가 검색에서도 빠지는지입니다.
어떤 기술로 풀었을까요?

엔지니어링 노트 · 메모리와 검색
조사 붙은 검색어는 전문 검색에 안 걸린다, 낱말을 OR로 잇는다
테이블 메모에 「반품 주문은 ORDRTN 테이블에 따로 쌓인다」라고 적혀 있고, 사용자가 「지난달 반품 주문 건수를 알려 줘」라고 묻습니다.

엔지니어링 노트 · 메모리와 검색
개인 메모리는 매 턴 싣고, 고칠 때는 통째로 다시 쓴다
사용자가 「이슈 트래커에서 제 계정은 이 ID예요. 앞으로 내 이슈는 이걸로 찾아 주세요」라고 하면 모델은 「기억하겠습니다」라고 답합니다.

엔지니어링 노트 · 메모리와 검색
조직 경계는 RLS가 지키고, 지울 테이블은 분류표가 정한다
OwlAI SaaS에서는 여러 조직이 PostgreSQL DB 하나를 나눠 씁니다. 한 사람이 두 조직에 속할 수도 있습니다. 이 구조에서 조직을 가르는 일을 쿼리마다 맡기면 두 군데서 깨집니다.
쓸수록 나아지는 AI의 다른 글

인사이트 · 쓸수록 나아지는 AI
매번 붙이는 보고서 조건, AI가 기억하게 할 수 있을까
AI에게 보고서 초안을 부탁할 때마다 같은 조건을 붙입니다.

인사이트 · 쓸수록 나아지는 AI
담당자 머릿속에만 있던 데이터 규칙, 그 사람이 떠나도 AI는 기억할까
어느 회사에나 데이터의 함정을 아는 고참이 있습니다.

인사이트 · 쓸수록 나아지는 AI
계정은 막았는데, AI는 퇴사자를 아직 기억할까
영업 담당자 한 명이 회사를 떠났습니다. 계정은 막았지만 그 사람이 몇 달 동안 AI에게 알려 준 거래처 사정과 담당 업무, AI와 나눈 대화는 그대로 남아 있습니다.