인사이트 · 보안과 감사
가끔 틀리는 AI에게 고객 데이터가 걸린 일을 맡겨도 될까
업무용 AI 검토 회의는 대개 같은 질문으로 끝납니다. 성능은 알겠는데, 이걸 정말 믿고 맡겨도 되느냐는 것입니다. AI는 확률로 움직여서 같은 질문에도 매번 조금씩 다르게 답하고, 대부분 잘하다가도 가끔 엉뚱한 판단을 합니다. 보고서 문장 하나가 어긋난 정도라면 넘어갈 수 있습니다.
✦ OwlAI 블로그업무용 AI를 만들며
업무용 AI를 만들며
마주한 질문들
회사 데이터와 대화하고, 일을 맡기고, 믿을 수 있게 만드는 방법을 기록합니다.
추천 글
인사이트 · 회사 DB에 묻기
AI가 짠 SQL은 돌아가는데, 매출 숫자는 왜 틀릴까
데모에서는 감탄이 나옵니다. "지난달 가장 많이 팔린 제품 다섯 개"를 묻자마자 AI가 SQL(데이터베이스 조회 언어)을 짜서 정확한 답을 내놓습니다.
엔지니어링 노트 · 대화 엔진
큰 도구 결과는 프로바이더가 자르기 전에 줄이고, 줄였다고 알린다
수십만 행을 돌려준 조회나 MCP 서버가 보낸 거대한 JSON처럼, 도구 결과 하나가 모델의 입력 상한을 한 번에 넘을 때가 있습니다.
인사이트 · 보안과 감사
답변에서 가린 주민번호, 엑셀 파일에는 그대로 남을까
고객 문의 데이터를 분석해 달라고 했더니 AI의 답에 고객 전화번호가 그대로 찍혀 나옵니다. 개인정보를 가리는 장치를 붙이자 채팅 답변은 깔끔해졌습니다.
엔지니어링 노트 · 보안과 감사
답변만 검사하면 엑셀과 이슈 댓글로 샌다, 세 경로를 한 곳에서 검사한다
고객 문의를 분석하는 대화에서, 원문 열람 권한이 없는 사람이 보는 답변에는 전화번호가 [전화번호-1]로 가려져 있습니다(「답변에서 지운 전화번호도 모델은 이미 읽었다, 도구 결과에서 가린다」).
인사이트 · 매일 쓰는 대화와 회의
주문이 수만 건이어도 AI는 전부 읽고 답할까
AI에게 "올해 주문 내역을 보고 이상한 거래를 찾아 줘"라고 시킵니다. AI는 주문 3만 건을 조회하고 몇 건을 짚어 "전체를 검토한 결과 이상 거래는 5건"이라고 보고합니다.
엔지니어링 노트 · 설계 원칙과 아키텍처
권한은 코드로 막고, 판단은 모델에 맡긴다
OwlAI의 에이전트는 사내 DB와 문서를 읽고, 웹 페이지와 커넥터(MCP 서버처럼 회사가 OwlAI에 연결한 외부 서비스)의 결과도 읽습니다.