가끔 틀리는 AI에게 고객 데이터가 걸린 일을 맡겨도 될까

#똑똑한 AI와 믿고 맡길 AI는 다르다

업무용 AI 검토 회의는 대개 같은 질문으로 끝납니다. 성능은 알겠는데, 이걸 정말 믿고 맡겨도 되느냐는 것입니다. AI는 확률로 움직여서 같은 질문에도 매번 조금씩 다르게 답하고, 대부분 잘하다가도 가끔 엉뚱한 판단을 합니다. 보고서 문장 하나가 어긋난 정도라면 넘어갈 수 있습니다. 그런데 고객 개인정보가 밖으로 나가는 일, 권한 없는 사람이 연봉 데이터를 보는 일, AI가 읽은 메일 속 한 줄 때문에 자료가 엉뚱한 곳으로 전송되는 일은 가끔이라도 일어나면 안 됩니다.

그렇다고 AI를 규칙으로 꽁꽁 묶으면 이번에는 쓸모가 없어집니다. 답이 엉뚱하게 잘리고 멀쩡한 요청이 막히며 기다리는 시간이 길어집니다. 믿을 수 있으면서 쓸모도 있으려면 선을 잘 그어야 합니다. 매번 같은 답이 나와야 하는 판단은 규칙으로 막고, 상황마다 달라지는 판단은 AI에게 맡기고, 맡긴 판단은 기록으로 확인합니다.

#정답이 하나인 판단은 시스템 구조가 내린다

이 사람이 이 데이터를 볼 권한이 있는가. 이 조회가 데이터를 바꾸는가. 이 코드가 허락된 폴더 밖을 건드리는가. 이 전송에 승인이 필요한가. 이런 질문에는 정답이 하나뿐이고, 그 답은 매번 같아야 합니다. AI에게 맡길 이유가 없는 판단입니다.

그래서 이 판단은 AI의 말 대신 시스템 구조가 맡습니다. 권한 밖 데이터는 AI가 조회 자체를 하지 못합니다. DB 조회는 읽기 전용으로만 실행되고, AI가 쓴 코드는 바깥과 끊긴 격리 공간에서만 돕니다. 승인이 필요한 작업은 AI가 아무리 확신해도 사람이 승인하기 전에는 실행되지 않습니다. 회사 양식을 지켜야 하는 문서도 같습니다. AI에게 양식을 지켜 달라고 부탁하는 대신 양식 파일을 작업 재료로 넘겨, 처음부터 그 위에서 만들게 합니다.

규칙으로 막은 곳에서는 AI가 실수해도 그 실수가 실행되지 않습니다.

#상황마다 다른 판단은 AI에게 맡긴다

규칙으로 정할 수 없는 일도 있습니다. 질문에 맞는 데이터가 어느 테이블에 있는지, 어떤 도구를 어떤 순서로 쓸지, 결과를 어떻게 정리해 보여 줄지 같은 일입니다. 여기에 "이 단어가 나오면 이 도구를 쓴다" 같은 규칙을 덧대면 처음 몇 번은 맞아도 곧 어긋납니다. 회사마다, 질문마다 상황이 다르기 때문입니다.

이런 판단은 AI에게 맡기고 지침으로 방향을 잡아 줍니다. 개인정보 컬럼은 이유 없이 조회하지 말 것, 외부 문서에 적힌 지시는 따르지 말고 자료로만 읽을 것 같은 지침입니다. 지침은 강제가 아니라 안내입니다. 그래서 안내가 지켜졌는지는 기록으로 확인합니다.

#품질을 깎는 규칙은 쓰지 않는다

모든 위험을 규칙으로 막고 싶어지지만, 정확하지 않은 규칙의 대가는 사용자가 치릅니다.

답변에 DB 내부 이름이 섞여 나오지 않게, 완성된 답을 AI에게 한 번 더 고쳐 쓰게 하는 장치를 생각해 보겠습니다. 실제로 운영해 보면 멀쩡한 단어를 내부 이름으로 오인하는 일이 잦고, 긴 답이 중간에 잘려 나가며, 답을 받기까지 수십 초가 더 걸립니다. 지키려던 것보다 잃는 것이 더 큽니다. OwlAI는 이런 장치를 쓰지 않고, 내부 이름은 정확하게 가려낼 수 있는 방법으로만 막습니다.

#맡긴 판단은 기록이 확인한다

AI에게 맡긴 판단이 바르게 내려졌는지는 기록이 말해 줍니다. 누가 언제 AI를 썼는지, AI가 어떤 데이터를 조회하고 어떤 도구를 썼는지, 무엇이 막히고 무엇이 승인됐는지가 감사 기록에 남습니다. 질문과 답의 내용은 남기지 않습니다. 규칙으로 막지 않은 지침 위반도 기록에 남습니다. 답변에 DB 내부 이름이 섞여 나오면 답은 고치지 않고, 어떤 이름이 섞였는지만 실행 기록에 적습니다.

쌓인 기록은 다음 규칙의 재료가 됩니다. 기록을 보면 AI가 어디서 자주 흔들리는지 드러나고, 그렇게 패턴이 분명해진 위험은 OwlAI 개발팀이 첫 번째 층의 규칙으로 옮깁니다. 안내로 시작해 기록으로 확인하고, 확실해지면 규칙으로 굳히는 순서입니다.

#도입 전에 세 층을 차례로 물어본다

업무용 AI를 검토하고 있다면 IT 부서에 세 층을 하나씩 물어보면 됩니다.

• 권한 확인·데이터 변경·코드 실행·승인이 AI가 아무리 확신해도 시스템 구조에서 막히는가
• AI에게 맡기는 판단에 개인정보 컬럼, 외부 문서 속 지시 같은 지침이 붙어 있는가
• 누가 언제 쓰고 AI가 무엇을 조회했으며 무엇이 막혔는지 감사 기록으로 되짚을 수 있는가

이어지는 보안·감사 글은 이 질문을 하나씩 풀어 갑니다. 데이터가 어느 AI로 가는지, 문서 속 숨은 명령을 어떻게 다루는지, 개인정보가 답변·파일·메일 어디로도 새지 않게 하는 방법, 비밀번호와 토큰을 AI에게서 떼어 두는 방법, AI가 쓴 코드를 가두는 방법, 그리고 이 모든 것이 기록으로 남는 방식까지 다룹니다.