데모에선 다 똑같은 업무용 AI, 도입 전에 물을 열 가지

데모 화면에서 "지난달 매출 상위 거래처는?"처럼 짧은 질문을 던지면 어느 제품이든 그럴듯한 답을 내놓습니다. 그래서 데모만 봐서는 업무용 AI 사이의 차이를 거의 가릴 수 없습니다.

차이는 그다음에 드러납니다. 회사 데이터를 붙이고, 여러 사람이 매일 쓰고, 보안 감사를 받는 순간입니다. 이 연재에서 다룬 내용을 그 순간을 미리 따져 보는 질문 열 가지로 묶었습니다. 질문마다 괄호 안에 자세히 다룬 글을 달았습니다.

#오늘의 숫자는 질문하는 순간의 DB에서 나와야 한다

1. 지금 이 순간의 회사 데이터를 직접 조회하는가. 오늘의 재고와 주문을 답하려면 미리 복사해 둔 문서가 아니라 업무 DB를 질문 시점에 읽어야 합니다. 부서마다 다르게 쓰는 용어를 데이터와 이어 줄 수 있는지도 함께 물어보세요. (「지금 재고를 물으면 AI 챗봇은 최신 숫자로 답할까」, 「부서마다 매출을 다르게 센다면, AI는 누구 기준으로 답할까」)

2. 자료가 너무 클 때 AI가 그 사실을 아는가. 조회 결과가 AI가 읽을 수 있는 분량을 넘으면 일부만 읽고도 다 읽은 것처럼 답하는 제품이 있습니다. 일부만 봤다는 사실을 AI와 사용자가 모두 알 수 있는지 확인하세요. (「주문이 수만 건이어도 AI는 전부 읽고 답할까」)

#데이터가 갈 곳과 열릴 범위는 회사가 정한다

3. 질문과 데이터는 어느 AI 모델로 가는가. 외부 모델만 쓸 수 있는지, 사내 GPU에 올린 모델을 연결할 수 있는지, 인터넷이 끊긴 망에서도 도는지 물어보세요. 데이터 등급에 따라 보낼 수 있는 모델을 가를 수 있는지도 봐야 합니다. 출구는 답변 하나로 끝나지 않습니다. 생성 파일과 메일 같은 외부 전송 도구까지 하나의 경계와 승인으로 묶여 있는지 확인하세요. (「최신 AI는 쓰고 싶고, 고객 DB는 회사 밖으로 못 내보낸다」, 「답변에서 가린 주민번호, 엑셀 파일에는 그대로 남을까」, 「ChatGPT가 열리지 않는 업무망에서 AI를 쓰려면」)

4. AI가 질문한 사람의 권한 안에서만 일하는가. 권한 밖의 DB와 문서는 AI를 거쳐 물어도 열리지 않아야 합니다. DB에서는 읽기만 하는지, AI가 짠 코드가 격리된 공간에서만 도는지도 확인하세요. (「운영 DB에 AI를 붙이자는 말에 보안팀이 묻는 세 가지」, 「엑셀 정리를 맡기면 AI가 코드를 돌리는데, 검토 없이 돌려도 될까」, 「볼 권한이 없는 데이터를 AI에게 물으면 어떻게 될까」)

#위험한 작업은 사람이 승인하고, 시도는 모두 기록에 남는다

5. 되돌릴 수 없는 작업 앞에서 사람에게 묻는가. 외부 시스템에 쓰는 도구마다 허용, 승인 필요, 차단을 회사가 정할 수 있어야 합니다. 외부 자료에 숨겨 둔 지시를 AI가 따르지 않는지도 물어보세요. (「요약을 맡긴 메일 속 숨은 한 줄, AI는 그 명령을 따를까」, 「잘못 보낸 메일은 못 되돌리는데, AI에게 발송을 맡겨도 될까」, 「AI가 메일을 보내고 이슈를 고치기 시작하면, 승인은 누가 하나」)

6. 누가 무엇을 조회했는지 남고, 감사에 낼 수 있는가. 실행된 쿼리와 거부된 시도, 도구 승인이나 개인정보 가리기 같은 보안 판정, 관리자의 열람까지 기록되는지 보세요. 보존 기간과 내보내기 방법도 확인하세요. (「볼 권한이 없는 데이터를 AI에게 물으면 어떻게 될까」)

#설치와 업데이트도 회사가 미리 점검하고 되돌릴 수 있다

7. 설치 전에 우리 서버가 준비됐는지 알 수 있는가. 운영체제, 보안 정책, 사내 프록시와 인증서 같은 조건을 미리 점검하는 도구가 있으면 설치 당일의 시행착오가 줄어듭니다. (「IT와 보안팀이 서로 기다리는 사이, AI 도입 일정은 늘어진다」)

8. 업데이트를 회사가 승인하고, 실패하면 되돌릴 수 있는가. 검증된 버전만 들어오는지, 적용 전에 자동으로 백업하는지 물어보세요. 실패하면 이전 버전으로 돌아가는지, 몇 버전을 건너뛴 서버도 한 번에 올라오는지도 함께 확인하세요. (「설치형 AI도 업데이트를 안전하게 할 수 있을까」)

#쓸수록 팀의 자산이 쌓이고 회사에 맞춰진다

9. 한 사람이 알아낸 것이 팀의 자산이 되는가. 잘 된 질문과 답을 반복 업무로 만들고, 팀이 함께 쓰고, 결과를 회사 양식 그대로 받을 수 있어야 합니다. (「담당자 머릿속에만 있던 데이터 규칙, 그 사람이 떠나도 AI는 기억할까」, 「매주 만드는 보고서, AI에게 통째로 맡길 수 있을까」, 「AI가 만든 문서를 왜 결국 회사 양식에 다시 옮겨 붙이고 있을까」)

10. 쓸수록 회사에 맞춰지는가. 사용자의 선호와 업무 맥락을 기억하되 그 기억을 회사가 통제할 수 있는지, 회의를 거듭할수록 회의록에 사내 용어가 더 정확히 적히는지 확인하세요. (「매번 붙이는 보고서 조건, AI가 기억하게 할 수 있을까」, 「계정은 막았는데, AI는 퇴사자를 아직 기억할까」, 「사내 용어를 매번 틀리게 받아 적는 회의록, 손으로 고치는 수밖에 없을까」)

#답이 모호한 칸은 시범 도입에서 실제 업무로 확인한다

OwlAI는 열 가지 모두에 그렇다고 답합니다. 다른 제품에서 답이 모호한 칸이 있다면, 시범 도입 기간에 그 칸을 실제 업무로 돌려 보시길 권합니다.