
업무용 AI를 들이기로 한 첫 회의에서 IT는 어떤 서버를 준비하느냐고 묻고, 보안팀은 무엇이 회사 밖으로 나가느냐고 묻고, 현업은 언제부터 써 볼 수 있느냐고 묻습니다. 누가 언제 무엇을 맡는지 이 자리에서 정하지 않으면 세 부서는 서로의 답을 기다리고, 일정은 그 사이에 늘어납니다.
설치형 OwlAI 도입은 준비, 설치, 데이터 연결, 검증, 확산의 다섯 단계를 거칩니다. 단계마다 맡을 사람을 미리 정해 두면, 다음 단계로 넘어갈 때 일을 받을 사람을 찾느라 멈추지 않습니다. SaaS는 1·2단계 없이 가입한 뒤 3단계부터 시작합니다.
서버보다 AI 모델을 어디서 돌릴지를 먼저 정한다
준비 단계에서 가장 먼저 정할 것은 도입 형태와 AI 모델 구성입니다. 외부 AI 모델을 쓸지, 사내 GPU 모델만 쓸지, 둘을 섞을지에 따라 준비물이 달라집니다. OwlAI 서버는 메모리 16GB, 디스크 80GB 이상의 리눅스 서버를 권장하고, 자체 호스팅 모델을 쓴다면 GPU 서버가 따로 있어야 합니다.
네트워크와 보안 쪽 확인도 이 단계에 몰립니다. 서버 주소에 쓸 HTTPS 인증서, 사내 프록시와 인증서 가로채기 장비가 있는지, 외부로 나가야 하는 주소가 방화벽에 열려 있는지, 서버 보안 정책이 AI 코드 실행을 격리하는 데 필요한 기능을 막고 있지 않은지를 봅니다. 보안팀의 검토도 이때 시작하는 편이 좋습니다.
설치 전 점검 도구로 서버 준비 상태를 미리 확인한다
설치 전에는 함께 제공하는 점검 도구를 돌립니다. 이 도구는 서버를 아무것도 바꾸지 않고 상태만 읽어서, 운영체제·도커 버전·디스크·네트워크 대역 충돌·인증서·보안 모듈 설정을 항목마다 통과·경고·실패로 알려 줍니다. 실패한 항목에는 고칠 방법이 함께 나오므로, 설치 날 전에 서버를 미리 맞춰 둘 수 있습니다.
점검을 통과하면 설치 키트를 풀고 설정값과 라이선스 파일을 넣은 뒤 이미지를 적재해 서비스를 띄웁니다. 첫 관리자로 로그인해 AI 모델 연결을 확인하면 설치가 끝납니다.
DB 계정을 만드는 SQL은 화면이 써 준다
업무 DB는 화면에서 연결합니다. OwlAI는 DB를 읽기만 하므로, 조회 권한만 있는 계정을 만드는 SQL을 화면이 보여 줍니다. DBA에게 그대로 전하면 됩니다. 연결한 뒤에는 테이블 구조와 컬럼 의미를 미리 분석해 두어, AI가 질문에 맞는 테이블을 찾게 합니다. 사내 문서는 올려서 문서 모음으로 묶고, 필요한 사내 시스템은 커넥터로 붙입니다. 마지막으로 역할을 만들어 누가 어떤 DB와 문서를 쓸지 정합니다.
확산 전에 시범 부서의 실제 질문으로 확인한다
한두 부서를 골라 실제 업무 질문으로 써 봅니다. 자주 묻는 질문에 정확히 답하는지, 권한 밖 데이터가 막히는지, 회의록과 문서가 회사 양식에 맞게 나오는지를 봅니다. 사용자가 남긴 답변 평가와 활동 기록을 보면 어디를 다듬을지 드러납니다. 잘 되는 질문은 플레이북(반복 업무를 정해진 순서로 돌리는 작업 흐름)으로 만들어 정기 업무로 옮깁니다.
전사 확산은 가입 정책과 기본 역할부터 정한다
전사로 넓힐 때는 가입 정책과 기본 역할을 먼저 정해 둡니다. 그러면 새 사용자가 들어올 때마다 권한을 따로 손볼 일이 줄어듭니다. 사람마다 사용 한도를 두고, 업데이트를 누가 언제 승인할지와 백업 방식을 운영 절차로 정합니다. 사용자 교육에는 기능별 사용자 매뉴얼을 씁니다.
서버는 IT가, 반출 경로는 보안팀이, 결과 검증은 현업이 맡는다
| 담당 | 주로 맡는 일 |
|---|---|
| 고객 IT | 서버·GPU 준비, 네트워크·인증서, 설치와 운영 |
| 고객 보안 | 데이터 반출 경로·권한 체계 검토, 보안 정책 확인 |
| 고객 현업 | 시범 업무 선정, 업무 질문·양식 제공, 결과 검증 |
| OwlAI | 설치 지원, 데이터 연결과 분석 지원, 검증·교육 지원 |
기간은 회사 규모보다 GPU 서버와 보안 검토가 정한다
가장 길어지기 쉬운 것은 준비 단계입니다. GPU 서버를 확보하는 시간과 보안 검토에 걸리는 시간이 그대로 일정이 됩니다. 설치는 점검 도구가 낸 실패 항목을 얼마나 빨리 고치느냐에 달려 있고, 점검을 통과한 뒤의 설치 자체는 정해진 절차를 따릅니다.
데이터 연결 단계의 테이블 분석은 분석할 테이블이 많을수록 오래 걸립니다. 테이블마다 분석이 한 번씩 돌기 때문인데, 사내 실운영 환경에서는 270여 개 테이블 분석이 16분 남짓에 끝났습니다(2026년 10월 관측). 분석하지 않은 테이블은 답에 쓰이지 않으니, 질문에 쓰지 않을 테이블은 분석에서 빼 두면 시간도 줄고 AI가 엉뚱한 테이블을 고를 일도 줄어듭니다. 검증은 시범 부서가 실제 업무를 한 주기 돌려 보는 만큼 걸립니다.
그래서 첫 회의에서 정할 것은 GPU 서버를 언제 확보할지, 보안 검토를 언제 시작할지, 어느 부서가 시범을 맡을지입니다. 도입 상담에서도 이 요인을 함께 짚어 일정을 잡습니다.
어떤 기술로 풀었을까요?

엔지니어링 노트 · 설치·운영과 품질
설치 전 점검은 호스트를 읽기만 하고, 고칠 명령은 사람에게 넘긴다
구축형 OwlAI는 고객이 고른 호스트 한 대에 Docker Compose로 올라갑니다. 배포판과 커널, 도커 판, 보안 모듈, 인증서는 고객마다 다릅니다.

엔지니어링 노트 · DB 연결과 OwlDB
인증서 오류는 검증을 끄지 않고, 빠진 CA와 틀린 이름을 고쳐서 푼다
기업망에 설치한 OwlAI가 클라우드 LLM이나 고객 DB에 TLS로 붙을 때, 인증서 오류가 나는 경우는 크게 둘입니다.

엔지니어링 노트 · 설치·운영과 품질
도커 주소 풀은 설치하는 사람이 정하고, 점검은 사내 대역과 대조한다
구축형 OwlAI를 기업망 호스트에 설치하고 몇 주 뒤, 어제까지 붙던 사내 DB나 추론 서버에 컨테이너에서 닿지 않는 날이 올 수 있습니다. 같은 호스트의 셸에서도 닿지 않습니다.

엔지니어링 노트 · 설치·운영과 품질
사내 프록시 뒤에서는 NO_PROXY를 대역 대신 이름과 IP로 적는다
사내 프록시로만 밖에 나갈 수 있는 기업망에 구축형 OwlAI를 설치하면, 클라우드 LLM으로 가는 호출은 HTTPSPROXY를 따라 프록시로 나가야 합니다.
도입과 운영의 다른 글

인사이트 · 도입과 운영
보안팀이 클라우드는 안 된다고 하면, 업무용 AI는 어디에 둘까
업무용 AI 도입을 검토하는 자리에서 「이거 클라우드에 올려도 되나」라는 질문이 나오면 논의가 길어집니다. 빨리 시작하려면 클라우드가 편한데, 데이터를 생각하면 사내에 두고 싶습니다.

인사이트 · 도입과 운영
ChatGPT가 열리지 않는 업무망에서 AI를 쓰려면
업무망 PC에서 ChatGPT 주소를 치면 페이지가 열리지 않습니다.

인사이트 · 도입과 운영
설치형 AI도 업데이트를 안전하게 할 수 있을까
새 버전이 나왔다는 안내는 받았는데 서버는 여전히 몇 버전 전 그대로입니다. 설치형 소프트웨어를 쓰는 회사에서 흔한 모습입니다.