ChatGPT가 열리지 않는 업무망에서 AI를 쓰려면

#업무망에서는 질문을 보낼 곳이 없다

업무망 PC에서 ChatGPT 주소를 치면 페이지가 열리지 않습니다. 금융·공공·제조 현장에는 업무망을 인터넷과 끊어 둔 회사가 많고, AI 서비스 대부분은 질문을 인터넷 너머 AI 회사의 서버로 보내야 동작합니다. 그래서 이런 회사에서 생성형 AI는 늘 남의 이야기였습니다. 망 분리 예외를 신청하자니 보안 심사를 넘기 어렵고, 손을 놓자니 업무 격차가 벌어집니다.

포기할 필요는 없습니다. AI 모델을 사내 서버에 두면 질문을 밖으로 보낼 일이 없어집니다. OwlAI는 인터넷이 없는 망에 설치해 쓸 수 있고, 채팅·DB 조회·문서 검색·회의록 같은 업무 기능도 그대로 돕니다.

#모델을 사내에 두면 망 밖으로 나가는 것이 없다

사내 GPU 서버에 공개된 오픈 모델을 올리고, OwlAI가 그 모델을 부르게 합니다. 질문을 이해하고 답을 쓰는 대화 모델, 문서 검색에 쓰는 임베딩 모델(글의 뜻을 숫자로 바꿔 비슷한 문서를 찾게 하는 모델), 회의 음성을 받아쓰는 음성 인식 모델이 모두 사내 서버에서 돕니다. 질문도, 회사 데이터도, 회의 음성도 망 밖으로 나가지 않습니다.

바깥과 통신해야 할 것 같은 일도 서버 안에서 끝납니다. 라이선스는 서버가 파일의 서명을 직접 확인하므로 인터넷에 접속해 인증받는 단계가 없고, 폐쇄망에서도 같은 방법으로 라이선스 파일을 넣습니다. 직원 PC의 데스크톱 앱은 설치본과 업데이트를 바깥이 아니라 사내 OwlAI 서버에서 받습니다.

#폐쇄망에서도 업무 기능은 그대로 쓴다

채팅으로 질문하기, 사내 DB 조회, 문서 검색, 회의록, 엑셀·워드·PPT·한글 문서 만들기, 플레이북(정해 둔 순서대로 반복 업무를 돌리는 자동화)은 폐쇄망에서도 그대로 씁니다. 사내망 안의 다른 시스템은 커넥터로 연결합니다. 딥 리서치 같은 조사형 답변도 같은 방식으로 만들되, 웹 대신 사내 DB와 문서를 조사 범위로 삼습니다. 화면 글꼴까지 설치본에 들어 있어서 망 안에서도 인터넷 환경과 똑같이 보입니다.

남는 질문은 사내에서 돌리는 공개 모델로 답이 쓸 만하냐는 것입니다. DB를 미리 분석해 둔 설명, 용어집, 테이블 메모가 있으면 모델이 어느 테이블을 볼지, 어떤 식으로 셀지 짐작할 몫이 줄어듭니다. 공개 모델이 우리 회사 질문을 얼마나 처리하는지는 시범 단계에서 실제 업무 질문으로 확인합니다.

#반입한 파일은 서명이 맞아야 적용된다

처음 설치할 때는 이미지 묶음(프로그램을 담은 꾸러미)과 설치 키트를 망 안으로 반입합니다. 받은 파일의 체크섬을 확인하고, 이미지를 적재한 뒤 적재된 내용이 원본과 같은지 다시 대조하는 일은 함께 주는 도구가 맡습니다.

업데이트는 릴리스 파일 하나를 반입해 관리 화면에서 올리면 됩니다. 그 버전에 필요한 프로그램과 설치 파일, 데스크톱 설치본이 모두 그 파일 하나에 들어 있습니다. 서버는 파일의 서명을 확인한 뒤에야 확인 창을 띄우고, 관리자가 승인하면 데이터베이스를 백업한 다음 적용합니다. 서명이 맞지 않는 파일은 그 자리에서 거부되고 지워집니다. 큰 파일은 조각으로 나눠 올라가므로 도중에 끊겨도 빠진 부분만 이어 올립니다.

#준비할 것은 서버 두 종류와 망 안의 주소·인증서다

OwlAI 서버 한 대와 AI 모델을 올릴 GPU 서버가 필요합니다. GPU 서버는 쓸 모델, 동시 사용자 수, 질문 길이에 따라 규모를 정하며 설치 규모별 권장 구성이 있습니다. 2026년 8월 기준 사내 운영 환경을 예로 들면, 24GB GPU 두 장에 4비트로 양자화한(메모리를 덜 쓰도록 모델을 압축한) 350억 파라미터급 공개 MoE 모델을 올리고, 한 번에 네 건씩 처리하도록 맞춰 채팅을 돌립니다. 이 동시 처리 수는 실제 질문 길이로 재서 정했습니다. 짧은 시험 질문으로 재면 실제보다 훨씬 많이 받을 수 있는 것처럼 보이기 때문입니다.

IT 부서와 도입을 검토할 때는 아래 조건부터 맞춰 봅니다.

• OwlAI 서버 최소 사양: 메모리 16GB·CPU 4코어·디스크 80GB 이상, Ubuntu 22.04·24.04, RHEL·Rocky 8.10 이상 같은 리눅스 배포판
• OwlAI와 모델 서버의 주소를 풀어 주는 망 안 DNS
• 사내 인증서로 갖춘 HTTPS(음성 입력과 데스크톱 앱에 필요)
• 미리 빌드해 반입한 이미지(망 안에서는 이미지를 새로 빌드하지 않음)
• 설치 전에 폐쇄망 모드로 돌린 점검 도구의 결과(반입한 이미지가 서버에 모두 적재됐는지 확인)