엔지니어링 노트음성과 회의

받아쓰기가 틀린 사내 이름은 회의록 모델이 용어집을 보고 고친다

회의 녹음을 받아쓰면 사내 시스템 이름과 제품명이 소리가 비슷한 흔한 낱말로 적힙니다. 협업 도구 「노션」이 「로션」이 되는 식입니다. 이 오류를 음성 인식 단계에서 고치려고 용어 목록을 넘기거나 받아쓴 글자를 규칙으로 바꾸면, 회의와 무관한 낱말까지 목록 쪽으로 바뀝니다. 그리고 받아쓰기를 고쳐도 회의록을 쓰는 모델이 알아듣지 못한 대목을 「문서 도구로 옮겼다」처럼 이름 없는 문장으로 뭉개면, 독자가 보는 회의록에서는 이름이 사라집니다.

그래서 받아쓰기는 들린 그대로 두고, 회의록과 구간 요약을 쓰는 모델에게 용어집을 줍니다. 용어집의 표기와 뜻은 전부 시스템 프롬프트에 싣고, 오답 표기는 이번 받아쓰기에서 실제로 찾은 것만 받아쓰기 바로 앞에 싣습니다. 이 글은 받아쓰기 단계의 방법이 깨지는 곳, 용어집이 실리는 자리, 오답을 찾는 규칙과 넣는 사람을 다룹니다.

받아쓰기는 사내 이름을 틀리고, 회의록은 그 이름을 지운다

음성 인식 모델이 자주 틀리는 것은 사내 시스템, 프로젝트 약어, 고객사 제품명처럼 학습 중에 거의 듣지 못한 이름입니다. 틀리는 모양은 세 가지입니다.

모양 예 생기는 곳
소리가 비슷한 일반 낱말로 적힌다 「노션」 → 「로션」 받아쓰기
영어 제품명의 한글 음차가 흔들린다 「Opus」 → 「오프스」, 「Qwen」 → 「QM」 받아쓰기
회의록이 이름을 빼고 일반화한다 「로션에 정리해 뒀다」 → 「문서 도구에 정리했다」 회의록

셋째는 요약에서 생깁니다. 회의록 모델이 잘못 적힌 대목을 이해하지 못하면 이름을 버리고 설명으로 씁니다. 그러면 「로션」은 스크립트(받아쓰기 원문을 보여 주는 탭)에 남고, 회의록에는 어느 도구로 옮겼는지가 빠진 문장이 남습니다.

받아쓰기 단계에서 고치면 멀쩡한 낱말까지 바뀐다

받아쓰기 단계에서 고치는 흔한 방법은 둘입니다. 음성 인식 모델에 「이 낱말을 우선 알아들어라」라는 용어 목록(핫워드)을 넘기는 방법과, 받아쓴 결과에서 오답 표기를 맞는 표기로 바꾸는 치환입니다.

관련 있는 이름만 넣으면 핫워드는 잘 듣습니다. 회의에서 실제로 나온 이름 7개를 넣자 「로션」은 「노션」으로, 「QM」은 「Qwen」으로 고쳐졌습니다. 문제는 등록된 용어 전체를 매번 넣을 때입니다. 회의와 무관한 용어 50개를 넣자 「채팅 형태로」가 「채팅 힌트로」로 바뀌었습니다. 관련 있는 이름도 같은 일을 합니다. 회의 제목에서 골라 넣은 「클로바노트」가 소리가 비슷한 「글로드 오프스」(Claude Opus)를 끌어당겨, 두 번 돌려 두 번 모두 「클로바노트」로 적었습니다.

치환은 규칙 기반이라 결과를 예측하기 쉽고 구현도 가장 단순합니다. 그런데 문맥을 보지 않아서, 정말로 화장품 이야기를 하는 회의의 「로션」까지 「노션」으로 바꿉니다. 단어마다 붙는 신뢰도 점수로 「신뢰도가 낮은 낱말만 고쳐라」라고 할 수도 있지만, 한국어에서는 고유명사 오인식 15건 가운데 0.6 아래로 내려간 것이 4건뿐이었고 같은 이름을 되풀이해 틀리면 점수가 오히려 올라갔습니다.

문맥을 보는 것은 회의 전체를 읽고 회의록을 쓰는 모델입니다. 「로션에 회의록을 정리해 뒀다」는 문장이라면 그 모델은 이 「로션」이 노션임을 압니다. 그래서 받아쓰기는 그대로 두고, 바로잡기는 회의록과 구간 요약을 쓰는 모델에게만 맡깁니다.

용어집은 전부 시스템 프롬프트에, 오답은 이번 받아쓰기에서 찾은 것만 싣는다

회의가 쓰는 용어집은 데이터 질의·문서 생성과 함께 쓰는 조직 용어집이고, 사람마다 자기 회의에만 쓰이는 개인 용어집이 따로 있습니다(「부서마다 다른 매출 계산식, 승인된 용어집 정의만 질문 앞에 싣는다」). 회의록이 쓰는 칸은 표기, 뜻, 오답(받아쓰기가 그 용어를 잘못 적는 표기) 셋입니다.

용어집이 실리는 자리는 두 곳입니다.

첫째는 시스템 프롬프트의 용어집 블록입니다. 조직 용어집의 사용 중 용어와 회의 주인의 개인 용어를 하나로 합쳐, 표기와 뜻을 전부 싣습니다. 같은 표기가 양쪽에 있으면 개인 용어가 이깁니다. 조직용과 개인용 블록을 따로 두면 같은 표기가 두 줄로 실려 모델이 어느 뜻을 따를지 모릅니다. 다른 사람의 개인 용어는 읽지 않습니다. 줄은 표기 순이라 용어집이 같으면 회의가 달라도 같은 문자열이 되고, 시스템 프롬프트 앞부분에 실려 프롬프트 캐싱을 탑니다.

블록 안내문은 두 가지를 지시합니다. 소리가 비슷하고 문맥이 맞을 때만 용어집 표기로 쓰고, 아니면 받아쓴 표현을 둡니다. 그리고 용어가 가리키는 대상을 다루는 대목이면 받아쓰기 표기가 틀렸더라도 그 용어로 적고, 이름 없는 설명으로 바꾸지 않습니다. 둘째 지시가 앞 절의 셋째 모양을 겨냥합니다.

둘째는 오답 힌트입니다. 이번 받아쓰기에서 실제로 찾은 오답만 「이 낱말은 그 용어일 수 있다」는 꼴로 몇 번 나왔는지와 함께 싣습니다. 원래 표기는 조사까지 붙은 꼴(「로션이라고」)로 보여 줘서 모델이 고칠 자리를 찾기 쉽게 합니다. 힌트는 회의마다 바뀌므로 받아쓰기가 실리는 사용자 메시지의 받아쓰기 바로 앞에 둡니다. 시스템 프롬프트에 두면 캐시된 앞부분이 회의마다 다시 계산됩니다. 힌트 줄 수에는 상한(기본 50줄)이 있어 많이 나온 용어부터 채우고, 상한에 밀려 빠진 줄 수는 로그로 남깁니다.

회의록 모델의 입력: 용어집은 시스템 프롬프트에, 오답 힌트는 받아쓰기 앞에
그림 1. 회의록 모델의 입력: 용어집은 시스템 프롬프트에, 오답 힌트는 받아쓰기 앞에

회의록이 만들어지면 같은 문자열 탐색으로 회의록을 다시 훑어, 힌트로 준 오답이 몇 번 남았는지 로그로 남깁니다. 정말 「로션」 이야기를 한 회의도 있으니 남은 표기가 모두 틀린 것은 아닙니다.

오답은 조사가 붙어도 찾고, 다른 낱말 속에서는 찾지 않는다

오답은 문자열 일치로 찾아서, 같은 받아쓰기에는 매번 같은 힌트가 나옵니다. 한국어는 낱말 뒤에 조사와 어미가 붙으므로 경계 규칙을 따로 정했습니다.

  • 앞 경계는 엄격하다. 오답 앞 글자가 한글·영문·숫자면 일치로 보지 않는다. 「플로션」 안의 「로션」은 오답이 아니다.
  • 표기가 한글 음절로 끝나면 뒤 경계를 두지 않는다. 「로션이라고」처럼 조사나 어미가 붙어도 같은 낱말이다.
  • 영문 등으로 끝나는 표기는 뒤 글자가 공백·기호이거나 한글일 때만 일치로 본다. qwen이는 잡고 qwens는 잡지 않는다.
  • 같은 자리에서는 긴 표기를 먼저 맞춘다.
  • 대소문자는 접어서 비교한다.

용어 자신의 맞는 표기도 함께 찾아 보호합니다. 용어가 「클로바노트」이고 오답이 「클로바」라면 긴 표기가 먼저 맞춰지므로, 맞게 적힌 「클로바노트」는 통째로 잡혀 힌트에서 빠집니다.

용어를 넣을 때 막는 규칙도 있습니다. 모두 위의 탐색 규칙에서 나옵니다.

규칙 이유
오답은 공백을 빼고 두 글자 이상 뒤 경계가 없으니 한 글자 오답은 무관한 낱말의 첫 글자마다 걸린다
오답 안에 용어가 들어 있으면 안 된다 「필수동반 패치」를 「필수동반」의 오답으로 넣으면, 이미 맞게 적힌 용어 바깥의 「패치」가 지워진다
같은 용어집의 다른 사용 중 용어 표기는 오답이 될 수 없다 넣으면 그 용어가 다른 용어로 바뀐다
표기에 쉼표·줄바꿈이 있으면 거절한다 조용히 고쳐 넣으면 사용자가 넣은 표기와 실린 표기가 달라져 「왜 안 고쳐지나」를 설명할 수 없다

오답은 사람이 넣고, AI는 표기와 뜻만 찾는다

오답이 가장 정확하게 들어오는 곳은 회의 화면입니다. 회의록이나 스크립트를 읽다가 잘못 적힌 글자를 드래그하면 용어집 추가가 나타나고, 누르면 고른 글자가 오답 칸에 들어간 추가 창이 열립니다. 맞는 표기만 적으면 내 개인 용어집에 들어갑니다. 이 오답은 그 사람의 회의에서 실제로 틀린 모양입니다. 조직 전체에 쓰일 용어는 관리자가 넣습니다. 사람이 넣은 용어는 검토 없이 바로 쓰이고, 조직 용어의 추가·수정·삭제는 감사 기록에 남습니다.

AI로 용어 찾기는 조직이 이미 가진 자료에서 회의 중에 소리 내어 말해질 고유명사 후보를 뽑습니다. 조직 용어집에서는 조직 문서 모음과 분석을 마친 DB를, 개인 용어집에서는 내가 속한 그룹의 문서 모음을 고릅니다. 그룹 전용 문서는 조직 용어집 후보로 쓰지 않습니다. 후보가 그룹 밖 관리자에게 보이고 조직의 모든 회의에 실리기 때문입니다.

이 추출이 내는 후보에는 표기, 뜻, 출처만 붙습니다. 모델에게 오답까지 추측하게 하면 실재하는 일반 낱말을 내기 쉽습니다. 「팀즈」를 「TIMS」의 오답으로, 「제이슨」을 「JSON」의 오답으로, 「리스트」를 「LIST」의 오답으로 낸 식이고, 이런 후보가 승인되면 회의록이 멀쩡한 말을 고유명사로 바꿉니다.

모델은 「어느 낱말이 이 조직의 고유명사이고 어느 자료에서 그 뜻으로 쓰였나」만 판단합니다. 모델이 인용한 자료의 발췌에 그 표기가 위의 경계 규칙대로 실제로 나오지 않으면 코드가 후보를 버리고, 테이블 이름이나 밑줄로 이은 식별자처럼 회의에서 소리 내어 말하지 않는 이름도 코드가 거릅니다.

후보는 사람이 골라 추가해야 쓰입니다. 사용 중 용어는 모두 회의록 용어집에 실리므로 무관한 용어가 섞이면 무관한 낱말이 그쪽으로 바뀔 수 있습니다. 일반 지식으로 알려진 이름이나 사람 실명을 빼는 판단은 규칙으로 가를 수 없어 사람에게 남깁니다.

용어집을 실으면 뭉개지던 이름 일부가 회의록에 남는다

회의 녹음 10분을 받아쓴 원문 하나를 두고 조건만 바꿔 회의록을 여러 판 만든 뒤, 고유명사가 회의록에 남았는지 셌습니다.

이름 용어집 없음 표기·뜻만 실음
Opus 0/7 7/7
Qwen 0/7 5/7
노션, 클로바노트 0/7 0/7

용어집이 없으면 잘못 적힌 대목은 모든 판에서 이름 없이 뭉개졌고, 표기와 뜻만 실어도 일부 이름이 대부분의 판에서 살아났습니다. 다른 모델에서는 표기·뜻만 실었을 때 0이던 Opus와 Qwen이 오답 힌트를 더하자 판 5개 가운데 2개에서 살아났습니다.

노션과 클로바노트는 어떤 조건에서도 회의록에 나오지 않았습니다. 힌트가 정확히 실렸는데도 모델이 그 대목을 일반화한 것이라, 표기가 아니라 요약에서 무엇을 남길지 고르는 문제입니다. 용어집 안내문이 「대상을 다루는 대목이면 그 용어로 적고 이름 없는 설명으로 바꾸지 말라」고 따로 지시하는 이유가 이것입니다. 「로션」과 「오퍼스」를 정말 그 뜻으로 말한 대조 회의에서는 잘못 고친 표기가 하나도 나오지 않았습니다.

짧은 뜻을 단 용어 36개를 실으면 입력이 약 550토큰, 오답 힌트를 더하면 약 126토큰 늘었고, 힌트를 더해도 캐시된 앞부분은 그대로였습니다. 같은 조건에서도 모델에 따라 결과가 크게 갈려서(표기·뜻만 실은 조건의 Opus가 한 모델은 7/7, 다른 모델은 0/5), 조건 비교는 같은 모델, 같은 실행 안에서만 합니다.

설계에서 고른 것

받아쓰기는 들린 그대로 보존합니다. 한 번 바꾼 원문은 무엇이 실제로 받아써졌는지 되돌려 볼 근거를 잃기 때문입니다. 그 대가로 스크립트에는 틀린 표기가 계속 보이고, 사람은 의심스러운 회의록 표기를 스크립트와 대조합니다.

바로잡기는 회의 전체를 읽는 회의록 모델에게 맡겼습니다. 같은 소리의 낱말을 일괄 치환하는 쪽이 단순하고 예측하기 쉽지만, 고치지 말아야 할 곳까지 바뀝니다. 대신 모델 출력을 후처리로 고치거나 검증하지 않으므로, 문맥을 잘못 읽은 교정은 회의록에 그대로 남고 남은 오답 수는 로그로만 봅니다.

한글 표기 뒤에는 경계를 두지 않아 합성어도 잡힙니다. 「로션크림」의 「로션」도 힌트가 됩니다. 조사 목록으로 경계를 가르면 어미와 합성어의 경계 사례가 끝없이 나와서, 경계는 단순하게 두고 「문맥이 맞을 때만 쓰라」는 안내에 맡겼습니다. 흔한 낱말의 앞머리와 겹치는 오답은 더 길게 적으면 됩니다.

용어집 블록은 고르지 않고 전부 싣는 대신 용어 수에 상한을 둡니다. 조직과 개인 각각 기본 200개이고 설치 설정으로 바꿀 수 있습니다. 한 줄은 표기(최대 64자)와 뜻(최대 100자)뿐이라, 한글 한 글자를 토큰 하나로 잡으면 두 상한을 다 채운 블록은 약 7만 토큰입니다. 상한을 올릴 때는 이 블록과 긴 회의의 받아쓰기를 합친 크기를 컨텍스트 윈도우에 맞춥니다. 고유명사가 수백 개를 넘는 조직이라면 회의에 자주 나오는 이름부터 골라 담습니다.

용어집을 고쳐도 이미 만든 회의록은 그대로입니다. 다음에 만드는 회의록과 구간 요약부터 적용되고, 지난 회의에 반영하려면 회의 주인이 그 회의에서 회의록을 다시 만듭니다. 용어집을 고칠 때마다 회의록이 저절로 바뀌면, 공유받은 사람이 본 판과 지금 화면의 판이 달라집니다.

어떤 문제를 해결하나요?

음성과 회의의 다른 글