엔비디아, 40개 언어 받아쓰는 오픈 음성인식 모델 공개

무슨 일이 있었나요?

엔비디아는 10월 28일(현지 시각) 음성을 글로 바꾸는 AI 모델을 내놓았습니다. 이 모델은 '오픈 가중치' 방식으로 공개됐습니다. 쉽게 말해, 학습을 마친 모델 파일을 누구나 내려받아 자기 컴퓨터에서 실행할 수 있다는 뜻입니다. 40개 언어 받아쓰기를 지원하고, 영어와 대부분의 지원 언어 사이 음성 번역도 합니다.

핵심 숫자와 사실

• 전체 매개변수는 약 340억 개이지만, 실제 계산에 쓰이는 것은 약 43억 개입니다. 일부 전문가 모듈만 작동하는 '전문가 혼합(MoE)' 구조 덕분입니다.
• 한 번에 최대 1시간 분량의 녹음을 처리하고, 최대 8명의 화자를 구분합니다.
• 영어 9개 데이터셋 평균 단어 오류율 4.71%, 7개 언어 평균 4.62%를 기록했습니다. 여러 사람이 대화하는 녹음에서는 15.80%로, 기존 최고 공개 결과 16.83%보다 낮았습니다.
• H100 80GB GPU 한 장에서 실행할 수 있습니다. RTX PRO 6000 GPU 한 장에서는 1초에 약 2,238초 분량의 음성을 처리했다고 밝혔습니다.
• 라이선스는 상업적 이용을 허용하는 'OpenMDW-1.1'입니다.

알아두면 좋은 배경

'단어 오류율'은 받아쓴 글에서 틀린 단어가 차지하는 비율입니다. 숫자가 낮을수록 더 정확하다는 뜻입니다. 실시간 음성은 아직 지원하지 않고, 미리 녹음된 파일만 처리합니다. 엔비디아는 회의록과 의료 기록 받아쓰기를 주요 용도로 내세웠습니다. 업종별 전문 용어를 더 배울 수 있도록 음성 데이터셋 '그래너리(Granary)' 2버전도 함께 공개했습니다.

왜 중요한가요?

음성 AI 시장에서는 경쟁이 빠르게 이어지고 있습니다. 이달 미스트랄도 받아쓰기 모델 '복스트랄 3'를 공개했고, 일레븐랩스도 음성 에이전트용 실시간 모델을 내놓았습니다. 누구나 내려받아 쓸 수 있는 모델이 늘면, 회사와 개발자가 값비싼 서비스 대신 직접 음성 기능을 만들기가 쉬워집니다.

앞으로 지켜볼 점

• 실시간 음성 처리를 언제 지원할지
• 실제 회의록·의료 기록 현장에서도 정확도가 유지될지
• 미스트랄 '복스트랄 3'와 일레븐랩스 실시간 모델과의 경쟁 구도