엔비디아(NVIDIA)가 40개 언어 음성을 텍스트로 변환하는 오픈웨이트 음성 인식 AI 모델 '네모트론 3.5 트랜스크라이브'를 공개했습니다. 자연어 명령으로 받아쓰기 방식을 지정할 수 있고, 여러 사람이 동시에 말하는 상황에서 화자를 구분합니다. 상업적으로 자유롭게 쓸 수 있는 라이선스로 배포돼 기업과 개발자가 자체 환경에 설치하고 업무에 맞게 추가 학습할 수 있습니다.
네모트론 3.5 트랜스크라이브, 뭐가 특별한가
이 모델은 전문가 혼합 구조로 설계됐습니다. 음성 처리 장치를 포함한 전체 매개변수는 약 340억 개이며, 실제 추론에 활성화되는 매개변수는 약 43억 개입니다. 이는 모델을 가볍게 유지하면서도 높은 성능을 내는 방식입니다.
최대 1시간 길이의 녹음 파일을 처리할 수 있으며, 맥시멈 토큰 길이는 65,536토큰입니다. 최대 8명의 화자를 구분하고 발언 시점도 기록해 회의록 작성이나 의료 분야 음성 기록 등에 활용할 수 있습니다.
자연어로 받아쓰기 방식을 지정하는 방법
가장 큰 특징은 사용자가 원하는 받아쓰기 방식을 자연어로 지정할 수 있다는 점입니다. 요청에 따라 발언을 그대로 옮기거나 문장을 읽기 쉽게 다듬을 수 있습니다. 숫자 표기 방식, 전문용어, 고유명사 등도 문맥에 맞춰 처리하도록 설계됐습니다.
예를 들어 의료 기록에 특정 의학용어를 미리 알려주면 해당 단어를 정확히 인식합니다. 이를 '컨텍스트 ASR(ContextASR)'이라고 부르며, 고유명사 관련 오류를 최대 6분의 1 수준으로 줄일 수 있습니다.
번역·언어 식별·음성 이해 기능
음성 인식과 언어모델을 결합해 받아쓰기 외에도 여러 기능을 지원합니다. 40개 언어의 음성을 인식하고 영어를 중심으로 31개 언어 간 번역을 수행할 수 있습니다. 녹음의 사용 언어를 자동으로 식별하고, 음성 내용에 관한 질문에도 답할 수 있습니다.
회의나 통화처럼 여러 사람이 동시에 말하는 녹음에서도 화자별 발언을 구분합니다. 이 기능은 회의 요약, 의료 상담 기록, 법률 자문 기록 등 전문 분야에서 특히 유용합니다.
성능 평가 결과
허깅페이스의 영어 오픈 음성 인식 리더보드에서 네모트론 3.5 트랜스크라이브는 단어 오류율 4.71%로 공개 가중치 모델 중 1위를 차지했습니다. 단어 오류율은 낮을수록 정확도가 높다는 의미입니다. 7개 언어를 대상으로 한 다국어 평가에서도 평균 오류율 4.62%로 최고 성능을 기록했습니다.
실제 의료 분야 음성 인식 실험에서는 자체 데이터로 모델을 추가 학습한 결과, 기존에 최적화된 프롬프트를 사용했을 때와 비교해 단어 오류율이 상대적으로 45.8% 감소했습니다. 의료·법률 등 전문용어가 많은 분야에서 맞춤형 음성 인식 서비스를 구축할 수 있다는 것을 의미합니다.
모델 사양과 배포 방식
모델은 세 가지 정밀도로 배포됩니다. BF16은 전체 정밀도 참고용이며, FP8과 NVFP4 변형도 이용할 수 있습니다. 1×H100 80GB GPU에서 배포 가능합니다.
엔비디아는 모델 가중치를 허깅페이스에 공개하고, 상업적으로 활용할 수 있는 '오픈MDW 1.1(OpenMDW-1.1)' 라이선스로 배포했습니다. 기업과 개발자가 자체 환경에 모델을 설치하고 업무에 맞게 추가 학습할 수 있도록 '네모 스피치' 도구와 음성 학습 데이터셋 '그래너리 2(Granary 2)'도 함께 제공합니다.
추론 속도와 제한 사항
추론 효율도 강조됩니다. 최적화된 추론 환경에서 블랙웰 기반 'RTX PRO 6000' GPU 한 장으로 초당 최대 2238초 분량의 음성을 처리할 수 있습니다. 다만 이 최적화 기술은 현재 공개된 오픈소스 버전에 모두 포함되지는 않았습니다.
주의할 점은 실시간 스트리밍 음성을 직접 처리하지 못한다는 것입니다. 녹음된 오디오를 입력받는 방식이므로, 실시간 음성 처리가 필요한 경우에는 적합하지 않습니다. 최대 1시간까지의 녹음 파일을 지원하므로 그보다 긴 파일은 분할하여 처리해야 합니다.
자주 묻는 질문
누가 무료로 사용할 수 있나요?
모델이 오픈웨이트이고 오픈MDW 1.1 라이선스로 배포되기 때문에, 기업과 개발자 모두 상업적·비상업적 목적으로 자유롭게 사용할 수 있습니다. 자체 환경에 직접 설치하고 추가 학습도 가능합니다.
한국어는 지원하나요?
허깅페이스의 공식 모델 페이지에서 언어 지원 매트릭스를 확인할 수 있습니다.
기존 음성 인식 도구와 뭐가 다른가요?
자연어로 받아쓰기 방식을 지정할 수 있다는 점, 최대 8명의 화자를 구분한다는 점, 문맥 기반 고유명사 인식이 강하다는 점이 차별점입니다. 또한 번역, 언어 식별, 음성 이해 기능을 하나의 모델에서 처리할 수 있습니다.
댓글 쓰기