글로벌 AI 오디오 기업 일레븐랩스(ElevenLabs)가 1일 차세대 텍스트 음성 변환(TTS) 모델 '일레븐 v4(Eleven v4)'와 실시간 대화형 서비스용 모델 '일레븐 v4 터보(Eleven v4 Turbo)'를 동시에 선보였다.

이번 신제품은 단순히 텍스트를 음성으로 읽어주는 수준을 넘어 감정과 맥락을 이해하는 표현력에 초점을 맞춘 것이 특징이다. 일레븐랩스는 새로운 아키텍처를 적용해 음성 생성 속도와 자연스러운 대화 능력을 동시에 강화했으며, AI 에이전트와 콘텐츠 제작 등 다양한 활용 환경을 겨냥했다.

특히 일레븐 v4는 독립 AI 평가기관 아티피셜 애널리시스(Artificial Analysis)가 발표한 '프로바이더 보이스 아레나' 2026년 9월 평가에서 1위를 기록하며 성능 경쟁력을 입증했다.

일레븐 v4의 핵심은 표현력이다. 텍스트에 담긴 문맥과 인물의 성격, 상황을 분석해 긴장감 있는 장면부터 유쾌한 대화, 차분한 설명까지 다양한 감정을 음성으로 구현할 수 있도록 설계됐다.

사용자는 자연어 지시를 통해 발화 스타일을 제어할 수 있으며, 웃음이나 특정 억양, 환경음 등을 태그 형태로 지정해 보다 세밀한 음성 연출도 가능하다.

기존 모델 대비 화자 일관성도 크게 개선됐다. 여러 인물이 등장하는 대화에서도 각각의 목소리 특성을 안정적으로 유지하며, 장면 전체의 맥락을 고려해 대화 흐름을 생성하는 점이 특징이다. 이에 따라 오디오북, 광고, 콘텐츠 제작은 물론 다자간 대화가 필요한 서비스에서도 활용성이 높아질 것으로 기대된다.

일레븐랩스는 실시간 서비스 수요 증가에 맞춰 저지연 모델인 '일레븐 v4 터보'도 함께 출시했다.

일레븐 v4 터보는 평균 100ms 수준의 첫 응답 지연 시간을 제공하면서도 상위 모델 수준의 감정 표현 능력을 유지하도록 설계됐다. 기업들은 응답 속도와 자연스러운 음성 품질 사이에서 선택해야 했던 기존 한계를 줄이고, 사람과 유사한 대화 경험을 제공하는 음성 AI 에이전트를 구축할 수 있게 됐다.

일레븐랩스는 의료 상담, 고객 지원, 금융 서비스, 게임 등 실시간 상호작용이 요구되는 다양한 산업 분야에서 활용 가능성이 클 것으로 내다보고 있다. 또, 자사의 대화형 에이전트 플랫폼 '일레븐에이전트(ElevenAgents)'와 통합 최적화를 진행해 안정성과 응답성을 높였다고 설명했다.

다국어 성능 역시 강화됐다. 일레븐 v4는 기존 70개 언어 수준에서 지원 범위를 90개 이상으로 확대했다. 단순한 발음 구현을 넘어 언어별 억양과 표현 방식, 문화적 맥락 등을 반영해 보다 자연스러운 음성을 생성할 수 있도록 했다.

특히 일본어, 중국어(만다린), 브라질 포르투갈어에서 음성 품질 개선 폭이 크다는 설명이다.

글로벌 콘텐츠 제작자와 기업을 위한 음성 이전 기능도 지원한다. 원본 화자의 음색과 피치 특성을 유지하면서 다른 언어로 자연스럽게 변환할 수 있어 글로벌 마케팅, 영상 현지화, 오디오 콘텐츠 제작 등에 활용 가능하다.

일레븐랩스는 AI 음성이 금융, 의료 등 민감한 영역으로 확산되는 만큼 보안과 신뢰성 확보에도 집중했다. GDPR, HIPAA, SOC 2, PCI 등 주요 글로벌 규제를 준수하고 있으며, 미국·유럽연합(EU)·싱가포르·인도 등 다양한 지역에서 데이터 저장 위치를 선택할 수 있는 데이터 레지던시 옵션을 제공하고 있다.

또한 전문가용 음성 복제 서비스에는 본인 음성을 직접 인증하는 '보이스 캡차(Voice CAPTCHA)'를 적용했으며, 정치인과 주요 공인의 음성 복제를 제한하는 '노고 보이스(No-Go Voices)' 정책도 운영 중이다.

마티 스타니셰프스키(Mati Staniszewski) 일레븐랩스 공동창립자 겸 CEO는 “AI의 활용 범위가 확대될수록 추론 능력만큼이나 사람과 자연스럽게 소통하는 역량이 중요해지고 있다”며 “일레븐 v4는 감정 표현과 문맥 이해 능력을 통해 창작 활동과 AI 에이전트 경험의 수준을 한 단계 끌어올릴 것”이라고 말했다.

피오트르 다브코프스키(Piotr Dabkowski) 공동창립자 겸 CTO는 “일레븐 v4는 표현력과 세밀한 제어 능력을 강화하기 위해 새로운 아키텍처 기반으로 설계됐다”며 “특히 저지연 환경에서도 높은 수준의 음성 표현력을 유지할 수 있도록 개발해 대화형 AI 분야에서도 경쟁력을 갖추게 됐다”고 밝혔다.

한편, 일레븐 v4와 일레븐 v4 터보는 일레븐크리에이티브(ElevenCreative), 일레븐에이전트(ElevenAgents), 일레븐API(ElevenAPI)를 통해 이용할 수 있다.