# Meta AI выпускает открытую мультимодальную архитектуру Spirit LM для выразительной речи и текста Source: TechNewsList (https://technewslist.com) Canonical URL: https://technewslist.com/ru/article/meta-ai-releases-spirit-lm-open-multimodal-model-expressive-spe-2026-10-25-ni-ru Section: AI (https://technewslist.com/ru/ai) Author: TechNewsList Language: ru Published: 2026-10-25T17:57:26.03+00:00 Updated: 2026-10-25T17:57:26.806607+00:00 > Meta Fundamental AI Research открывает исходный код Spirit LM, выразительной мультимодальной базовой модели, сочетающей речевые и текстовые токены для сохранения высоты голоса, эмоций и тона разговора. ## TL;DR - Meta FAIR выпустил Spirit LM как открытую мультимодальную языковую базовую модель. - Система естественным образом чередует непрерывные речевые единицы с дискретными текстовыми токенами. - Две версии, Spirit LM Base и Spirit LM Expressive, опубликованы для открытого исследования. ## Key points - Spirit LM преодолевает традиционную потерю эмоционального тонуса, тренируясь непосредственно на совместных речевых и текстовых токенах. - Экспрессивный вариант моделирует высоту звука, стиль речи и интонацию голоса без отдельных механизмов преобразования текста в речь. - Архитектура основана на акустических представлениях HuBERT и предварительно обученном текстовом преобразователе с 7 миллиардами параметров. - Тестовые оценки показывают превосходную естественность речи, сохранение голоса и разговорную просодию. - Веса открытых моделей предоставляют исследователям прозрачные инструменты для создания чутких диалоговых интерфейсов ИИ. ## Что произошло Группа Meta Fundamental AI Research объявила о публикации с открытым исходным кодом Spirit LM, базовой модели архитектуры, предназначенной для плавного чередования устного аудио и письменного текста в рамках единой генеративной языковой структуры. В отличие от обычных голосовых интерфейсов, которые разделяют обработку речи на отдельные модули транскрипции речи в текст, генерации текста и синтеза речи, Spirit LM обрабатывает непрерывные аудиопотоки и текстовые токены внутри единой унифицированной магистрали преобразователя. Исследовательский выпуск включает две различные конфигурации модели: Spirit LM Base и Spirit LM Expressive. Базовая архитектура фокусируется на фонетической транскрипции и базовом понимании разговорной речи, в то время как экспрессивная модель включает специальные акустические токены, представляющие высоту голоса, ритм, эмоциональный тон и интенсивность голоса. Открывая исходный код контрольных точек модели и исследовательского кода, Meta предоставляет научным сообществам и сообществам разработчиков программного обеспечения прямой доступ для проверки, точной настройки и оценки сквозных базовых моделей разговорного языка без ограничений собственного API. Эта разработка знаменует собой важную техническую веху в мультимодальных фундаментальных исследованиях, выводя диалоговый искусственный интеллект за пределы монотонного роботизированного синтезированного повествования к чуткой, контекстно-зависимой генерации речи, которая естественным образом реагирует на голосовые сигналы человека. ## Почему это важно На протяжении десятилетий коммерческие голосовые помощники и диалоговые системы искусственного интеллекта страдали от выраженных отключений, вызванных каскадными архитектурными конвейерами. Когда акустический речевой сигнал транскрибируется в письменный текст, критические паралингвистические метаданные, такие как ирония, колебание, радость, печаль и акцент, удаляются еще до того, как языковая модель когда-либо обработает ввод. Аналогичным образом, когда языковая модель выводит текст, последующие механизмы синтеза речи должны создавать вокальную просодию с нуля, часто создавая плоский, искусственный ритм. Spirit LM устраняет эту коммуникативную потерю, рассматривая токены акустической речи как равных партнеров письменных словарных слов. Совместно моделируя обе модальности на всех уровнях нейронной сети, система может обнаруживать тонкие эмоциональные оттенки в голосе говорящего и генерировать соответствующие речевые ответы, соответствующие соответствующему настроению разговора. ![Вид с воздуха на технологический кампус в Менло-Парке, в котором размещена крупномасштабная кластерная инфраструктура искусственного интеллекта для обучения мультимодальным моделям.](https://rkhynbcsbnkkcwgexzwg.supabase.co/storage/v1/object/public/media/api/1792950023878-bbf7kq-meta-ai-releases-spirit-lm-open-multimodal-model-expressive-spe-2026-10-25-night-inside-1-ea7d23c5de.webp) Этот архитектурный скачок особенно важен для виртуальных помощников, цифровых репетиторов, средств перевода в режиме реального времени и платформ обслуживания клиентов. Вместо того, чтобы полагаться на жесткие эмоциональные теги или заранее записанные аудиофрагменты, разработчики теперь могут создавать голосовые агенты, которые естественным образом передают комфорт, срочность, юмор или созерцание, основываясь исключительно на изученных мультимодальных языковых представлениях. ## Технические детали Техническая основа Spirit LM начинается с предварительно обученного авторегрессионного преобразователя на 7 миллиардов параметров, расширенного для обработки словаря с несколькими токенами. Для преобразования непрерывных звуковых сигналов в дискретные токены, которые может обрабатывать преобразователь, Meta использует кодеры акустических речевых блоков HuBERT. Речь дискретизируется на отдельные фонетические лексемы наряду с квантованными представлениями высоты тона и громкости, отбираемыми через регулярные временные интервалы. В экспрессивной архитектуре Spirit LM каждая произнесенная фраза разбивается на семантические токены на уровне слов в сочетании с единицами акустического стиля. В модели используется чередующаяся учебная программа, охватывающая крупномасштабные наборы парных речево-текстовых данных, непарные аудиоархивы и массивные текстовые корпуса веб-масштаба. Это позволяет модели выполнять двунаправленные кросс-модальные задачи, включая перевод речи в речь, транскрипцию речи в текст, синтез текста в речь и мультимодальные устные ответы на вопросы. ![Спектрограмма акустической речи и визуализация формы волны, демонстрирующая фонетическую и тональную токенизацию, используемую в Spirit LM](https://rkhynbcsbnkkcwgexzwg.supabase.co/storage/v1/object/public/media/api/1792950026116-u0lhb8-meta-ai-releases-spirit-lm-open-multimodal-model-expressive-spe-2026-10-25-night-inside-2-5b1bbb20c2.webp) В ходе тщательных испытаний на слух у людей Spirit LM Expressive продемонстрировал заметное превосходство над существующими речевыми моделями с открытым исходным кодом в естественности голоса, постоянстве тона и эмоциональной адекватности. Контрольные оценки кросс-модального понимания показали, что чередующееся представление сохраняет идентичность говорящего, сохраняя при этом нулевую генерализацию задачи для невидимых голосов. ## Влияние на рынок и отрасль Версия Spirit LM с открытым исходным кодом бросает прямой вызов проприетарным мультимодальным голосовым системам, разработанным конкурентами в отрасли, включая OpenAI Advanced Voice Mode и речевые движки Google Gemini Live. В то время как коммерческие гиперскейлеры ограничивают свои голосовые модели защищенными облачными API с дозированной оплатой токенов, продолжающаяся стратегия Meta по выпуску открытых моделей предоставляет корпоративным разработчикам беспрепятственный доступ для развертывания моделей в частной инфраструктуре. Эта парадигма открытого веса создает благодатную почву для стартапов в области голосового ИИ, требующих глубокой настройки предметной области, таких как помощники по телемедицине в сфере здравоохранения, автомобильные информационно-развлекательные системы и интерактивные неигровые персонажи в видеоиграх. Команды разработчиков могут точно настроить Spirit LM на собственных наборах разговорных данных, не отправляя конфиденциальные голосовые записи на внешние сторонние серверы. Одновременно с этим релиз усиливает внимание к синтетической генерации голоса и биометрической безопасности. Поскольку синтез речи становится все более выразительным и его становится все труднее отличить от подлинной человеческой речи, финансовые учреждения и платформы цифровой проверки должны ускорить внедрение криптографических голосовых водяных знаков и мультимодального обнаружения активности. ## За чем следить дальше Заглядывая в будущее, исследователи предприятий оценят, насколько эффективно Spirit LM можно оптимизировать для периферийного развертывания в реальном времени на мобильных процессорах и автомобильных вычислительных платформах. Текущая архитектура с 7 миллиардами параметров требует значительного объема памяти графического процессора, что создает стимулы для квантования, сокращения и упрощенных вариантов. Отраслевые наблюдатели также ожидают адаптации сообщества Spirit LM к многоязычным наборам данных, поскольку первоначальное обучение было сосредоточено преимущественно на образцах английской речи. По мере того, как разработчики открытого исходного кода расширяют конвейер акустической токенизации на различные глобальные языки и акценты, чередующиеся мультимодальные модели готовы переопределить стандартную архитектуру голосовой связи человека и машины. ## Источники - [Публикации исследований мета-ИИ](https://ai.meta.com/research/publications/spirit-lm-interleaved-spoken-and-written-language-model/) - [Пульт искусственного интеллекта VentureBeat](https://venturebeat.com/ai/meta-open-sources-spirit-lm-multimodal-speech-model/) - [Корпоративное облачное покрытие SiliconANGLE](https://siliconangle.com/2024/10/18/meta-open-sources-spirit-lm-ai-model-combines-speech-text/) Mentions: Meta FAIR, Spirit LM, Multimodal Speech Model, Acoustic Tokenization, HuBERT ## Sources - [Публикации исследований мета-ИИ](https://ai.meta.com/research/publications/spirit-lm-interleaved-spoken-and-written-language-model/) - [Пульт искусственного интеллекта VentureBeat](https://venturebeat.com/ai/meta-open-sources-spirit-lm-multimodal-speech-model/) - [Корпоративное облачное покрытие SiliconANGLE](https://siliconangle.com/2024/10/18/meta-open-sources-spirit-lm-ai-model-combines-speech-text/)