# Meta AI veröffentlicht die offene multimodale Architektur Spirit LM für ausdrucksstarke Sprache und Text Source: TechNewsList (https://technewslist.com) Canonical URL: https://technewslist.com/de/article/meta-ai-releases-spirit-lm-open-multimodal-model-expressive-spe-2026-10-25-ni-de Section: AI (https://technewslist.com/de/ai) Author: TechNewsList Language: de Published: 2026-10-25T17:57:20.273+00:00 Updated: 2026-10-25T17:57:20.438783+00:00 > Meta Fundamental AI Research stellt Spirit LM als offene Quelle zur Verfügung, ein ausdrucksstarkes multimodales Basismodell, das Sprach- und Text-Tokens kombiniert, um Stimmlage, Emotionen und Gesprächston zu bewahren. ## TL;DR - Meta FAIR veröffentlichte Spirit LM als multimodales Sprachgrundlagenmodell mit offenen Gewichten. - Das System verschachtelt kontinuierliche Spracheinheiten nativ mit diskreten Text-Tokens. - Zwei Versionen, Spirit LM Base und Spirit LM Expressive, werden zur offenen Forschung veröffentlicht. ## Key points - Spirit LM überwindet den traditionellen Verlust des emotionalen Tonus, indem es direkt auf gemeinsamen Sprach- und Text-Tokens trainiert. - Die Ausdrucksvariante modelliert Tonhöhe, Sprechstil und Stimmfall ohne separate Text-to-Speech-Engines. - Die Architektur basiert auf HuBERT akustischen Darstellungen und einem vorab trainierten Texttransformator mit 7 Milliarden Parametern. - Benchmark-Bewertungen zeigen eine überlegene Natürlichkeit der Sprache, Stimmerhaltung und Konversationsprosodie. - Offene Modellgewichte bieten Forschern transparente Werkzeuge zum Aufbau empathischer Konversations-KI-Schnittstellen. ## Was passiert ist Die Meta Fundamental AI Research-Gruppe kündigte die Open-Source-Veröffentlichung von Spirit LM an, einer Basismodellarchitektur, die darauf ausgelegt ist, gesprochenes Audio und geschriebenen Text innerhalb eines einheitlichen generativen Sprachrahmens nahtlos zu verschachteln. Im Gegensatz zu herkömmlichen Sprachschnittstellen, die die Sprachverarbeitung in unterschiedliche Sprach-zu-Text-Transkriptions-, Textgenerierungs- und Text-zu-Sprache-Synthesemodule entkoppeln, verarbeitet Spirit LM kontinuierliche Audioströme und Text-Tokens nativ in einem einzigen einheitlichen Transformator-Backbone. Die Forschungsversion umfasst zwei unterschiedliche Modellkonfigurationen: Spirit LM Base und Spirit LM Expressive. Die Basisarchitektur konzentriert sich auf phonetische Transkription und grundlegendes gesprochenes Verständnis, während das Ausdrucksmodell spezielle akustische Token enthält, die Stimmhöhe, Rhythmus, emotionalen Ton und Stimmintensität darstellen. Durch die Open-Source-Bereitstellung der Modellprüfpunkte und des Forschungscodes bietet Meta der Wissenschafts- und Softwareentwicklungsgemeinschaft direkten Zugang zur Prüfung, Feinabstimmung und Bewertung von End-to-End-Grundmodellen für gesprochene Sprache ohne proprietäre API-Einschränkungen. Die Entwicklung stellt einen wichtigen technischen Meilenstein in der multimodalen Grundlagenforschung dar und bewegt die künstliche Intelligenz im Gespräch über die monotone, roboterhaft synthetisierte Erzählung hinaus hin zu einer einfühlsamen, kontextbewussten Spracherzeugung, die auf natürliche Weise auf menschliche Stimmreize reagiert. ## Warum es wichtig ist Seit Jahrzehnten leiden kommerzielle Sprachassistenten und Konversationssysteme mit künstlicher Intelligenz unter Ausdrucksunterbrechungen, die durch kaskadierte Architektur-Pipelines verursacht werden. Wenn ein akustisches Sprachsignal in geschriebenen Text transkribiert wird, werden kritische paralinguistische Metadaten – wie Ironie, Zögern, Freude, Trauer und Betonung – entfernt, bevor das Sprachmodell die Eingabe jemals verarbeitet. Wenn das Sprachmodell Text ausgibt, müssen nachgeschaltete Sprachsynthese-Engines in ähnlicher Weise die Gesangsprosodie von Grund auf neu erstellen, was häufig zu einer flachen, künstlichen Kadenz führt. Spirit LM eliminiert diesen kommunikativen Verlust, indem akustische Sprachtoken als gleichberechtigte Partner geschriebener Vokabeln behandelt werden. Durch die gemeinsame Modellierung beider Modalitäten in den Schichten des neuronalen Netzwerks kann das System subtile emotionale Akzente in der Stimme eines Sprechers erkennen und entsprechende gesprochene Antworten generieren, die der entsprechenden Gesprächsstimmung entsprechen. ![Luftaufnahme des Technologiecampus Menlo Park, der eine groß angelegte KI-Cluster-Infrastruktur für multimodales Modelltraining beherbergt](https://rkhynbcsbnkkcwgexzwg.supabase.co/storage/v1/object/public/media/api/1792950023878-bbf7kq-meta-ai-releases-spirit-lm-open-multimodal-model-expressive-spe-2026-10-25-night-inside-1-ea7d23c5de.webp) Dieser architektonische Sprung ist besonders wichtig für virtuelle Assistenten, digitale Tutoren, barrierefreie Übersetzungen in Echtzeit und Kundenbetreuungsplattformen. Anstatt sich auf starre emotionale Tags oder vorab aufgezeichnete Audioschnipsel zu verlassen, können Entwickler jetzt Sprachagenten erstellen, die auf natürliche Weise Trost, Dringlichkeit, Humor oder Kontemplation ausschließlich auf der Grundlage erlernter multimodaler Sprachdarstellungen vermitteln. ## Technische Details Das technische Rückgrat von Spirit LM beginnt mit einem vorab trainierten autoregressiven Transformator mit 7 Milliarden Parametern, der für die Verarbeitung eines Multi-Token-Vokabulars erweitert wurde. Um kontinuierliche Audiowellenformen in diskrete Token umzuwandeln, die ein Transformator verarbeiten kann, verwendet Meta die Encoder für akustische Spracheinheiten HuBERT. Die Sprache wird neben quantisierten Tonhöhen- und Lautstärkedarstellungen, die in regelmäßigen Zeitintervallen abgetastet werden, in diskrete phonetische Token diskretisiert. In der Spirit LM Expressive-Architektur wird jede gesprochene Phrase in semantische Token auf Wortebene gekoppelt mit akustischen Stileinheiten zerlegt. Das Modell verwendet einen verschachtelten Trainingslehrplan, der umfangreiche gepaarte Sprach-Text-Datensätze, ungepaarte Audioarchive und umfangreiche Textkorpora im Web-Maßstab umfasst. Dadurch kann das Modell bidirektionale modalübergreifende Aufgaben ausführen, einschließlich Sprache-zu-Sprache-Übersetzung, Sprache-zu-Text-Transkription, Text-zu-Sprache-Synthese und multimodale Beantwortung gesprochener Fragen. ![Akustisches Sprachspektrogramm und Wellenformvisualisierung, die die in Spirit LM verwendete phonetische und Tonhöhen-Tokenisierung demonstrieren](https://rkhynbcsbnkkcwgexzwg.supabase.co/storage/v1/object/public/media/api/1792950026116-u0lhb8-meta-ai-releases-spirit-lm-open-multimodal-model-expressive-spe-2026-10-25-night-inside-2-5b1bbb20c2.webp) Bei strengen menschlichen Hörtests zeigte Spirit LM Expressive eine deutliche Überlegenheit gegenüber bestehenden Open-Source-Sprachmodellen in Bezug auf Stimmnatürlichkeit, Tonkonsistenz und emotionale Angemessenheit. Benchmark-Bewertungen zum modalübergreifenden Verständnis zeigten, dass die verschachtelte Darstellung die Sprecheridentität beibehielt und gleichzeitig die Verallgemeinerung von Zero-Shot-Aufgaben über unsichtbare Stimmen hinweg aufrechterhielt. ## Auswirkungen auf Markt und Branche Die Open-Source-Veröffentlichung von Spirit LM stellt proprietäre multimodale Sprachsysteme, die von Branchenkonkurrenten entwickelt wurden, darunter OpenAI Advanced Voice Mode und Google Gemini Live-Sprach-Engines, direkt in Frage. Während kommerzielle Hyperscaler ihre Sprachmodelle hinter geschützten Cloud-APIs mit gestaffelten Token-Preisen beschränken, bietet Meta mit seiner Strategie offener Modellveröffentlichungen Unternehmensentwicklern unbelasteten Zugriff, um Modelle auf privater Infrastruktur bereitzustellen. Dieses Paradigma der offenen Gewichtungen schafft einen fruchtbaren Boden für Sprach-KI-Startups, die eine tiefgreifende Domänenanpassung erfordern, wie z. B. Telegesundheitsassistenten im Gesundheitswesen, Infotainmentsysteme in Fahrzeugen und interaktive Nicht-Spieler-Charaktere in Videospielen. Entwicklungsteams können Spirit LM anhand proprietärer Konversationsdatensätze optimieren, ohne vertrauliche Sprachaufzeichnungen an externe Server von Drittanbietern zu senden. Gleichzeitig intensiviert die Veröffentlichung die Prüfung der synthetischen Spracherzeugung und der biometrischen Sicherheit. Da die Sprachsynthese immer ausdrucksstärker wird und es schwieriger wird, sie von echter menschlicher Sprache zu unterscheiden, müssen Finanzinstitute und digitale Verifizierungsplattformen den Einsatz kryptografischer Sprachwasserzeichen und multimodaler Liveness-Erkennung beschleunigen. ## Worauf man als Nächstes achten sollte Mit Blick auf die Zukunft werden Unternehmensforscher bewerten, wie effektiv Spirit LM für die Echtzeit-Edge-Bereitstellung auf mobilen Prozessoren und Automobil-Rechenplattformen optimiert werden kann. Die aktuelle 7-Milliarden-Parameter-Architektur erfordert erheblichen GPU-Speicher und schafft Anreize für Quantisierung, Bereinigung und destillierte, leichtgewichtige Varianten. Branchenbeobachter warten auch auf Community-Anpassungen von Spirit LM für mehrsprachige Datensätze, da sich die anfängliche Schulung hauptsächlich auf englische Sprachproben konzentrierte. Während Open-Source-Mitwirkende die akustische Tokenisierungspipeline auf verschiedene globale Sprachen und Akzente erweitern, sind verschachtelte multimodale Modelle bereit, die Standardarchitektur der Sprachkommunikation zwischen Mensch und Maschine neu zu definieren. ## Quellen - [Veröffentlichungen zur Meta-KI-Forschung](https://ai.meta.com/research/publications/spirit-lm-interleaved-spoken-and-written-language-model/) - [VentureBeat-Schreibtisch für künstliche Intelligenz](https://venturebeat.com/ai/meta-open-sources-spirit-lm-multimodal-speech-model/) - [SiliconANGLE Enterprise Cloud-Abdeckung](https://siliconangle.com/2024/10/18/meta-open-sources-spirit-lm-ai-model-combines-speech-text/) Mentions: Meta FAIR, Spirit LM, Multimodal Speech Model, Acoustic Tokenization, HuBERT ## Sources - [Veröffentlichungen zur Meta-KI-Forschung](https://ai.meta.com/research/publications/spirit-lm-interleaved-spoken-and-written-language-model/) - [VentureBeat-Schreibtisch für künstliche Intelligenz](https://venturebeat.com/ai/meta-open-sources-spirit-lm-multimodal-speech-model/) - [SiliconANGLE Enterprise Cloud-Abdeckung](https://siliconangle.com/2024/10/18/meta-open-sources-spirit-lm-ai-model-combines-speech-text/)