# Microsoft trainiert vorab das MoE Foundation-Modell mit 2,8 Billionen Parametern MAI-Base-2 Source: TechNewsList (https://technewslist.com) Canonical URL: https://technewslist.com/de/article/microsoft-pre-trains-mai-base-2-mixture-of-experts-model-2026-10-22-night-de Section: AI (https://technewslist.com/de/ai) Author: TechNewsList Language: de Published: 2026-10-22T18:15:36.709+00:00 Updated: 2026-10-22T18:15:36.914306+00:00 > Microsoft AI erreicht einen wichtigen Meilenstein mit MAI-Base-2, einer spärlichen Mixture-of-Experts-Architektur, die 80 Milliarden Parameter pro Token aktiviert, um Copiloten der nächsten Generation zu betreiben. ## TL;DR - Microsoft AI hat das Vortraining von MAI-Base-2 abgeschlossen, einem spärlichen Mixture-of-Experts-Grundmodell mit insgesamt 2,8 Billionen Parametern. - Das Modell aktiviert nur 80 Milliarden Parameter pro Vorwärtsdurchlauf, was die Rechenkosten drastisch senkt und gleichzeitig die Grenzschlussdichte beibehält. - Das Vortraining wurde auf Azure-Supercomputing-Clustern mit flüssigkeitsgekühlten Beschleunigern und optischen Strukturen mit geringer Latenz durchgeführt. - Die Architektur bietet verlustfreien Experten-Lastausgleich, verteilte FP8-Kommunikation und 512.000-Token-Kontextfenster. - MAI-Base-2 wird als kognitives Rückgrat für Unternehmens-Copilot-Endpunkte der nächsten Generation in Microsoft 365 und Azure dienen. ## Key points - Microsoft AI hat das Vortraining von MAI-Base-2 abgeschlossen, einem spärlichen Mixture-of-Experts-Grundmodell mit insgesamt 2,8 Billionen Parametern. - Das Modell aktiviert nur 80 Milliarden Parameter pro Vorwärtsdurchlauf, was die Rechenkosten drastisch senkt und gleichzeitig die Grenzschlussdichte beibehält. - Das Vortraining wurde auf Azure-Supercomputing-Clustern mit flüssigkeitsgekühlten Beschleunigern und optischen Strukturen mit geringer Latenz durchgeführt. - Die Architektur bietet verlustfreien Experten-Lastausgleich, verteilte FP8-Kommunikation und 512.000-Token-Kontextfenster. - MAI-Base-2 wird als kognitives Rückgrat für Unternehmens-Copilot-Endpunkte der nächsten Generation in Microsoft 365 und Azure dienen. ## Was passiert ist Microsoft AI gab heute offiziell bekannt, dass das Vortraining von MAI-Base-2 abgeschlossen wurde, einem umfangreichen Basismodell mit insgesamt 2,8 Billionen Parametern, das auf einer spärlichen Mixture-of-Experts-Architektur (MoE) basiert. Der Meilenstein stellt die bislang ehrgeizigste interne Stiftungsmodellinitiative des Redmonder Technologieriesen dar, die unter der Leitung der Forschungsabteilung von Microsoft AI entwickelt wurde, um eine souveräne kognitive Infrastruktur im gesamten globalen Azure-Cloud-Ökosystem zu etablieren. Durch die Aktivierung von nur 80 Milliarden Parametern während eines beliebigen Forward-Token-Passes erreicht MAI-Base-2 eine Argumentationsdichte der Grenzklasse und reduziert gleichzeitig den Rechenaufwand, der traditionell für die Bedienung neuronaler Netze mit Billionen Parametern erforderlich ist. Der Abschluss der Vorschulung markiert einen entscheidenden Übergang in der übergreifenden Strategie für künstliche Intelligenz von Microsoft. Während das Unternehmen enge Unternehmensvertriebspartnerschaften mit Entwicklern von Grenzmodellen in Model Garden unterhält, stellt MAI-Base-2 Microsoft dediziertes, vertikal integriertes geistiges Eigentum an Modellen zur Verfügung, das speziell für Unternehmens-Copilot-Workloads mit hohem Durchsatz entwickelt wurde. Das Modell wurde vollständig auf den leistungsstarken KI-Supercomputing-Clustern von Azure trainiert und nutzte dabei Zehntausende flüssigkeitsgekühlte Beschleuniger, die durch optische Strukturen mit geringer Latenz miteinander verbunden sind. ## Warum es wichtig ist Die Wirtschaftlichkeit der Bereitstellung hyperskalierter künstlicher Intelligenz ist zur entscheidenden betrieblichen Herausforderung für globale Cloud-Anbieter geworden. Dichte Basismodelle, bei denen jeder Parameter für jeden generierten Token berechnet wird, verursachen bei kontinuierlicher Unternehmensinferenz enorme thermische, energetische und finanzielle Kosten. Durch den Übergang zu einem modularen Mixture-of-Experts-Design mit einer beispiellosen Parameterskala von 2,8 Billionen entkoppelt Microsoft die Gesamtmodellkapazität vom Inferenzaufwand pro Token. ![Wikimedia Commons / BSC-MareNostrum4-B Supercomputer](https://rkhynbcsbnkkcwgexzwg.supabase.co/storage/v1/object/public/media/api/1792691492492-9fnm8m-microsoft-pre-trains-mai-base-2-mixture-of-experts-model-2026-10-22-night-inside-1-2693f1476f.webp) Dieser architektonische Sprung ermöglicht es Unternehmenskunden, anspruchsvolles mehrstufiges Denken, die Prüfung mathematischer Theoreme und die automatisierte Codegenerierung bei Latenz- und Preisstrukturen auszuführen, die mit viel kleineren kompakten Modellen vergleichbar sind. Darüber hinaus ermöglicht die native Kontrolle über die zugrunde liegenden Grundgewichte Microsoft, Speicherlayouts, Quantisierungskerne und spekulative Dekodierungspfade umfassend zu optimieren, die speziell auf benutzerdefinierte Azure Maia-Beschleuniger und kommerzielle GPU-Instanzen zugeschnitten sind. ## Technische Details Die technische Architektur von MAI-Base-2 konzentriert sich auf dynamisches Routing über eine umfangreiche Bank spezialisierter Experten-Subnetzwerke. Während der Token-Generierung bewerten erlernte Router-Schichten eingehende kontextbezogene Einbettungen und leiten Aktivierungsvektoren ausschließlich an die beiden besten Expertennetzwerke weiter, die für diese spezifische kognitive Domäne am besten geeignet sind. Dieser Sparse-Routing-Mechanismus stellt sicher, dass der aktive Rechenaufwand pro Token trotz einer enormen Gesamtparameterkapazität von 2,8 Billionen Parametern auf 80 Milliarden Parameter begrenzt bleibt. Die Forscher von Microsoft AI führten mehrere bahnbrechende Stabilitätsmechanismen ein, um die berüchtigten Trainingsinstabilitäten zu überwinden, die mit massiven MoE-Architekturen verbunden sind. Zu diesen Innovationen gehören verlustfreie Lastausgleichsalgorithmen, die verhindern, dass einzelne Experten zusammenbrechen oder überlastet werden, sowie verteilte FP8-Kommunikationsschichten mit gemischter Präzision, die Gleitkommaoperationen pro Sekunde (FLOPs) im gesamten Azure-Cluster maximieren. Der vor dem Training erstellte Datensatz umfasste mehrsprachige Textkorpora, umfangreiche wissenschaftliche Literatur, mathematische Beweise und synthetische Argumentationsspuren im Gesamtumfang von über zwanzig Billionen Token. Um komplexes Enterprise Reasoning mit mehreren Dokumenten zu unterstützen, unterstützt MAI-Base-2 nativ erweiterte Kontextfenster, die sich über bis zu 512.000 Token mit linearer Aufmerksamkeitsskalierung erstrecken. Diese Funktion ermöglicht es Unternehmensanalysten, umfassende behördliche Unterlagen, vollständige Software-Repositories und umfangreiche Finanzbücher zu erfassen, ohne dass die semantische Erinnerung oder die Nadel-im-Heuhaufen-Genauigkeit darunter leidet. ![Wikimedia Commons / Taiwania 3 Supercomputer](https://rkhynbcsbnkkcwgexzwg.supabase.co/storage/v1/object/public/media/api/1792691495620-3rqvot-microsoft-pre-trains-mai-base-2-mixture-of-experts-model-2026-10-22-night-inside-2-7e5cba6f6a.webp) ## Auswirkungen auf Markt und Branche Die Vorstellung von MAI-Base-2 verändert die Wettbewerbsdynamik im Hyperscale-Cloud-Computing erheblich. Da Unternehmen zunehmend kontinuierliche Hintergrundagenten und unternehmensweite Suchassistenten einsetzen, haben sich die Kosten pro erfolgreicher Aufgabenerledigung als entscheidende kommerzielle Kennzahl herausgestellt. Die Fähigkeit von Microsoft, souveräne Basismodelle mit extremer FLOP-Effizienz anzubieten, übt direkten Margendruck auf konkurrierende Cloud-Ökosysteme und Drittanbieter von Frontier-APIs aus. Branchenanalysten betonen, dass proprietäre Basismodelle Microsoft einen entscheidenden Verhandlungsspielraum und die Widerstandsfähigkeit der Lieferkette verleihen. Durch den Einsatz einer internen 2,8-Billionen-Parameter-Architektur, die in der Lage ist, kommerzielle Grenzstandards in standardmäßigen akademischen Benchmarks zu erfüllen oder zu übertreffen, schützt Microsoft seine Kernproduktivitätssoftware-Suite – einschließlich Microsoft 365 Copilot, GitHub Copilot und Azure Cognitive Services – vor Preisverschiebungen externer Modellanbieter oder Verfügbarkeitsengpässen. ## Worauf man als Nächstes achten sollte Nachdem das grundlegende Vortraining erfolgreich abgeschlossen wurde, tritt Microsoft AI in die Nachtrainings- und Ausrichtungsphase ein. Im Laufe des kommenden Quartals werden die Entwicklungsteams mehrstufiges Verstärkungslernen aus menschlichem und algorithmischem Feedback (RLHF/RLAIF) anwenden, um die Grundgewichte für Sicherheit, Befolgung von Anweisungen und Verwendung von Enterprise-Agent-Tools auszurichten. Es folgen spezielle, nachträglich trainierte Kontrollpunkte, die auf Code-Synthese, Gesundheitsanalysen und Cyber-Verteidigung abgestimmt sind. Führungskräfte im Bereich Unternehmenstechnologie werden die erste Bereitstellung von MAI-Base-2 in den kommerziellen Regionen Azure, die für Anfang 2027 geplant ist, genau überwachen. Zu den wichtigsten technischen Benchmarks, die es zu beobachten gilt, gehören die tatsächliche Produktionslatenz bei hoher gleichzeitiger Benutzerlast, reale Token-Serving-Kosten im Vergleich zu etablierten dichten Modellen und Entwickler-Feedback zur Feinabstimmung der Effizienz. Während spärliche Fundamentmodelle ihre Rolle in der Produktionsberechnung festigen, ist MAI-Base-2 ein monumentaler Test dafür, ob extreme architektonische Skalierung und extreme Inferenzeffizienz erfolgreich konvergieren können. ## Quellen - [Microsoft-Forschungsblog](https://blogs.microsoft.com/ai/2026/10/pre-training-mai-base-2-mixture-of-experts/): Offizielles technisches Briefing mit Einzelheiten zur MAI-Base-2-Architektur, Sparse-Routing-Mechanismen und Azure-Supercomputing-Meilensteinen. - [Die Verge-KI](https://www.theverge.com/2026/10/22/microsoft-ai-mai-base-2-trillion-parameter-moe/): Berichterstattung über die interne Foundation-Modellstrategie von Microsoft, die Skalierung von Rechenclustern und die zukünftige Copilot-Integration. - [VentureBeat Enterprise AI](https://venturebeat.com/ai/2026/10/22/microsoft-mai-base-2-supercomputing-azure-cluster/): Technische Analyse, die die FLOP-Effizienz von MAI-Base-2 mit grenznahen Modellen und Industrie-Basislinien mit geringer Dichte vergleicht. Mentions: Microsoft AI, Satya Nadella, MAI-Base-2, Azure ## Sources - [Microsoft-Forschungsblog](https://blogs.microsoft.com/ai/2026/10/pre-training-mai-base-2-mixture-of-experts/) - [Die Verge-KI](https://www.theverge.com/2026/10/22/microsoft-ai-mai-base-2-trillion-parameter-moe/) - [VentureBeat Enterprise AI](https://venturebeat.com/ai/2026/10/22/microsoft-mai-base-2-supercomputing-azure-cluster/)