Seit 2017 bildet der Transformer das Fundament fast aller großen Sprachmodelle. Doch lange Kontexte, hohe Speicherkosten und die Suche nach dauerhafter Erinnerung treiben die Forschung weiter. Mamba, RWKV, xLSTM, Hyena, Titans, lineare Attention und World Models gelten als Kandidaten für die nächste KI-Generation. Die wahrscheinlichste Zukunft ist allerdings kein einzelner Thronfolger, sondern eine neue Klasse hybrider Systeme.
Technologiegeschichten werden gern als Ablösung erzählt: Die neue Architektur erscheint, die alte verschwindet. Bei künstlicher Intelligenz ist die Realität komplizierter. Convolutional Neural Networks wurden durch Vision Transformer nicht aus sämtlichen Kameras verdrängt. Rekurrente Netze verschwanden nicht, nur weil Attention viele Sequenzaufgaben besser skalierbar machte. Und auch der Transformer wird nicht plötzlich unbrauchbar, sobald ein State-Space-Modell einen effizienteren Benchmark erreicht.
2026 ist trotzdem ein Wendepunkt. Die Diskussion dreht sich nicht mehr nur darum, immer größere Transformer zu trainieren. Forscher und Hersteller verändern den Kern der Modelle: Einige ersetzen globale Attention durch einen kompakten Zustand, andere reaktivieren Rekurrenz mit moderner Mathematik, wieder andere geben dem Netz einen Speicher, der sich während der Nutzung aktualisiert. Produktionsmodelle kombinieren Attention, State Space und Mixture of Experts bereits in einem System.
Warum der Transformer so erfolgreich wurde
Vor dem Transformer wurden Sprache und andere Sequenzen häufig Schritt für Schritt verarbeitet. Ein rekurrentes neuronales Netz liest ein Wort, aktualisiert seinen internen Zustand und fährt mit dem nächsten Wort fort. Dieses Prinzip passt intuitiv zu Sprache, erschwert aber das Training: Viele Zeitschritte hängen nacheinander voneinander ab und lassen sich nur begrenzt parallel berechnen. Informationen über sehr lange Distanzen können zudem verblassen.
Der Transformer umgeht diese serielle Kette mit Self-Attention. Jedes Token erzeugt vereinfacht drei Repräsentationen: Query, Key und Value. Über Ähnlichkeiten zwischen Queries und Keys berechnet das Modell, welche anderen Positionen relevant sind, und mischt die zugehörigen Values ein. So kann ein Wort direkt auf einen Bezug viele Sätze zuvor zugreifen. Beim Training lassen sich alle Positionen einer Sequenz parallel auf Grafikprozessoren verarbeiten.
Hinzu kommen skalierbare Bausteine: Matrixmultiplikationen, Residualverbindungen, Normalisierung und Feed-forward-Schichten passen hervorragend zu heutiger Hardware. Ein Transformer kann Sprache, Bilder, Audio, Video oder Sensordaten als Tokenfolgen behandeln. Diese Allgemeinheit und ein gut entwickeltes Software-Ökosystem sind mindestens so wichtig wie die reine Modellidee.
Das Problem mit Attention: Jeder schaut auf jeden
Bei vollständiger Self-Attention wird für jede Position eine Beziehung zu jeder anderen Position berechnet. Verdoppelt sich die Sequenzlänge, vervierfacht sich die Zahl möglicher Beziehungen. Mathematisch wächst der Aufwand der Attention-Matrix quadratisch mit der Länge. Bei kurzen Texten fällt das kaum auf, bei Hunderttausenden oder Millionen Token wird es zum zentralen Kostenfaktor.
Während der autoregressiven Textgenerierung entsteht ein zweites Problem: der Key-Value-Cache. Das Modell speichert für frühere Token Zwischenrepräsentationen, damit sie nicht bei jedem neuen Wort vollständig neu berechnet werden müssen. Dieser Cache wächst mit Kontextlänge, Layerzahl und Modellbreite. Ein langes Dokument kann daher nicht nur Rechenzeit, sondern erheblichen schnellen Speicher beanspruchen. Bei vielen parallelen Nutzern wird die Speicherbandbreite zum Flaschenhals.
Attention besitzt zugleich eine seltene Stärke: Sie kann Inhalte aus dem Kontext präzise „nachschlagen“. Wenn eine Zeichenfolge kopiert, eine frühere Definition wiedergefunden oder zwei weit entfernte Textstellen verglichen werden müssen, ist der direkte Zugriff wertvoll. Viele Alternativen komprimieren die Vergangenheit in einen festen Zustand. Sie sparen Speicher, riskieren aber, einzelne Details zu verlieren. Genau dieser Zielkonflikt erklärt, warum es noch keinen eindeutigen Nachfolger gibt.
Kandidat 1: State-Space-Modelle und Mamba
State-Space-Modelle stammen gedanklich aus der Regelungs- und Signaltheorie. Ein System besitzt einen versteckten Zustand, der sich mit jedem Eingang verändert und daraus einen Ausgang erzeugt. Auf Sprache übertragen liest das Modell Token nacheinander und aktualisiert eine kompakte Zusammenfassung der bisherigen Sequenz. Der Speicherbedarf kann bei der Generierung konstant bleiben, statt mit jedem Token einen größeren KV-Cache aufzubauen.
Frühere State-Space-Ansätze waren effizient, konnten aber wichtige von unwichtigen Eingaben nicht flexibel genug trennen. Mamba machte die Zustandsaktualisierung vom aktuellen Inhalt abhängig. Vereinfacht entscheidet das Modell bei jedem Token, welche Information es aufnehmen, behalten oder verwerfen soll. Diese Selektivität verleiht dem kompakten Zustand eine Art lernbares Filter.
Im Training lassen sich die Zustandsoperationen in parallele, hardwarefreundliche Berechnungen umformen. Bei der Generierung arbeitet dasselbe Modell rekurrent: Ein neuer Token aktualisiert nur den Zustand. Mamba verbindet damit zwei Eigenschaften, die früher schwer gleichzeitig erreichbar waren – paralleles Training und speichereffiziente schrittweise Inferenz.
Mamba-2 und die Nähe zur Attention
Die Forschung zu State Space Duality zeigte, dass bestimmte State-Space-Modelle und Attention-Varianten mathematisch näher verwandt sind, als ihre unterschiedlichen Diagramme vermuten lassen. Daraus entstand Mamba-2, dessen Kernschicht effizienter ausgeführt werden kann. Der wichtige Punkt ist nicht eine einzelne Geschwindigkeitszahl, denn sie hängt stark von Hardware, Kernel, Batchgröße und Sequenzlänge ab. Wichtiger ist die Möglichkeit, Architekturen zwischen Rekurrenz und Attention systematisch zu entwerfen.
Die Grenzen bleiben sichtbar. Untersuchungen mit vergleichbar trainierten Modellen zeigen, dass reine Mamba-Systeme bei vielen Aufgaben mithalten können, bei exaktem Kopieren, In-Context Learning und manchen Langkontextaufgaben aber hinter starken Transformern zurückliegen. Ein komprimierter Zustand ist kein verlustfreier Index aller früheren Token. Deshalb setzen produktionsnahe Modelle häufig auf hybride Schichten.
Kandidat 2: Die Rückkehr der rekurrenten Netze
Recurrent Neural Networks galten nach dem Transformer zeitweise als überholt. Tatsächlich war nicht die Grundidee falsch, sondern ihre damalige Umsetzung schwer skalierbar. Moderne Varianten übernehmen Optimierungen aus der Transformer-Ära: bessere Normalisierung, Residualpfade, große Trainingsdatensätze, leistungsfähige Kernel und parallele Trainingsformen.
RWKV: Transformer-Training, RNN-Inferenz
RWKV kombiniert zeitgewichtete Mischungen mit einem rekurrenten Zustand. Während des Trainings können viele Operationen ähnlich wie bei einem Transformer parallelisiert werden. Bei der Ausgabe läuft das Modell Token für Token mit konstantem Zustand. Dadurch wächst der Inferenzspeicher nicht linear mit der gesamten Unterhaltung. Das ist für lokale Modelle, lange Sitzungen und viele parallele Nutzer attraktiv.
Die Herausforderung ähnelt Mamba: Was nicht im Zustand erhalten bleibt, kann später nicht exakt aus einer Attention-Matrix zurückgeholt werden. Zudem ist das Ökosystem kleiner. Optimierte Bibliotheken, Quantisierung, Monitoring und verteiltes Training entscheiden in der Praxis mit darüber, ob eine Architektur effizient ist. Ein theoretisch sparsamer Operator kann auf unpassender Hardware langsamer laufen als ein hochoptimierter Transformer.
xLSTM: ein alter Speicherbaustein wird modernisiert
Long Short-Term Memory wurde in den 1990er-Jahren entwickelt, um Informationen über längere Sequenzen zu bewahren. xLSTM erweitert diese Idee unter anderem mit exponentiellen Gates und Matrixspeichern. Die Architektur soll rekurrente Verarbeitung mit größerer Kapazität und stabilerem Lernen verbinden. Sie zeigt, dass die Suche nach dem Transformer-Nachfolger nicht zwingend bei völlig neuen Konzepten beginnen muss.
Ob xLSTM im großen Maßstab dieselbe Breite an Fähigkeiten erreicht wie etablierte Transformer, ist nicht abschließend bewiesen. Erfolgreiche Ergebnisse auf kontrollierten Modellgrößen sind wichtig, ersetzen aber keine Demonstration mit vergleichbarem Datenbudget, Training und Auswertungsumfang. Dieser Skalierungsnachweis ist für fast alle Alternativen die höchste Hürde.
Kandidat 3: Hyena und lange Faltungen
Convolutional Neural Networks verbinden benachbarte Bereiche mit einem Filter. Klassische kleine Filter sind effizient, reichen aber nicht über sehr lange Sequenzen. Hyena nutzt implizit parametrisierte lange Faltungen, kombiniert mit inhaltsabhängigen Gates. Damit kann Information über große Distanzen fließen, ohne eine vollständige Attention-Matrix aufzubauen.
Lange Faltungen lassen sich mithilfe schneller Fourier-Transformationen subquadratisch berechnen. Für sehr lange Eingaben können sie daher attraktiver werden. Hyena-artige Verfahren wurden nicht nur für Sprache, sondern auch für Genomsequenzen, Bilder und andere Signale untersucht. Ihre strukturierte Sicht auf Sequenzen passt gut zu Daten, bei denen lokale Muster und lange Abhängigkeiten gemeinsam auftreten.
Doch auch hier gilt: Faltung ist kein direkter Speicherzugriff. Ein Filter verteilt und mischt Signale, während Attention eine konkrete Position stark auswählen kann. Moderne Systeme kombinieren deshalb häufig lokale oder globale Attention mit Faltungs- und State-Space-Blöcken. Die Forschung bewegt sich weg von der Frage „Attention oder keine Attention?“ und hin zur Frage, welche Operation an welcher Stelle wirtschaftlich ist.
Kandidat 4: Lineare und sparsame Attention
Die konservativste Alternative ersetzt den Transformer nicht, sondern verändert seine teuerste Operation. Sparse Attention erlaubt jedem Token nur ausgewählte Verbindungen: etwa ein lokales Fenster, wenige globale Anker oder dynamisch ausgewählte Blöcke. Dadurch sinkt die Zahl der Beziehungen. Das Modell behält dennoch einen expliziten Zugriff auf relevante Kontextteile.
Lineare Attention formuliert die Berechnung so um, dass Zwischensummen oder ein fortgeschriebener Zustand genutzt werden können. Verschiedene Kernel- und Delta-Regel-Ansätze versuchen, die Auswahlfähigkeit klassischer Attention zu bewahren, ohne die vollständige quadratische Matrix zu materialisieren. In der Praxis unterscheiden sich diese Methoden erheblich: „linear“ beschreibt eine Komplexitätsklasse, nicht automatisch dieselbe Qualität oder Geschwindigkeit.
Qwen3-Next demonstrierte bereits eine produktionsnahe Hybridarchitektur aus Gated DeltaNet und Gated Attention. Spätere Modellreihen übernahmen dieses Muster. Der Befund ist bemerkenswert: Eine große Modellentwicklergruppe ersetzte Attention nicht vollständig, sondern setzte teure, präzise Attention gezielt zwischen effizienteren linearen Blöcken ein. Das ist ein starkes Indiz für die Architektur der nächsten Jahre.
Kandidat 5: Lernender Speicher zur Laufzeit
Ein Kontextfenster ist noch kein Gedächtnis. Transformer behandeln frühere Token als Arbeitsmaterial für die aktuelle Berechnung. Wird die Sitzung beendet oder der Kontext abgeschnitten, ist diese Information nicht dauerhaft in den Modellgewichten angekommen. Externe Vektordatenbanken können Dokumente nachladen, verändern aber den Kern des Netzes nicht.
Architekturen wie Titans ergänzen kurzfristige Attention um ein neuronales Langzeitgedächtnis, das sich während der Inferenz aktualisiert. Besonders überraschende Eingaben erzeugen stärkere Speicherupdates. Die Idee erinnert an menschliches Lernen: Erwartbares wird kaum eingeprägt, eine unerwartete Beobachtung erhält mehr Gewicht. Ein solches Modul kann Informationen jenseits des aktuellen Attention-Fensters zusammenfassen.
Das eröffnet neue Fragen. Wenn ein Modell seine Erinnerung im Betrieb verändert, müssen falsche oder manipulierte Inhalte wieder entfernt werden können. Mehrere Nutzer dürfen nicht unbeabsichtigt Informationen miteinander teilen. Versionierung, Datenschutz und Reproduzierbarkeit werden zu Architekturthemen. Lernender Speicher ist daher nicht nur ein Leistungsmerkmal, sondern eine neue Betriebsverantwortung.
Kandidat 6: World Models und JEPA
Sprachmodelle sagen meist das nächste Token voraus. Für Text ist das extrem wirksam, doch ein Roboter oder autonomes System muss auch verstehen, wie sich eine Situation durch eine Handlung verändert. World Models sollen eine interne Repräsentation von Zuständen, Dynamik und möglichen Folgen aufbauen. Sie sind nicht zwingend ein Ersatz für den Sequenzbaustein, sondern eine andere Ebene der KI-Architektur.
Joint-Embedding Predictive Architectures lernen nicht unbedingt, jedes Pixel eines zukünftigen Bildes zu reproduzieren. Sie sagen abstrakte Repräsentationen fehlender oder zukünftiger Inhalte voraus. Dadurch kann das Modell auf relevante Struktur fokussieren, statt jede unvorhersehbare Textur zu generieren. Video-JEPA-Systeme werden bereits für visuelles Verständnis, Vorhersage und robotische Planung erforscht.
Für die nächste KI-Generation könnte die Trennung wichtig werden: Ein Sprach- oder Multimodalmodell kommuniziert, ein Weltmodell simuliert Folgen, ein Speicher hält langfristige Erfahrungen und ein Planer wählt Aktionen. Unser Deep Dive zu Vision-Language-Action-Modellen in der Robotik zeigt, warum reine Textkompetenz für physische Systeme nicht genügt.
Mixture of Experts: kein Nachfolger, aber ein wichtiges Puzzleteil
Mixture of Experts wird häufig als neue Architektur neben dem Transformer aufgeführt. Streng genommen ersetzt MoE meist nicht Attention, sondern die dichten Feed-forward-Schichten. Ein Router wählt für jedes Token nur wenige Experten aus. Das Modell kann dadurch sehr viele Gesamtparameter besitzen, während pro Token nur ein kleiner Teil aktiv rechnet.
Dieser Ansatz senkt nicht automatisch jeden Aufwand. Experten müssen auf Geräte verteilt, Token zwischen Chips übertragen und Lastspitzen ausgeglichen werden. Ein schlecht balancierter Router lässt manche Experten warten und andere überlaufen. MoE ist daher ein Systemdesign aus Modell, Netzwerk und Clusterarchitektur. In hybriden Modellen kann es mit Attention, Mamba oder linearen Blöcken kombiniert werden.
Gerade offene Modelle zeigen, wie stark Effizienzinnovationen inzwischen miteinander verschmelzen. Quantisierung, sparsames MoE, kompakte Zustände und spezialisierte Inferenzkernel machen Modelle nutzbar, die auf dem Papier sehr groß wirken. Wie kleinere und offene Systeme dadurch konkurrenzfähig werden, erklärt unser Überblick zu Open-Source-KI 2026.
Die Kandidaten im Vergleich
| Ansatz | Kernidee | Stärke | Offene Schwäche |
|---|---|---|---|
| Transformer | Direkte Beziehungen per Attention | Flexibel, präziser Kontextzugriff, reifes Ökosystem | Teure lange Kontexte und großer KV-Cache |
| Mamba / SSM | Selektiver kompakter Zustand | Lineare Sequenzverarbeitung, kleine Inferenzzustände | Detailabruf und In-Context Learning können leiden |
| RWKV / xLSTM | Modernisierte Rekurrenz | Konstanter Zustand bei schrittweiser Ausgabe | Skalierungsnachweis und Tooling |
| Hyena | Lange Faltungen mit Gates | Subquadratische Verarbeitung langer Signale | Kein direkter beliebiger Positionszugriff |
| Lineare / Sparse Attention | Begrenzte oder umformulierte Beziehungen | Näher an bekannten Transformern | Qualität hängt stark vom Zugriffsmuster ab |
| Titans-artiger Speicher | Gedächtnis lernt während der Inferenz | Information über Kontextfenster hinaus | Sicherheit, Löschen, Stabilität und Betrieb |
| JEPA / World Model | Vorhersage abstrakter Weltzustände | Planung und physisches Verständnis | Kein alleiniger Ersatz für Sprache und Schnittstellen |
Warum Hybridmodelle derzeit vorne liegen
Jeder Ansatz optimiert einen anderen Zielkonflikt. Attention ist gut im punktgenauen Nachschlagen. Rekurrenz und State Space sind gut im kompakten Fortschreiben. Faltungen erfassen strukturierte Muster effizient. Expertennetze erhöhen Kapazität, ohne alle Parameter zu aktivieren. Ein lernender Speicher bewahrt Informationen über einzelne Kontexte hinaus. Es gibt keinen technischen Grund, nur einen dieser Mechanismen zu verwenden.
Jamba verband Mamba-, Transformer- und MoE-Blöcke bereits auf großer Skala. Qwen3-Next kombinierte lineare Gated-DeltaNet-Schichten mit klassischer Gated Attention und hochgradig sparsamen Experten. Solche Modelle nutzen effiziente Schichten für den Großteil der Verarbeitung und platzieren Attention dort, wo ihr direkter Zugriff den größten Nutzen bringt.
Hybride Architekturen sind weniger elegant als ein einzelner universeller Baustein, aber Computersysteme entwickeln sich häufig so. Prozessoren enthalten verschiedene Kerne, Caches und Beschleuniger. Speicherhierarchien kombinieren Register, RAM, SSD und Archiv. Auch KI könnte zu einer Hierarchie aus Aufmerksamkeit, Zustand, externem Wissen und dauerhaftem Gedächtnis werden.
Architektur und Hardware müssen zusammenpassen
Big-O-Notation allein entscheidet nicht, welches Modell schneller ist. Eine lineare Operation kann viele kleine, schlecht ausgelastete Schritte verlangen. Eine theoretisch teurere Matrixmultiplikation kann auf GPUs extrem optimiert sein. Speicherzugriffe, Kernelstarts, Präzision, Batchgröße, Chipverbindung und Compiler beeinflussen die reale Leistung.
Transformer profitieren von Jahren der Optimierung. FlashAttention vermeidet große Zwischenspeicher und nutzt die Speicherhierarchie moderner Beschleuniger besser. Grouped-Query Attention verkleinert den KV-Cache. Quantisierung reduziert Datenbewegung. Sparse und Sliding-Window Attention begrenzen den Kontextzugriff. Die Messlatte für Alternativen steigt also weiter.
Gleichzeitig können neue Chips andere Architekturen begünstigen. In-Memory Computing reduziert Datentransfers, neuromorphe Systeme passen zu ereignisgetriebener Rekurrenz und optische Beschleuniger können bestimmte lineare Operationen effizient ausführen. Wie Rechnen mit Photonen die Modellgestaltung verändern könnte, beschreibt unser Artikel über Photonic Computing.
Was „linearer Aufwand“ nicht bedeutet
Ein Modell mit linearer Sequenzkomplexität ist nicht automatisch energiesparend, schnell oder intelligent. Die Konstante vor der Formel kann groß sein. Manche Verfahren benötigen breitere Zustände, mehr Layer oder zusätzliche Gates. Andere sparen bei langen Kontexten, sind bei kurzen Eingaben aber langsamer. Wieder andere reduzieren Rechenoperationen, erhöhen jedoch Kommunikationsaufwand zwischen Chips.
Auch ein Kontextfenster von einer Million Token beweist noch kein Verständnis über eine Million Token. Modelle können Informationen am Anfang vergessen, Positionen verwechseln oder in langen Ablenkungen relevante Details übersehen. Gute Tests müssen nicht nur prüfen, ob irgendwo ein einzelnes Kennwort wiedergefunden wird. Sie sollten Zusammenhänge, mehrstufige Schlussfolgerungen und robuste Nutzung über verschiedene Positionen messen.
Herstellerangaben zu Durchsatz brauchen ebenfalls Kontext: Eingabelänge, Ausgabelänge, Zahl gleichzeitiger Anfragen, Hardware, Datentyp und Qualitätsniveau. Ein schnelleres Modell ist nur dann wirtschaftlich besser, wenn es dieselbe Aufgabe mit vergleichbarer Zuverlässigkeit löst.
Welche Architektur passt zu welchem Einsatz?
| Einsatz | Wichtige Eigenschaft | Interessante Architektur |
|---|---|---|
| Chat und Dokumentanalyse | Exakter Zugriff auf bereitgestellten Kontext | Transformer oder Hybrid mit Attention |
| Sehr lange Datenströme | Kompakter fortlaufender Zustand | SSM, RWKV oder xLSTM |
| Audio, Genomik, Zeitreihen | Lokale Muster plus lange Abhängigkeiten | SSM oder lange Faltungen |
| Lokale KI auf Endgeräten | Kleiner Speicher und niedrige Latenz | Rekurrente oder hybride Modelle |
| Agenten mit Langzeitgedächtnis | Kontrollierbares Speichern und Abrufen | Attention plus externes oder lernendes Memory |
| Robotik | Vorhersage von Handlungsfolgen | Multimodales Modell plus World Model |
Besonders sichtbar wird die Effizienzfrage auf Smartphones. Dort konkurrieren Modellzustand und KV-Cache mit Apps, Grafik und Betriebssystem um begrenzten Arbeitsspeicher. Rekurrente oder hybride Netze können langfristig helfen, doch Softwareunterstützung und NPU-Operatoren müssen passen. Der aktuelle Stand ist in unserem Deep Dive zu On-Device AI 2026 erklärt.
Wie belastbar ist die Forschung?
Architekturvergleiche sind notorisch schwierig. Zwei Modelle mit derselben Parameterzahl können unterschiedlich viele Trainingsdaten, Tokenizer, Optimierer und Rechenbudgets verwenden. Ein Verfahren kann auf einem Benchmark gewinnen, weil sein Trainingsrezept besser abgestimmt wurde. Kleine Modelle verhalten sich nicht zwingend wie Systeme mit Hunderten Milliarden Parametern.
Besonders vorsichtig sollte man mit drei Arten von Aussagen sein. Erstens sind theoretische Komplexitätsvorteile keine Laufzeitmessungen. Zweitens beweist niedrige Perplexität nicht automatisch bessere Problemlösung oder faktische Zuverlässigkeit. Drittens kann eine Architektur bei Text gut funktionieren und bei Bild, Audio oder Agenten völlig andere Stärken zeigen.
Belastbarer sind Vergleiche mit gleichen Daten, ähnlichem Trainingsaufwand, offengelegter Hardware und mehreren Aufgabentypen. Ebenso wichtig sind Ablationen: Sie entfernen einzelne Komponenten und zeigen, welcher Baustein den Vorteil tatsächlich verursacht. Reproduzierbarer Code und offene Gewichte beschleunigen diesen Prozess, weil unabhängige Gruppen die Behauptungen testen können.
Was bedeutet das für Deutschland und Europa?
Europa muss nicht zwingend das größte Basismodell bauen, um von einer neuen Architekturwelle zu profitieren. Effiziente Modelle eröffnen Chancen für industrielle Anwendungen, lokale Verarbeitung, wissenschaftliche Simulationen und datensensible Systeme. Wenn ein Modell mit weniger Speicher, Energie und Spezialhardware auskommt, sinkt die Abhängigkeit von wenigen sehr großen Rechenzentren.
Besonders relevant sind Fachgebiete mit langen Signalen: Maschinensensorik, Fertigungsdaten, medizinische Zeitreihen, Klima- und Materialforschung sowie technische Dokumentationen. State-Space- und rekurrente Modelle können dort Vorteile besitzen, weil sie nicht jede Messung in eine globale Attention-Matrix zwingen müssen.
Die wirtschaftliche Chance liegt nicht nur im Training. Compiler, effiziente Kernel, Modellkompression, Evaluationswerkzeuge, sichere Speicherkomponenten und Edge-Hardware sind eigenständige Märkte. Europäische Forschungseinrichtungen und Unternehmen können an der Schnittstelle aus Mathematik, Halbleitern und konkreten Industrieprozessen besonders stark sein.
Woran erkennt man einen echten Architekturfortschritt?
- Gleiche Qualität bei weniger Ressourcen: Nicht nur ein einzelner Benchmark, sondern mehrere Aufgaben müssen vergleichbar bleiben.
- Vorteile auf realer Hardware: Gemessene Latenz, Durchsatz, Speicher und Energie sind wichtiger als reine Komplexitätsklassen.
- Skalierung: Der Ansatz muss auch mit großen Daten- und Modellbudgets stabil trainierbar sein.
- Robuster Langkontext: Das Modell sollte relevante Informationen nutzen, nicht nur sehr lange Eingaben akzeptieren.
- Werkzeuge und Reproduzierbarkeit: Offene Implementierungen, Kernel und unabhängige Nachtests machen Ergebnisse belastbar.
- Betriebliche Kontrolle: Speicher, Datenschutz, Updates und Fehler müssen im produktiven Einsatz beherrschbar bleiben.
Eine neue Architektur setzt sich nicht durch, weil ihr Name neu klingt. Sie muss ein reales Problem besser lösen und in ein bestehendes Soft- und Hardwaresystem passen. Der Transformer gewann genau deshalb: Er war nicht nur akademisch elegant, sondern ließ sich mit wachsender Rechenleistung außergewöhnlich gut skalieren.
Auch Token selbst werden neu gedacht
Fast alle großen Sprachmodelle zerlegen Text vor der eigentlichen Verarbeitung in Token. Häufige Wörter oder Wortteile erhalten eigene Einträge, seltene Begriffe werden aus mehreren Stücken zusammengesetzt. Dieses Verfahren hält das Vokabular handhabbar, erzeugt aber künstliche Grenzen. Die gleiche Bedeutung kann je nach Sprache unterschiedlich viele Rechenschritte kosten. Tippfehler, Zahlenkolonnen, Quellcode und ungewöhnliche Namen werden teilweise ungünstig fragmentiert.
Byte- und zeichennahe Modelle versuchen, näher an den Rohdaten zu arbeiten. Sie benötigen kein starres Vokabular und können neue Schreibweisen ohne unbekannte Token darstellen. Dafür werden Sequenzen deutlich länger. Genau hier treffen Tokenisierung und Architektur aufeinander: Ein klassischer Transformer müsste für viel mehr Positionen Attention berechnen, während lineare oder rekurrente Modelle mit langen Rohsequenzen besser skalieren könnten.
Andere Ansätze lernen dynamische Patches. Leicht vorhersehbare Bytefolgen werden zu größeren Einheiten gebündelt, schwierige Stellen feiner aufgelöst. Das Modell verteilt seine Rechenarbeit damit nach Informationsgehalt statt nach einem vorab festgelegten Wörterbuch. Langfristig könnte die nächste Architektur nicht nur entscheiden, wie sie Token verarbeitet, sondern bereits welche Einheiten für die aktuelle Aufgabe sinnvoll sind.
Reasoning braucht mehr als einen neuen Sequenzblock
Viele Erwartungen an Post-Transformer-Modelle betreffen bessere Schlussfolgerungen. Doch Architektur, Training und Laufzeitstrategie lassen sich nicht sauber trennen. Ein Modell kann vor der Antwort zusätzliche Zwischenschritte erzeugen, Werkzeuge aufrufen, Ergebnisse prüfen und bei Bedarf neu planen. Diese Fähigkeiten entstehen nicht automatisch, nur weil Attention durch Mamba oder eine Rekurrenz ersetzt wird.
Interessant sind adaptive Rechenwege. Heute durchläuft meist jedes Token dieselbe Zahl von Layern, obwohl ein Satzzeichen weniger Verarbeitung benötigt als ein schwieriger Beweisschritt. Early-Exit-Verfahren lassen einfache Token früher aussteigen. Mixture of Depths und verwandte Ideen verteilen Tiefe selektiv. Rekurrente Reasoning-Modelle können einen internen Zustand mehrfach aktualisieren, bevor sie das nächste sichtbare Token ausgeben.
Damit verschiebt sich die zentrale Ressource von der festen Modellgröße zum Rechenbudget pro Problem. Eine leichte Anfrage wird schnell beantwortet, eine schwierige Aufgabe erhält zusätzliche Iterationen. Das kann wirtschaftlicher sein als ein immer gleich teurer Vorwärtslauf. Es erschwert allerdings die Planung von Latenz und Kosten, weil zwei ähnlich lange Anfragen sehr unterschiedlich viel Rechenzeit beanspruchen können.
Neue Architekturen brauchen neue Sicherheitsprüfungen
Sicherheitsmethoden sind oft an Transformer angepasst. Interpretierbarkeitswerkzeuge untersuchen Attention-Köpfe, Aktivierungspfade oder bestimmte Layer. Bei rekurrenten Modellen steckt Information in einem fortlaufend veränderten Zustand. Bei MoE entscheidet zusätzlich ein Router, welcher Experte ein Token sieht. Bei lernendem Memory verändert sich das System sogar während der Nutzung.
Tests müssen deshalb architekturspezifisch werden. Kann eine manipulierte Eingabe den dauerhaften Speicher vergiften? Bleiben vertrauliche Informationen im Zustand erhalten? Lässt sich ein fehlerhaftes Memory-Update zurücksetzen? Wie reproduziert man eine Antwort, wenn der interne Speicher seitdem weitergelernt hat? Solche Fragen sind keine Randdetails, sobald Modelle in Unternehmen oder auf persönlichen Geräten arbeiten.
Hybride Systeme erhöhen zudem die Zahl möglicher Fehlerpfade. Ein Router kann falsche Experten wählen, ein Retriever veraltete Dokumente liefern, ein World Model physikalisch unplausible Folgen erwarten und ein Planer daraus trotzdem eine Handlung ableiten. Die Qualität des Gesamtsystems entspricht nicht automatisch der besten Einzelkomponente. Protokollierung, getrennte Berechtigungen und überprüfbare Zwischenergebnisse werden daher wichtiger als ein einzelner Benchmarkwert.
Die wahrscheinlichste Zukunft bis 2030
Für die nächsten Jahre zeichnet sich kein vollständiger Bruch ab. Attention bleibt dort, wo präziser Zugriff auf Kontext entscheidend ist. State-Space- und rekurrente Blöcke übernehmen größere Teile kontinuierlicher Verarbeitung. Sparse Experts erhöhen Kapazität. Externe Datenbanken liefern überprüfbares Wissen. Lernende Speicher halten Erfahrungen über Sitzungen hinweg. World Models ergänzen Sprache um Vorhersage und Planung.
Auch „Transformer“ wird dadurch unschärfer. Wenn nur jeder achte Block klassische Attention nutzt, der Rest aus Delta-Regeln und State Space besteht und zusätzlich ein MoE sowie ein Langzeitgedächtnis arbeitet – ist das noch ein Transformer? Für Nutzer ist die Bezeichnung weniger wichtig als das Ergebnis: längere nutzbare Kontexte, niedrigere Kosten, schnellere lokale Ausführung und verlässlichere Erinnerung.
Der eigentliche Nachfolger des Transformers könnte deshalb keine einzelne Schicht sein, sondern eine Architektur, die Rechenwege dynamisch auswählt. Einfache Token benötigen wenig Tiefe. Schwierige Stellen aktivieren zusätzliche Experten. Lokale Muster laufen durch effiziente Zustände, präzise Rückfragen durch Attention, ältere Erfahrungen durch Memory und Handlungsfolgen durch ein Weltmodell.
Fazit: Nach dem Transformer kommt die Spezialisierung
Der Transformer hat die KI nicht deshalb geprägt, weil er perfekt ist, sondern weil er vielseitig, skalierbar und hardwarefreundlich war. Seine Schwächen werden mit längeren Kontexten und wachsendem Inferenzbetrieb deutlicher: quadratische Beziehungen im Training, große Caches bei der Ausgabe und kein echtes dauerhaftes Gedächtnis.
Mamba und andere State-Space-Modelle zeigen, wie Sequenzen mit kompaktem Zustand verarbeitet werden können. RWKV und xLSTM bringen Rekurrenz auf den Stand moderner Großmodelle. Hyena nutzt lange Faltungen, lineare Attention verändert den Zugriff, Titans-artige Systeme lernen im Betrieb und JEPA-basierte World Models richten den Blick auf physische Planung.
Keiner dieser Ansätze hat den Transformer eindeutig besiegt. Gemeinsam verändern sie aber bereits seine Rolle. Statt eines universellen Blocks entsteht eine Arbeitsteilung aus Aufmerksamkeit, Zustand, Experten und Gedächtnis. Die nächste KI-Generation wird daher vermutlich nicht „nach“ dem Transformer beginnen. Sie entsteht gerade, indem der Transformer zu einem Baustein unter mehreren wird.
