Transformer Architektur neu denken mit Context Graphs

Transformer Architektur neu denken mit Context Graphs und topologischer Speicherstruktur

Lassen Sie uns darüber sprechen warum Ihre KI sich derzeit wie ein Student verhält der eine ganze Nacht durcharbeitet...
und warum die Zukunft autonomer Agenten nicht in größeren Context Windows liegt sondern in der topologischen Abbildung von Speicher...

Die Map vs Scroll Krise

Stellen Sie sich vor Sie werden mitten in Tokyo ausgesetzt. Sie sprechen die Sprache nicht, Sie haben kein Telefon, und Sie müssen ein bestimmtes Ramen Restaurant namens Ichiran in Shinjuku finden.

Nun biete ich Ihnen zwei Werkzeuge an.

Werkzeug A: Eine einzelne kontinuierliche Papierrolle die 50 Meilen lang ist. Auf diesem Papier befindet sich eine schriftliche Beschreibung jedes einzelnen Gebäudes, jeder Straße, jeder Bordsteinkante und jedes Verkaufsautomaten in Tokyo, sequentiell angeordnet. irgendwo bei Meile 32 wird das Ramen Restaurant erwähnt.
Werkzeug B: Eine Karte. Eine einfache topologische Karte mit Knoten Schnittpunkten und Kanten Straßen.

Welches wählen Sie?

Wenn Sie Werkzeug A gewählt haben, herzlichen Glückwunsch, Sie sind ein Large Language Model LLM mit einem 1 Million Token Context Window. Sie haben ein fotografisches Gedächtnis des Textes, aber Sie haben absolut keine Ahnung wo Sie sich befinden.

Wenn Sie Werkzeug B gewählt haben, dann sehen Sie wie die Zukunft der KI aussieht.

In den letzten Jahren waren wir besessen von dem Paper Attention Is All You Need. Es ist die heilige Schrift der KI. Aber ehrlich gesagt haben wir es falsch interpretiert. Wir dachten Attention bedeutet Mehr Lesen. Wir haben Context Windows von 8k auf 32k auf 1M Tokens erweitert. Wir gaben der KI ein fotografisches Gedächtnis, aber wir vergaßen ihr einen Aktenschrank zu geben.

Die These: Die lineare Transformer Architektur diese wunderschöne unendliche Scroll stößt an eine Wand. Der nächste Sprung in der KI geht nicht darum mehr Text zu lesen sondern ihn zu strukturieren. Wir erleben einen epistemologischen Wandel von flacher Vektor Retrieval zu Context Graphs dynamischen topologischen Repräsentationen der Welt.

"Giving an AI a million token context window and asking it to plan a complex task is like handing someone the entire Library of Congress and asking them to find their car keys."

 

Warum flacher Speicher in der realen Welt scheitert

Lassen Sie uns einen Moment ernst werden. In meiner Arbeit in der Cybersicherheit wenn ich einen Log Eintrag verpasse wird ein Server kompromittiert. Im Kickboxen wenn ich eine Kombination vergesse bekomme ich einen Schlag ins Gesicht. Konsequenzen zählen.

Aktuelle KI verlässt sich stark auf RAG Retrieval Augmented Generation. Im Grunde wenn Sie eine Frage stellen läuft die KI zu einer Vektor Datenbank einer Bibliothek unscharfer Konzepte greift ein paar Bücher die sich ähnlich anfühlen und liest sie.

Das erzeugt drei massive Probleme:

1. Catastrophic Forgetting: Wenn ein Agent in Schritt 5 einen Schlüssel ablegt und ihn in Schritt 500 benötigt vergisst ein flaches Modell oft dieses Ereignis weil die semantische Ähnlichkeit zwischen Schritt 5 und Schritt 500 gering ist.
2. Hallucination: Wenn die Scroll zu lang wird beginnt die KI Dinge zu erfinden um Lücken zu füllen. Es ist der Student der in einer Essay Prüfung blufft.
3. Lack of Planning: Sie können keine zukünftige Route planen wenn Sie kein strukturiertes Modell der Vergangenheit haben.

Wir versuchen KI von System 1 Schnell intuitiv Ich glaube ich habe das irgendwo gesehen zu System 2 Langsam bewusst Ich weiß dass X Y verursacht weil ich es abgebildet habe zu bewegen. Context Graphs sind die Architektur von System 2.

Der Hippocampus der KI Konstrukivistischer Speicher

Behandeln wir unseren KI Agenten als Charakter. Nennen wir ihn Sherlock.

Alter Sherlock Linear Transformer betritt einen Raum. Er liest alles. Der Teppich ist rot. Der Schlüssel ist silber. Das Fenster ist offen. Er speichert dies in einer Liste. Zehn Stunden später fragen Sie Wer hat das Fenster geöffnet. Alter Sherlock durchsucht die Liste. Wenn die Liste zu lang ist könnte er sagen Der Teppich hat das Fenster geöffnet.

Neuer Sherlock Graph Agent ist konstruktivistisch. Er liest nicht nur sondern baut eine mentale Karte.

Aktuelle Forschung insbesondere AriGraph Anokhin et al 2024 zeigt dass Agenten zwischen semantischem Speicher Fakten Der Schlüssel ist silber und episodischem Speicher Ereignisse Ich habe den Schlüssel in Schritt 5 aufgenommen unterscheiden müssen.

Wenn Neuer Sherlock den Raum betritt erstellt er einen Knoten in seinem Graph Room A. Er erstellt eine Kante Sherlock picked_up Key. Später muss er nicht die ganze Geschichte erneut lesen. Er traversiert einfach den Graph.

Noch spannender Trainable Graph Memory Xia et al 2025. Hier entwickelt der Agent Meta Cognition. Er erinnert sich nicht nur was passiert ist sondern wie er das Problem gelöst hat. Er speichert erfolgreiche Strategien als gewichtete Kanten im Graph. Es ist wie ein Kickboxer der sich erinnert Jedes Mal wenn er seine linke Hand senkt landet ein rechter Haken. Das ist kein Fakt sondern eine in Topologie gespeicherte Strategie.

ProTip: Wenn Sie Agenten bauen hören Sie auf alles in einen Vektor Store zu kippen. Beginnen Sie Weltwissen Wikipedia von Agent State Was habe ich gerade getan zu trennen. Letzteres benötigt einen Graph.

Der Aha Moment Navigation ist Reasoning

Hier kommt der gedankliche Durchbruch. In dieser neuen Welt ist GraphRAG nicht nur eine Methode um Daten nachzuschlagen. Navigation ist Reasoning.

Denken Sie an Doctor Strange in Avengers Infinity War der 14 Millionen Zukünfte betrachtet. Er liest kein Buch sondern traversiert einen Entscheidungsbaum.

• Active Reasoning (KG Agent): Forschung von Jiang et al 2025 zeigt dass effiziente Agenten eine Toolbox nutzen um Verbindungen zu erkunden. Sie raten nicht sondern sagen Lassen Sie mich den Nachbarn dieses Knotens prüfen.
• Simulation and Look Ahead (WebATLAS): Dieses Paper von Cheng et al 2025 ist ein Game Changer. Es erlaubt Web Agenten einen Klick zu simulieren bevor sie ihn ausführen. Statt Buy Now zu klicken und versehentlich 500 Toaster zu bestellen verfolgt der Agent die Graph Kante um zu sehen wohin sie führt. Es verhindert Infinite Loop Fehler die wir bei schlechten KI Bots sehen.

Für meine Entwickler Freunde werfen Sie einen Blick auf CodexGraph Liu et al 2025. Wenn Sie möchten dass eine KI Ihren Spaghetti Code versteht scheitert Vektor Suche. Warum Weil Code Logik ist. Funktion A ruft Funktion B auf. Das ist eine Graph Relation. Graph basierte Agenten können beantworten Wenn ich diese Zeile lösche was bricht. Text basierte Agenten raten nur anhand von Variablennamen.

Der kollektive Geist und Schwarm Topologie

Skalieren wir das nun. Was passiert wenn Sie einen Schwarm von Robotern haben

Wenn jeder mit jedem spricht eine flache Struktur entsteht Chaos. Es ist wie eine Reply All E Mail Kette die niemals endet.

Forschung zur Schwarm Topologie Liu et al 2023 legt nahe dass wir militärische Hierarchien benötigen. Wir brauchen einen Graph aus Anführern und Gefolgsleuten. Der Context befindet sich nicht in einem Roboter sondern in der Netzwerkstruktur zwischen ihnen.

Arbeiten zu Recursive Reasoning Graphs Ma et al 2022 zeigen Agenten die modellieren was andere Agenten denken. Ich denke dass du denkst dass ich nach links abbiege. Das ist Theory of Mind und nur möglich wenn Beziehungen zwischen Agenten als dynamischer Graph abgebildet werden können.

Die Fragilität von Struktur

Struktur bringt Klarheit aber auch Fragilität.

Es gibt einen neuen Angriffsvektor namens GragPoison Liang et al 2025.

Hier ist der kritische Punkt:

Text Poisoning: Wenn ich einen Blogpost schreibe Der Himmel ist grün könnte die KI ihn lesen mit 50 anderen Quellen vergleichen und sagen Das ist Rauschen.
Structure Poisoning: Wenn ich den Knowledge Graph hacke und eine solide Kante zwischen Safe Chemical und Explosive Reaction ziehe vertraut die KI der Karte.

Es ist der Unterschied zwischen einem Tippfehler in einem Reiseführer und einem Hacker der die GPS Koordinaten einer Brücke ändert. Da Agenten auf diese Graphen für Logik angewiesen sind kann eine einzige vergiftete Kante eine katastrophale Reasoning Cascade auslösen.

Die Zukunft der KI

"Ist Structure All You Need?" Nein. Wir brauchen einen Hybrid.

Wir brauchen die Kreativität und Unschärfe von Vektoren System 1 kombiniert mit der Strenge und Logik von Graphen System 2.

Für Executives die dies lesen hören Sie auf Ihr Team zu fragen How big is the context window. Fragen Sie How does this agent model its state. Wenn die Antwort lautet We just shove it all in the prompt dann laufen Sie. Investieren Sie in State Management.

Für Policymakers fordern Sie Traceability. Einen Vektor kann man nicht auditieren. Einen Graph kann man auditieren. Wenn eine KI einen Kredit ablehnt kann ein Graph genau zeigen welchen logischen Pfad sie genommen hat Graph R1 Luo et al 2025.

Abschließender Gedanke: Um AGI oder zumindest zuverlässige Autonomie zu erreichen müssen wir anerkennen dass Attention ein großartiger Anfang war aber Structure das ist was wir tatsächlich brauchen um die Arbeit zu beenden.

Strukturieren Sie nun Ihren Tag Und trinken Sie vielleicht etwas Wasser der Chai war stark.