AI ARCHITECTURE

KI ist kein Feature.

Sie ist ein Systemrisiko mit Wertschöpfungspotenzial – beides zugleich. Und genau deshalb scheitern so viele Projekte.

• Nicht am Modell.
• Nicht an der API.
• Sondern am Denken davor.

WARUM AI‑PROJEKTE WIRKLICH SCHEITERN

Die Zahlen sind unerfreulich – und eindeutig:

• Bis zu 95 % aller GenAI‑Piloten erreichen keine Produktion(MIT, 2025).
• 30 % aller GenAI‑Projekte werden nach dem PoC ersatzlos eingestellt (Gartner, 2024/25).
• Bei Agentic AI prognostiziert Gartner bereits heute eine Abbruchrate von rund 40 %.

„Changing Anything Changes Everything.“
Sculley et al., Hidden Technical Debt in Machine Learning Systems, NeurIPS

Das ist kein Zufall, sondern ein Strukturproblem.

Die Industrie produziert gerade massenhaft PoC‑Leichen, weil KI als Plug‑and‑Play missverstanden wird. Das Ergebnis ist kein Produkt, sondern Hidden Technical Debt.

LLMs haben dieses Problem nicht gelöst – sie haben es beschleunigt.

DAS EIGENTLICHE PROBLEM: ARCHITEKTUR

In KI‑Systemen besteht meist:

• 5 % aus Modellcode
• 95 % aus Glue Code (Datenaufbereitung, Prompt‑Logik, Retrieval, Evaluation, Monitoring, Logging)

Heute liegt dieser Glue Code häufig direkt in der Business‑Logik – sprich Prompt Engineering mitten in der Business‑Logik.

Konsequenzen

• Keine Austauschbarkeit von Modellen
• Keine saubere Testbarkeit
• Keine erklärbare Entscheidungskette
• Keine Compliance‑Fähigkeit

Kurz: Ein System, das beim ersten Modell‑Update implodiert.

MEIN ANSATZ: ARCHITECTURE FIRST. HYPE SECOND.

Ich arbeite als AI Architect an der Schnittstelle von:

• Software‑ und Cloud‑Architektur
• KI‑Engineering
• Data & AI‑Governance
• Recht (EU AI Act, DSGVO, Data Act)

Nicht theoretisch, sondern in laufenden Projekten – u. a. bei GÖRG in KI‑gestützten Systemen im juristischen Umfeld und in weiteren regulierten Kontexten.

Ich baue keine „smarten Demos“, sondern KI‑fähige Architekturen, die:

• skalieren
• messbar sind (Stichwort: Build‑Measure‑Learn‑Circle)
• erklärbar bleiben
• rechtlich standhalten

WAS EIN AI ARCHITECT HEUTE KÖNNEN MUSS

TECHNIK: DIE FABRIK, NICHT DAS MODELL

Ein AI Architect ist kein Data Scientist. Er baut nicht das Modell, sondern die Produktionsstraße.

• Modell‑Strategie

  • Proprietär vs. Open Source (Llama, Mistral) vs. Small Language Models
  • → Entscheidung nach Risiko, Kosten, Kontrollbedarf

• RAG vs. Fine‑Tuning

  • RAG: flexibel, aber teuer im Betrieb
  • Fine‑Tuning: teuer am Anfang, günstiger in der Inferenz
  • → TCO‑Berechnung vor Projektstart, nicht danach

• Evaluation & Qualität

  • LLM‑as‑a‑Judge, RAGAS, Bias‑Checks
  • Qualität wird gemessen – nicht gefühlt

GOVERNANCE: LAW AS CODE

Der EU AI Act ist kein reines Compliance‑PDF, sondern eine technische Spezifikation mit Rechtsfolgen.

• Art. 12 – Logging & Traceability

  • Architektur braucht unveränderbare Protokolle:
    • Inputs, Outputs, Modellversion, Datenquelle, Vektor‑Referenzen

• Art. 10 – Datenqualität

  • Repräsentativität, Bias‑Kontrolle, dokumentierte Schwellenwerte

• Risk‑Tiering (ISO 42001)

  • High‑Risk‑Module technisch isoliert, anders überwacht und dokumentiert als harmlose Assistenzfunktionen

Compliance entsteht hier nicht durch Juristen am Ende, sondern durch Architektur am Anfang – gern in Zusammenarbeit mit einem Juristen, der von Anfang an dabei ist: mich.

WAS ICH KONKRET LEISTE

• Entwurf belastbarer AI‑Systemarchitekturen
• Saubere Trennung von Modell, Retrieval, Prompt‑Layer, Business‑Logik
• Governance‑ und Logging‑Konzepte by design
• Entscheidungsgrundlagen zu Kosten, Risiko, Modellwahl, Betriebsfähigkeit
• Integration von AI Act, DSGVO und Data Governance – ohne Bürokratie‑Theater

Ich verhindere

• PoC‑Friedhöfe
• Untestable Prompt‑Monster
• Compliance‑Nachrüstung unter Zeitdruck
• Juristisch unangenehme Überraschungen

KURZ GESAGT

Ich mache AI Architecture für Organisationen, die KI wirklich betreiben wollen – nicht nur darüber reden.

Für Entscheider, die verstehen, dass ein System nicht dann gut ist, wenn es beeindruckt, sondern wenn es auch in zwei Jahren noch erklärbar ist.

Und für Projekte, die lieber heute sauber gebaut werden, als morgen teuer verteidigt.

Suchen Sie jemanden, der Code liest, Gesetze versteht und Architektur ernst nimmt?
Dann passen wir wahrscheinlich gut zusammen.