Large Language Models

Large Language Models Large Language Models sind KI-Systeme, die auf der Transformer-Architektur basieren und mit riesigen Textmengen trainiert wurden, um Sprache statistisch vorherzusagen. Sie zerlegen jede Eingabe in Tokens, meist Silben oder Wortfragmente, und berechnen daraus, welches Wort als Nächstes am wahrscheinlichsten folgt. Modelle wie GPT-5, Claude oder Gemini setzen das heute für Textausgabe, mehrstufiges Schlussfolgern und den eigenständigen Einsatz von Werkzeugen ein. Wie gut ein LLM funktioniert, hängt weniger von seiner reinen Größe ab als von der Qualität der Trainingsdaten und der Architektur dahinter.

Was ein Large Language Model ist

Wer den Namen zum ersten Mal hört, denkt oft an ein fertiges Nachschlagewerk, das Fragen einfach beantwortet. Tatsächlich ist ein Large Language Model etwas anderes: ein KI-System, das auf der Transformer-Architektur von 2017 basiert. Es wurde mit riesigen Textmengen trainiert, um sprachliche Muster statistisch vorherzusagen.

Der Name beschreibt das ziemlich genau. Groß, wegen der Milliarden Parameter im Modell. Sprachmodell, weil es ursprünglich nur reinen Text verarbeitet hat. Aktuelle Modelle wie GPT-5, Claude oder Gemini können inzwischen mehr und lesen auch Bilder, Audio und Video im selben Rechenschritt.

Große Vorläufer gab es schon länger. GPT-3 erschien 2020. Bekannt wurde das Konzept einem breiten Publikum aber erst Ende 2022, über den Chat-Zugang von ChatGPT.

Seitdem hat sich die Größenordnung der Modelle mehrfach verschoben. Die reine Parameterzahl blieb dabei nicht das wichtigste Qualitätsmerkmal.

Bevor ein LLM rechnen kann, zerlegt es jede Eingabe in Tokens, meist Silben oder Wortfragmente statt ganzer Wörter. Diese Zerlegung ist der Grund, warum LLMs pro Nutzung abgerechnet werden. Aus demselben Grund vergisst ein Modell irgendwann den Anfang eines langen Gesprächs.

Wie das Modell zu einer Antwort kommt

Der Text ist jetzt in Tokens zerlegt. Ein Attention-Mechanismus gewichtet, wie stark einzelne Wörter im aktuellen Kontext aufeinander Bezug nehmen. Aus diesen Gewichtungen berechnet das Modell, welches Wort als Nächstes am wahrscheinlichsten folgt. Das passiert wieder und wieder, bis der Satz fertig ist.

Wichtiger als die reine Modellgröße ist inzwischen, wie sauber die Trainingsdaten aufbereitet wurden und ob das Modell bei der Antwort auf externe Quellen zugreifen kann. Wie ein Modell dafür gezielt in eigenen Dokumenten nachschlägt, statt nur aus dem Training zu schöpfen, erklärt der Eintrag zu Retrieval Augmented Generation.

Wofür LLMs heute eingesetzt werden

In der Praxis laufen LLMs überall dort, wo Sprache verarbeitet wird, nicht nur beim Chatten. Content-Entwürfe, Zusammenfassungen langer Dokumente, Klassifizierung von Support-Anfragen, Boilerplate-Code: Für all das reicht die Mustererkennung des Modells aus. Die Aufgabe besteht selbst aus vorhersehbaren sprachlichen Bausteinen.

Schlecht sind LLMs dagegen bei allem, was exaktes Rechnen oder tagesaktuelles Wissen ohne Werkzeuganbindung verlangt. Ein Modell kann eine Rechnung plausibel aussehen lassen, ohne dass sie stimmt. Es kennt auch keine Ereignisse nach seinem Trainingsstichtag, wenn es nicht per RAG oder Websuche nachschaut. Wer diese Grenze kennt, baut Aufgaben so zu, dass das Modell die Sprache übernimmt und ein Werkzeug die Fakten liefert.

Wenn das Modell erst nachdenkt, bevor es antwortet

Aktuelle Modelle bauen zunehmend eine Zwischenebene ein. Statt sofort zu antworten, erzeugen sie zuerst eine interne Kette von Zwischenschritten. Das ist ähnlich wie bei einem Menschen, der ein Problem in Teilschritte zerlegt, bevor er es ausspricht. Dieses Reasoning senkt die Fehlerquote bei mehrstufigen Aufgaben spürbar, etwa bei Rechenaufgaben oder Anweisungen mit mehreren Bedingungen gleichzeitig.

Daneben gibt es einen zweiten technischen Weg. State-Space-Modelle wie Mamba ergänzen die klassische Transformer-Architektur bei sehr langen Kontexten. Sie skalieren linear statt quadratisch. Das braucht weniger Speicher, etwa wenn ein Modell eine ganze Codebasis auf einmal einlesen soll.

Für die meisten Anwendungen bleibt der Transformer trotzdem der Standard. Mamba ist bislang die Ausnahme für Spezialfälle.

Vom Antworten zum Handeln

Ein LLM, das nur Text ausgibt, ist inzwischen die kleinere Hälfte der Anwendung. Über das Model Context Protocol verbinden sich Modelle mit externen Werkzeugen wie Dateisystemen oder APIs.

Dabei verschiebt sich die Rolle des Modells. Es arbeitet als Planungsinstanz, nicht mehr nur als Textgenerator. Diese Verschiebung ist der Kern dessen, was aus einem Sprachmodell einen KI-Agenten macht, und wie sich das konkret vom klassischen Chat-Assistenten unterscheidet, steht im eigenen Eintrag dazu.

Warum kleinere Modelle aufholen

Nicht jede Aufgabe braucht das größte verfügbare Modell. Small Language Models erreichen für viele Standardaufgaben inzwischen eine Qualität, für die noch vor Kurzem deutlich größere Modelle nötig waren. Dabei laufen sie lokal auf gewöhnlicher Hardware statt in der Cloud.

Das senkt die Kosten pro Anfrage und den Energieverbrauch. Es hält Daten außerdem dort, wo sie entstehen, was für viele Unternehmen ein eigenständiges Argument ist.

Ein Teil davon sind offene Modelle. Wer ein Modell selbst hostet statt es über eine API einzukaufen, hat volle Kontrolle über Daten und Kosten. Er muss sich dafür aber auch selbst um Betrieb und Absicherung kümmern. Das lohnt sich vor allem, wenn viele gleichartige Anfragen laufen und ein großes Allzweckmodell dafür überdimensioniert wäre.

Wo LLMs an ihre Grenzen stoßen

Ein LLM ist keine Datenbank. Es sagt vorher, welches Wort statistisch am wahrscheinlichsten folgt. Ob diese Vorhersage stimmt, weiß es aber nicht.

Genau daraus entstehen Halluzinationen: Antworten, die überzeugend klingen und trotzdem falsch sind. RAG und Reasoning reduzieren dieses Risiko, beseitigen es aber nicht.

Dazu kommt der regulatorische Rahmen. Der EU AI Act trat am 1. August 2024 in Kraft und ist seit dem 2. August 2026 verbindlich anwendbar. Er reguliert den Einsatz kritischer KI-Systeme in Europa und verpflichtet Unternehmen, Haftung und Kontrolle für automatisierte Entscheidungen klar zu definieren.

Wer LLMs für mehr als einfache Textaufgaben einsetzt, kommt an dieser Frage nicht vorbei. Das gilt unabhängig davon, wie leistungsfähig das eingesetzte Modell im Einzelfall ist.

Was ein Prompt technisch leisten kann und wo er scheitert, ist ein eigenes Thema. Auch Machine Learning ist ein eigener Begriff: das übergeordnete Feld, aus dem die Transformer-Architektur nur einen Ausschnitt bildet. Beide Einträge stehen im Glossar.

Zurück zum AI und Automation Glossar.