Was ist ein großes Sprachmodell (LLM)?
Ein großes Sprachmodell (Large Language Model, LLM) ist eine Art von KI-Programm, das neben anderen Aufgaben auch Text erkennen und generieren kann. LLMs werden auf riesigen Datenmengen trainiert – daher der Name „large“. LLMs basieren auf maschinellem Lernen, insbesondere auf einer Art neuronalem Netzwerk, dem so genannten Transformer-Modell.
Einfacher ausgedrückt ist ein LLM ein Computerprogramm, das mit genügend Beispielen gefüttert wurde, um menschliche Sprache oder andere Arten komplexer Daten erkennen und interpretieren zu können. Viele LLMs werden auf Daten aus dem Internet trainiert – Tausende oder Millionen von Gigabytes an Text. Einige LLMs durchsuchen das Web auch nach dem ersten Training weiterhin nach mehr Inhalten. Die Qualität der Stichproben beeinflusst jedoch, wie gut LLMs natürliche Sprache lernen. Daher können die Programmierer eines LLM zumindest anfangs einen stärker kuratierten Datensatz verwenden.
LLMs verwenden eine Art des maschinellen Lernens, das sogenannte Deep Learning, um zu verstehen, wie Zeichen, Wörter und Sätze zusammen funktionieren. Deep Learning beinhaltet die probabilistische Analyse unstrukturierter Daten, die es dem Deep-Learning-Modell schließlich ermöglicht, ohne menschliches Zutun Unterschiede zwischen verschiedenen Inhalten zu erkennen.
LLMs werden dann durch Abstimmung weiter trainiert: Sie werden auf die spezielle Aufgabe abgestimmt, die der Programmierer von ihnen erwartet, z. B. die Interpretation von Fragen und die Generierung von Antworten oder die Übersetzung von Text von einer Sprache in eine andere.
Wofür werden LLMs eingesetzt?
LLMs können für eine Reihe von Aufgaben trainiert werden. Eine der bekanntesten Anwendungen ist der Einsatz als generative KI: Wenn sie einen Prompt erhalten oder eine Frage gestellt bekommen, können sie Text als Antwort produzieren. Das öffentlich zugängliche LLM ChatGPT zum Beispiel kann als Reaktion auf Nutzereingaben Essays, Gedichte und andere Textformen erzeugen.
Jeder große, komplexe Datensatz kann zum Trainieren von LLMs verwendet werden, auch Programmiersprachen. Einige LLMs können Programmierern beim Schreiben von Code helfen. Sie können auf Anfrage Funktionen schreiben – oder mit etwas Code als Ausgangspunkt ein Programm fertig schreiben. LLMs können auch verwendet werden in:
- Sentimentanalyse
- DNA-Forschung
- Kundenbetreuung
- Chatbots
- Online-Suche
Beispiele für LLMs sind ChatGPT (von OpenAI), Bard (Google), Llama (Meta) und Bing Chat (Microsoft). Copilot von GitHub ist ein weiteres Beispiel, allerdings für das Coding anstelle von natürlicher menschlicher Sprache.
Wie funktionieren Large Language Models?
Maschinelles Lernen und Deep Learning
Auf einer grundlegenden Ebene basieren LLMs auf maschinellem Lernen. Maschinelles Lernen ist ein Teilbereich der künstlichen Intelligenz und beschreibt die Praxis, ein Programm mit großen Datenmengen zu füttern, um ihm beizubringen, wie es ohne menschliches Zutun Merkmale in diesen Daten erkennen kann.
LLMs verwenden eine Art des maschinellen Lernens, das so genannte Deep Learning. Deep-Learning-Modelle können sich im Wesentlichen selbst trainieren, um Unterscheidungen ohne menschliches Eingreifen zu erkennen, auch wenn in der Regel eine gewisse menschliche Feinabstimmung erforderlich ist.
Deep Learning „lernt“ mit Hilfe von Wahrscheinlichkeiten. In dem Satz „The quick brown fox jumped over the lazy dog“ zum Beispiel kommen die Buchstaben „e“ und „o“ am häufigsten vor, nämlich jeweils viermal. Daraus könnte ein Deep-Learning-Modell (korrekt) schließen, dass diese Buchstaben zu den am häufigsten vorkommenden in englischsprachigen Texten gehören.
Realistisch betrachtet kann ein Deep-Learning-Modell aus einem einzigen Satz nicht wirklich etwas schließen. Aber nach der Analyse von Billionen von Sätzen könnte es genug lernen, um vorherzusagen, wie ein unvollständiger Satz logisch zu beenden ist, oder sogar seine eigenen Sätze zu generieren.
LLM auf neuronalen Netzwerken
Um diese Art des Deep Learning möglich zu machen, sind LLMs auf neuronalen Netzwerken aufgebaut. So wie das menschliche Gehirn aus Neuronen aufgebaut ist, die sich miteinander verbinden und Signale senden, besteht ein künstliches neuronales Netzwerk (in der Regel abgekürzt als „neuronales Netzwerk“) aus Netzwerkknoten, die sich miteinander verbinden. Sie bestehen aus mehreren „Schichten“: einer Eingabeschicht, einer Ausgabeschicht und einer oder mehreren Schichten dazwischen. Die Schichten geben nur dann Informationen aneinander weiter, wenn ihre eigenen Ausgaben einen bestimmten Schwellenwert überschreiten.
LLM-Transformer-Modelle
Die spezielle Art von neuronalen Netzen, die für LLMs verwendet werden, heißen Transformer-Modelle. Transformer-Modelle können den Kontext lernen – besonders wichtig für die menschliche Sprache, die stark kontextabhängig ist. Transformer-Modelle erkennen mithilfe einer mathematischen Technik, die als „Selbstaufmerksamkeit“ bezeichnet wird, auf subtile Weise, wie die Elemente einer Sequenz miteinander in Beziehung stehen. Dadurch können sie den Kontext besser verstehen als andere Arten des maschinellen Lernens. So können sie z. B. nachvollziehen, wie das Ende eines Satzes mit seinem Anfang zusammenhängt und wie die Sätze eines Absatzes zueinander in Beziehung stehen.
Dadurch sind LLMs in der Lage, menschliche Sprache zu interpretieren, selbst wenn diese Sprache vage oder schlecht definiert ist, in ihnen bisher unbekannten Kombinationen angeordnet ist oder auf neue Weise kontextualisiert wurde. Auf einer gewissen Ebene „verstehen“ sie die Semantik, da sie Wörter und Konzepte nach ihrer Bedeutung zuordnen können, nachdem sie sie Millionen oder Milliarden Mal auf diese Weise gruppiert gesehen haben.
Was sind die Vorteile und Grenzen von LLMs?
Ein Hauptmerkmal von LLMs ist ihre Fähigkeit, auf unvorhersehbare Abfragen zu reagieren. Ein herkömmliches Computerprogramm empfängt Befehle in seiner akzeptierten Syntax oder aus einem bestimmten Satz von Nutzereingaben. Ein Videospiel hat eine endliche Anzahl von Schaltflächen, eine Anwendung hat eine endliche Anzahl von Schaltflächen oder Eingaben, die ein Nutzer machen kann, und eine Programmiersprache besteht aus präzisen Wenn-Dann-Anweisungen.
Im Gegensatz dazu kann ein LLM auf die natürliche menschliche Sprache reagieren und mithilfe der Datenanalyse eine unstrukturierte Frage oder Aufforderung sinnvoll beantworten. Während ein typisches Computerprogramm eine Frage wie „Wie heißen die vier besten Funkbands der Geschichte?“ nicht erkennen würde, könnte ein LLM mit einer Liste von vier solchen Bands und einer einigermaßen stichhaltigen Begründung antworten.
In Bezug auf die bereitgestellten Informationen sind LLMs jedoch nur so zuverlässig wie die Daten, die sie aufnehmen. Wenn sie mit falschen Informationen gefüttert werden, werden sie auf Abfragen der Nutzer falsche Antworten geben. LLMs „halluzinieren“ auch manchmal: Sie erzeugen falsche Informationen, wenn sie nicht in der Lage sind, eine genaue Antwort zu geben. Im Jahr 2022 fragte beispielsweise das Nachrichtenmagazin Fast Company ChatGPT nach dem letzten Geschäftsquartal des Unternehmens Tesla. ChatGPT lieferte zwar einen kohärenten Nachrichtenartikel als Antwort, doch ein Großteil der darin enthaltenen Informationen war erfunden.
Was die Sicherheit betrifft, sind auf LLM beruhende Anwendungen für Nutzer genauso anfällig für Fehler wie jede andere Applikation. LLM können auch durch gezielte Eingaben so manipuliert werden, dass sie bestimmte Arten von Antworten gegenüber anderen vorziehen – einschließlich gefährlicher oder ethisch nicht vertretbarer. Und schließlich besteht eines der Sicherheitsprobleme bei LLM darin, dass Nutzer geschützte, vertrauliche Daten dort hochladen, um selbst produktiver zu werden. LLM verwenden jedoch den erhaltenen Input für das weitere Training ihrer Modelle und sind nicht als sichere Tresore konzipiert. Das heißt, unter Umständen geben sie als Antwort auf Abfragen anderer Nutzer vertrauliche Daten preis. Erfahren Sie mehr darüber, wie Sie LLM am besten sicher machen.
Wie Entwickler schnell mit der Entwicklung ihrer eigenen LLMs beginnen können
Um LLM-Anwendungen zu erstellen, benötigen Entwicklerinnen und Entwickler einen einfachen Zugriff auf mehrere Datensätze und sie brauchen Orte, an denen diese Datensätze gespeichert werden können. Sowohl die Speicherung in der Cloud als auch die On-Premise-Speicherung für diese Zwecke kann Investitionen in die Infrastruktur erfordern, die das Budget der Entwicklerinnen und Entwickler übersteigen. Hinzu kommt, dass Trainingsdatensätze in der Regel an mehreren Orten gespeichert werden, aber das Verschieben dieser Daten an einen zentralen Ort kann zu massiven Gebühren für ausgehenden Traffic führen.
Glücklicherweise bietet Cloudflare mehrere Dienste an, die es Entwicklern ermöglichen, LLM-Anwendungen und andere Arten von KI schnell auf den Weg zu bringen. Vectorize ist eine global verteilte Vektorendatenbank zur Abfrage von Daten, die in einem Objektspeicher ohne Gebühren für ausgehenden Traffic (R2) gespeichert sind, oder in Dokumenten, die in Workers Key Value gespeichert sind. In Kombination mit der Entwicklungsplattform Cloudflare Workers AI können Entwickler mit Cloudflare schnell mit dem Experimentieren mit eigenen LLMs beginnen.
FAQs
Was ist ein großes Sprachmodell (LLM)?
Ein großes Sprachmodell ist ein KI-Modell, das anhand riesiger Datensätze trainiert wird, um Text zu erkennen, zu interpretieren und zu generieren. Als Antwort auf Prompts können große Sprachmodelle innerhalb von Sekunden Text oder Code-Blöcke erstellen. Benutzer können großen Sprachmodellen in natürlicher Sprache Prompts geben, anstatt eine vordefinierte Benutzeroberfläche oder eine Programmiersprachen verwenden zu müssen.
Wie funktionieren Large Language Models?
LLMs analysieren große Mengen unstrukturierter Daten mit einem Prozess, dem sogenannten Deep Learning, und lernen daraus. Sie basieren auf künstlichen neuronalen Netzwerken – insbesondere Transformer-Modellen –, die eine Technik namens Self-Attention (Selbstaufmerksamkeit) verwenden, die es dem Modell ermöglicht, den Kontext zu lernen und zu verstehen – was für die Interpretation der menschlichen Sprache entscheidend ist.
Wofür werden LLMs eingesetzt?
LLMs können für viele Aufgaben trainiert werden. Eine der beliebtesten Anwendungen ist die generative KI, die als Antwort auf einen Prompt des Benutzers Text generiert. Sie werden auch in der Sentimentanalyse, in Kundenservice-Chatbots, bei der Online-Suche und sogar zur Unterstützung von Programmierern beim Schreiben von Code eingesetzt.
Was sind einige Praxis-Beispiele für LLMs?
Bekannte Beispiele sind ChatGPT von OpenAI, Gemini von Google, Llama von Meta und Bing Chat von Microsoft. Bei der Programmierung ist GitHubs Copilot ein prominentes Beispiel.
Was ist ein wesentlicher Vorteil von LLMs gegenüber anderen Anwendungen?
Ein großer Vorteil von LLMs ist ihre Fähigkeit, auf unvorhersehbare und unstrukturierte Anfragen zu reagieren. Im Gegensatz zu einem herkömmlichen Computerprogramm, das bestimmte Befehle erfordert, kann ein LLM natürliche menschliche Sprache verstehen und darauf reagieren, selbst wenn die Frage vage oder in einer Weise formuliert ist, die es noch nie zuvor gesehen hat. Benutzer müssen ihre Prompts möglicherweise etwas verfeinern, um genau das gewünschte Ergebnis zu erhalten, aber selbst unklare Prompts führen in der Regel zu verständlichen Antworten.
Welche Einschränkungen oder Risiken sind mit LLMs verbunden?
LLMs sind nur so zuverlässig wie die Daten, mit denen sie trainiert wurden, und können falsche Informationen liefern, wenn sie mit fehlerhaften Daten gefüttert werden. Es ist auch bekannt, dass sie „halluzinieren” oder Informationen erfinden können. Aus Sicherheitsperspektive können sie mit böswilligen Eingaben manipuliert werden und sind nicht als sichere Tresore konzipiert, was bedeutet, dass Benutzer das Risiko eingehen, über ihre Eingaben vertrauliche Daten preiszugeben.