KI-Entscheidungsmodelle: Wie sie sich von LLMs unterscheiden

Entscheidungsmodelle haben in letzter Zeit Aufmerksamkeit als alternativer Ansatz im KI-Bereich gewonnen. Eines der am häufigsten diskutierten Beispiele ist Jev von TypeSafe AI. Jev erzeugt strukturierte Optionen, Scores und Konfidenzschätzungen anstelle von Text.

Während traditionelle KI-Modelle seit Jahren Vorhersagen und Klassifizierungen erstellen, konzentriert sich Jev darauf, strukturierte Entscheidungen zu treffen, die Software direkt nutzen kann. Dieser Ansatz bietet einen weiteren Weg, KI-Anwendungen zu entwickeln, insbesondere wenn ein System Informationen bewerten und bestimmen muss, was als Nächstes zu tun ist.

Wie funktioniert Jev?

Bei einem traditionellen LLM senden Sie einen Prompt und erhalten generierten Text. Selbst wenn Sie JSON anfordern, muss die Anwendung die Antwort verarbeiten und deren Inhalt validieren, bevor sie ihn verwenden kann.

Jev funktioniert anders. Sie liefern den Kontext, definieren die Fragen, die beantwortet werden sollen, und geben den erwarteten Antworttyp an. Jev liefert strukturierte Ergebnisse zurück, die Ihre Anwendung direkt verarbeiten kann.

Jev unterstützt drei Hauptfragetypen:

• Auswahl: Wählt eine Option aus einer von Ihnen definierten Liste aus, wie etwa Rechnungsstellung, technischer Support oder Vertrieb.
• Bewertung (Score): Bewertet etwas anhand einer geordneten Skala, wie z. B. niedrige, mittlere oder hohe Priorität.
• Ja oder Nein: Schätzt die Wahrscheinlichkeit, dass eine Aussage wahr ist, z. B. ob ein Support-Ticket menschliche Aufmerksamkeit benötigt.

Sie können in einer Anfrage mehrere Fragen zum selben Eingabedatenstrom stellen. Zum Beispiel könnte eine Support-Anwendung ein Ticket klassifizieren, dessen Dringlichkeit bewerten und abschätzen, ob es von einer Person überprüft werden sollte. Jev liefert die Ergebnisse in einem strukturierten Format zurück, sodass die Anwendung entscheiden kann, wie sie weiter vorgeht.

Entscheidungsmodelle im Vergleich zu LLMs

LLMs und Entscheidungsmodelle verfolgen unterschiedliche Zwecke. Ein LLM kann Entscheidungen erklären, Inhalte generieren, Code schreiben oder komplexe Aufgaben durch logisches Denken lösen. Jev ist für fokussierte Entscheidungen mit definierten Ausgaben konzipiert.

Der Unterschied liegt nicht darin, dass LLMs keine Entscheidungen treffen können. Sie können Informationen ebenfalls klassifizieren und strukturierte Daten zurückgeben. Jev ist jedoch speziell für diese Aufgabe konzipiert, ohne eine freie Textantwort zu generieren, die die Anwendung interpretieren müsste.

Dadurch kann es für wiederkehrende, klar definierte Entscheidungen nützlich sein. Für Aufgaben, die detaillierte Erklärungen, kreative Ausgaben oder komplexes mehrstufiges logisches Denken erfordern, bleibt ein LLM das geeignetere Werkzeug.

Was sind Konfidenz-Scores?

Eine der Hauptfunktionen von Jev ist, dass seine Ausgaben Wahrscheinlichkeiten und Informationen zur Konfidenz enthalten. Diese Werte helfen Entwicklern dabei zu bewerten, wie stark das Modell für eine bestimmte Antwort eintritt.

Zum Beispiel könnte eine Kundensupport-Anwendung fragen, ob ein Ticket eskaliert werden sollte. Wenn das Modell eine hohe Wahrscheinlichkeit für die Notwendigkeit einer Eskalierung anzeigt, könnte die Anwendung das Ticket an ein Senior-Support-Team senden. Ist das Ergebnis unsicher, könnte sie das Ticket zur menschlichen Überprüfung weiterleiten.

Allerdings garantiert Konfidenz nicht die Richtigkeit. Ein Modell kann sehr zuversichtlich sein und dennoch eine falsche Entscheidung treffen. Entwickler sollten die Ergebnisse anhand realer Beispiele testen und Schwellenwerte auswählen, die zu den Konsequenzen jeder Entscheidung passen.

Es ist ebenfalls wichtig, die Wahrscheinlichkeit einer Antwort von einem separaten Konfidenz-Score zu unterscheiden. Die genaue Bedeutung hängt vom Ausgabeformat ab. Anwendungen sollten sich an die Dokumentation des Modells halten, statt jede zurückgelieferte Zahl als dieselbe Messgröße zu betrachten.

Wo können Entscheidungsmodelle nützlich sein?

Klassifizierung und Routing

Viele Anwendungen müssen eingehende Informationen sortieren, bevor sie verarbeitet werden. Eine Support-Plattform könnte Anfragen nach Thema klassifizieren und sie an das richtige Team weiterleiten. Eine Geschäftsanwendung könnte Dokumente, E-Mails oder Kundenfeedback kategorisieren.

Jev kann eine Kategorie aus einer vordefinierten Liste zurückgeben und der Anwendung ermöglichen, das Element weiterzuleiten, ohne einen generierten Absatz analysieren zu müssen.

Bewertung und Auswertung

Entscheidungsmodelle können Informationen auch anhand einer definierten Skala bewerten. Zum Beispiel könnte eine Anwendung ein Support-Ticket nach Dringlichkeit bewerten, ein Dokument auf Relevanz prüfen oder beurteilen, ob eine Antwort bestimmte Kriterien erfüllt.

Die Ergebnisse können zum Ranking von Einträgen, zur Priorisierung von Aufgaben oder zur Identifizierung von Fällen verwendet werden, die weitere Prüfung erfordern. Die Qualität dieser Entscheidungen hängt weiterhin vom Modell und davon ab, wie gut die Kriterien die Aufgabe beschreiben.

KI-Agenten und Werkzeugauswahl

KI-Agenten nutzen Modelle, um zu entscheiden, welche Aktionen sie ausführen. Ein Agent könnte ein Werkzeug auswählen, eine Anfrage klassifizieren oder feststellen, ob eine Aufgabe zusätzliche Informationen benötigt.

Ein Allzweck-LLM kann diese Entscheidungen als Teil seiner Reasoning-Prozesse treffen. Ein Entscheidungsmodell kann eine engere Auswahl treffen, bevor der Agent handelt.

Zum Beispiel könnte ein benutzerdefiniertes Workflow-System mit Hermes Agent Jev nutzen, um eine eingehende Aufgabe zu klassifizieren, bevor sie an den Agenten übergeben wird. Es könnte auch helfen zu bestimmen, welcher Workflow eine Anfrage verarbeiten soll. Dies würde eine benutzerdefinierte Integration erfordern, anstatt auf angenommene native Unterstützung zu vertrauen.

Entscheidungsmodelle sollten nicht allein als Sicherheitskontrollen betrachtet werden. Wenn ein Agent Befehle ausführen oder Dateien ändern kann, müssen Berechtigungen und deterministische Regeln durchsetzen, welche Aktionen erlaubt sind. Die Klassifizierung durch ein Modell kann diesen Prozess informieren, sollte ihn aber nicht ersetzen.

Alternativen zu Jev

Jev ist Teil einer breiteren Kategorie von Modellen, die strukturierte Entscheidungen erzeugen. OpenJev und Laya sind zwei weitere Projekte, die einen Vergleich wert sind.

OpenJev

OpenJev ist ein Open-Source-Projekt im Zusammenhang mit dem Jev-Ansatz. Es lohnt sich, es zu untersuchen, wenn Sie eine Implementierung außerhalb eines gehosteten Dienstes erkunden möchten. Prüfen Sie vor der Verwendung die aktuelle Verfügbarkeit, Hardware-Anforderungen, unterstützte Funktionen und die Lizenz.

Laya

Laya ist ein Open-Source-Entscheidungsmodell von Convai Innovations. Es konzentriert sich auf Aufgaben wie das Auswählen aus vordefinierten Optionen, das Bewerten von Informationen und das Beantworten von Ja-oder-Nein-Fragen. Es kann relevant sein, wenn Sie ein Modell evaluieren möchten, das in Ihrer eigenen Umgebung ausgeführt werden kann.

Diese Projekte sollten anhand ihrer tatsächlichen Leistungsfähigkeit verglichen werden, nicht nur anhand ihrer beworbenen Funktionen. Verwenden Sie dieselben Testdaten und messen Sie Genauigkeit, Latenz, Ressourcenbedarf und wie gut ihre Konfidenzschätzungen den realen Ergebnissen entsprechen.

Können Entscheidungsmodelle lokal ausgeführt werden?

Die lokale Ausführung eines Modells gibt Ihnen mehr Kontrolle über die Softwareumgebung und den Ort der Datenverarbeitung. Allerdings unterscheiden sich die verfügbaren Deployment-Optionen je nach Projekt. Jev wird über eine API angeboten, während Open-Source-Alternativen möglicherweise Optionen für die Inferenz auf eigener Hardware bieten.

Die Hardware-Anforderungen hängen von der Modellgröße, dem Speicherbedarf und dem Durchsatz ab. Einige Modelle können auf einer CPU ausgeführt werden, während andere von einer GPU profitieren, insbesondere bei der Verarbeitung vieler Anfragen.

Wenn Sie mit lokalen KI-Modellen experimentieren möchten, bietet DaDesktop Cloud-Desktops mit dedizierten GPU-Optionen. Sie können diese für Entwicklung und Tests nutzen, ohne eine High-End-GPU für Ihren lokalen Computer kaufen zu müssen.

Erfahren Sie mehr über die lokale Ausführung von LLMs oder entdecken Sie Umgebungen für KI-Agenten.

Wann sollten Sie ein Entscheidungsmodell verwenden?

Entscheidungsmodelle sind nützlich, wenn eine Anwendung eine definierte Antwort benötigt, die einen bestimmten nächsten Schritt auslösen kann. Sie können LLMs ergänzen, indem sie Klassifizierung, Bewertung und Routing übernehmen, während ein generatives Modell Sprache und komplexeres logisches Denken bearbeitet.

Die beste Wahl hängt von Ihrer Anwendung ab. Testen Sie das Modell anhand Ihrer eigenen Daten, vergleichen Sie es mit konventionellen Klassifikatoren und LLMs und messen Sie Genauigkeit, Latenz und Kosten. Für wichtige Entscheidungen sollten bei Bedarf menschliche Überprüfungen und Schutzmaßnahmen enthalten sein.

Sie möchten über Ihren Anwendungsfall sprechen? Kontaktieren Sie uns, und wir leiten Sie in die richtige Richtung.