Im Vergleich mit Langfuse
LLM-Tracing und Evaluierung, verbunden mit dem, was in Produktion geht.
EUVYRA verfolgt und evaluiert LLM-Anwendungen wie ein spezialisiertes Observability-Werkzeug und verknüpft die Ergebnisse mit einem Freigabeprozess: Das Gateway bedient einen Prompt oder ein Modell erst, wenn Evaluierungs-Gate und Freigaben bestanden sind.
Langfuse heute
- Langfuse ist Open Source. Außerhalb der Enterprise-Ordner steht der Code unter der MIT-Lizenz, und Langfuse lässt sich mit Docker selbst betreiben; einige Zusatzfunktionen brauchen einen Lizenzschlüssel.
- Am 16. Januar 2026 gab Langfuse bekannt, von ClickHouse übernommen worden zu sein, und erklärte, dass keine Änderungen an der Lizenzierung geplant seien.
Langfuse und EUVYRA überschneiden sich bei Tracing, Evaluierung und Prompt-Verwaltung. EUVYRA ist breiter angelegt: Es deckt auch Training, Modellbetrieb, ein KI-Gateway und KI-Governance ab. Das zählt, wenn Sie vom Experiment bis zum Audit mit einem einzigen Datenbestand arbeiten wollen.
Ihre LLM-Entwicklung in EUVYRA
| Was Sie tun | In EUVYRA |
|---|---|
| LLM-Aufrufe, Agenten und Retrieval verfolgen | Traces mit verschachtelten Spans der Arten llm, retrieval, tool, agent, guardrail und weiteren, aus dem SDK oder per OpenTelemetry |
| Nutzer und Sitzungen nachverfolgen | Nutzer- und Sitzungskennungen pro Trace; Nutzerkennungen werden beim Eingang pseudonymisiert |
| Kosten und Latenz messen | Tokens, Kosten nach Ihrer Preisliste, Latenz und Zeit bis zum ersten Token pro Span |
| Prompts verwalten | Versionierte Prompts mit Labels und Diffs; das Label production wandert nur mit einem freigegebenen Release |
| Auf Datensätzen evaluieren | Versionierte Datensätze und Testsuiten mit eingebauten Evaluatoren, LLM-Richtern auf freigegebenen EU-Endpunkten und Gates für CI |
| Ausgaben von Menschen bewerten lassen | Annotations-Warteschlangen mit Bewertungsschema und verblindete Paarvergleiche |
| Prompts gegen Modelle ausprobieren | Ein Playground, der einen Prompt nebeneinander an bis zu vier Modelle schickt |
Was EUVYRA drumherum ergänzt
Ein Gateway mit Gate
Anwendungen rufen ein KI-System beim Namen, und das Gateway antwortet nur mit einem Release, das Evaluierung und Freigaben bestanden hat. Canary- und Shadow-Releases teilen oder spiegeln den Verkehr.
Freigaben nach Funktion
Entwicklung, Datenschutz und Compliance zeichnen nacheinander ab, und niemand gibt das eigene Release frei. API-Schlüssel und KI-Assistenten können nichts freigeben.
Nachweise für die KI-Verordnung
Risikoeinstufung, Kontrollen, die gegen Traces und Evaluierungen geprüft werden, Meldefristen und signierte Nachweispakete pro KI-System.
Schwärzung, bevor etwas hinausgeht
Personenbezogene Daten werden im SDK maskiert, noch einmal auf dem Server und in Gateway-Anfragen, bevor sie einen Modellanbieter erreichen.
Modelle auf Ihren GPUs
vLLM, llama.cpp oder beliebige Container auf eigener Hardware, mit Autoskalierung, neben europäischen Modellanbietern hinter demselben Gateway.
Auch Training
Fine-Tuning-Runs, Sweeps und Jobs liegen in derselben Installation. Eine Modellversion verweist so bis auf ihre Trainingsdaten zurück.
So gelingt der Umzug
Einen Import für Langfuse-Daten gibt es nicht. Schicken Sie neue Traces an EUVYRA, ziehen Sie Prompts und Testdatensätze um und lassen Sie die alten Traces, wo sie sind, bis ihre Aufbewahrungsfrist endet.
Traces senden
Sendet Ihre Anwendung OpenTelemetry-Spans mit den GenAI-Konventionen oder OpenInference-Attributen, richten Sie den Exporter auf EUVYRA. Andernfalls nutzen Sie die Decorators des SDK.
export OTEL_EXPORTER_OTLP_TRACES_ENDPOINT=https://euvyra.example.eu/api/otlp/v1/traces export OTEL_EXPORTER_OTLP_TRACES_HEADERS=Authorization=Bearer%20euv_...Prompts umziehen
Legen Sie jeden Prompt als Version in EUVYRA an. Labels wie
staginglassen sich hier setzen;productionfolgt Ihrem Freigabeprozess.import euvyra euvyra.create_prompt_version( "support-answer", [{"role": "system", "content": "Hilf {{customer}} bei {{topic}}."}], project="support-bot", labels=["staging"], )Testdatensätze umziehen
Einträge sind Dictionaries mit
input,expectedund optionalmetadataoder Paare aus Eingabe und erwarteter Ausgabe.items = [{"input": row["input"], "expected": row["expected"]} for row in rows] euvyra.create_dataset("support-bot", "support-regression", items)Aufrufe über das Gateway leiten
Optional, aber erst hier greift der Freigabeschritt: Stellen Sie die Basis-URL des OpenAI-Clients auf EUVYRA um und nutzen Sie den Namen des KI-Systems als Modell.
Fragen zum Umstieg von Langfuse
Können wir bestehende Langfuse-Traces importieren?
Derzeit nicht. Teams schicken neue Traces an EUVYRA und behalten die alten in Langfuse, bis sie nicht mehr gebraucht werden.
Müssen wir das EUVYRA-Gateway nutzen?
Nein. Tracing, Evaluierungen und Prompts funktionieren ohne. Das Gateway macht aus einer Freigabe eine technische Kontrolle, weil es nur freigegebene Releases bedient.
Welche Evaluatoren sind eingebaut?
Serverseitige Evaluatoren für Korrektheit, Quellentreue, Abfluss personenbezogener Daten, Verweigerung, Verzerrung und Robustheit, LLM-Richter auf freigegebenen EU-Endpunkten und weitere. Der Server bewertet jede Ausgabe, jede Zahl für ein Gate stammt also aus demselben Code.