elluminate
Agentische Evaluation. Offline-Scoring, Experimentvergleich und Quality Gates vor dem Produktivbetrieb.
Mehr erfahren
Wir evaluieren KI-Systeme, bauen die Daten und Umgebungen dahinter und bringen sie in den Produktivbetrieb: für Krankenversicherungen, Banken und die öffentliche Verwaltung.
Made in Germany · in Zusammenarbeit mit
KI-Systeme evaluieren, bevor sie live gehen, und die Oberflächen prüfen, in denen sie arbeiten.
Agentische Evaluation. Offline-Scoring, Experimentvergleich und Quality Gates vor dem Produktivbetrieb.
Mehr erfahren
BITV- & BFSG-Prüfung für die Oberflächen, in denen Ihre Agenten arbeiten.
Mehr erfahren
Von agentischen Workflows bis zur EU-AI-Act-Compliance: Evaluieren, messen und verbessern Sie Ihre KI an einem Ort.
Eine Familie kleiner multilingualer LLMs zur Annotation von Textdokumenten in sechs Kategorien: Kerninhalt, Klassifikation, Qualität und Wert, Zielgruppe und Zweck, Sicherheit und Compliance sowie geografische Relevanz. Die Annotationen helfen dabei, LLM-Trainingsdaten in großem Umfang zu filtern, auszuwählen und zu kuratieren. Die Modelle übertreffen deutlich größere General-Purpose-Baselines.
Ein 24B-Parameter-LLM für abstrakte Zusammenfassungen mit Inline-Zitaten. Jede Aussage lässt sich auf den zugrunde liegenden Quellsatz zurückführen. Das Modell unterstützt Dokumente mit mehr als 2 Mio. Tokens und übertrifft alle getesteten Open-Weight-Baselines, einschließlich Modelle mit 3x mehr Parametern.
Kuratierte Konfigurationen für lm-evaluation-harness zur Evaluation englischer und deutscher Basismodelle. Jede Aufgabe wird gegen Referenzmodelle validiert und bildet die Grundlage für Benchmark-Suiten im frühen Pretraining und in der In-Loop-Evaluation.
Verteilte LLM-Inferenz in großem Umfang für SLURM-Cluster. Konfigurieren Sie Cluster-, Server- und Dateneinstellungen und skalieren Sie anschließend mit nahezu linearem Durchsatz über Tausende GPUs.
Agenten teilten Passwörter, fragten öffentliche Dienste ab und schrieben Code, um fehlende Passwörter zu raten. Ein Test zur Rechnungsprüfung zeigt, was in Abschlussberichten fehlen kann.
Wir haben gemessen, wie viele Tokens 20 aktuelle Modell-Tokenizer für identische Texte in unterschiedlichen Sprachen und Textarten benötigen, inklusive proprietärer Modelle wie Claude, GPT, Gemini und Grok sowie Modelle mit offenen Gewichten. Manche schneiden hervorragend ab, andere lassen euch eine Token-Steuer zahlen: Claude 4.7+ braucht für deutsche Texte beispielsweise doppelt so viele Tokens wie GPT-6 Astra.
Claude Opus 5 performs best overall in the public Terminal-Bench 4 results. GPT-5.6 Sol costs less and matches it on business operations. Their traces show why.
Wir stellen Leute ein, die KI entwickeln wollen, die der Realität standhält: Regulierung, Umfang und Verantwortung. Offene Stellen in den Bereichen Technik, KI, Produkt und Sales.
Erfahren Sie, wie unsere Produkte Ihnen helfen, KI-Systeme zu evaluieren und digitale Barrierefreiheit zu prüfen.