Mehrsprachiger RLHF-Datensatz für ein großes Sprachmodell im Unternehmenseinsatz
Ein Entwickler von Basismodellen nach seiner zweiten großen Finanzierungsrunde
Ein Präferenzdatensatz mit 80.000 Eingaben in 8 Sprachen – einschließlich gezielter Angriffsszenarien und Bewertungen zur Befolgung von Anweisungen –, der die nachgelagerten Bewertungsergebnisse des Modells um 11,6 % verbessert hat. Grundlage war verstärkendes Lernen aus menschlichem Feedback (RLHF).
Dieses Projekt gehört zu unserer Leistung KI-Datenannotation – sehen Sie in unseren Referenzen, wie derselbe Ansatz auch anderen Teams hilft.
Ausgangslage
Womit wir es zu tun hatten.
Das Modellteam brauchte Präferenzdaten, die die Feinheiten beim Befolgen von Anweisungen in acht Sprachen abbilden, einschließlich provokativer und sicherheitskritischer Eingaben. Öffentliche Datensätze waren außerhalb des Englischen dünn und in der Qualität uneinheitlich.
Vorgehen
Die Arbeit, Schritt für Schritt.
Gemeinsamer Entwurf der Datensatzstruktur mit dem Forschungsteam – Präferenzpaare, Bewertungen zur Befolgung von Anweisungen und provokative Eingaben
Gewinnung muttersprachlicher Annotatoren mit Fachwissen in jeder Zielsprache und Kalibrierung anhand eines zurückgehaltenen Goldstandard-Datensatzes
Erstellung von 80.000 Eingaben in 8 Sprachen mit ausgewogener Verteilung über Absichtskategorien und Schwierigkeitsstufen
Lieferung von Berichten zur Übereinstimmung zwischen Annotatoren je Sprache und Klärung von Grenzfällen mit dem Forschungsteam in wöchentlichen Abstimmungen
Ergebnisse
Was das Projekt erreicht hat.
Gemessen an den vorab vereinbarten Zielen – nicht an Eitelkeitskennzahlen.
- Eingaben80.000
- Sprachen8
- Verbesserung der Bewertung+11,6 %
Weitere Referenzen
Alle ansehen
Übersetzung und LokalisierungTelemedizin-App in unter drei Wochen in 14 Sprachen lokalisiert
Wir haben eine Telemedizin-App für Patienten in 19 Tagen von einer englischen Sprachversion auf vierzehn erweitert – mit strenger medizinischer Genauigkeit, vollständiger Rechts-nach-links-Unterstützung für Arabisch, lokalisierten Einträgen in den App-Stores und einer kontinuierlichen Lokalisierung im wöchentlichen Veröffentlichungstakt.
Referenz lesen
Übersetzung und LokalisierungLokalisierung eines Onlineshops für 8 Märkte
Wir haben 20.000 Artikel, die Markenstimme, den Bestellprozess und sämtliche Rechtstexte für acht europäische Märkte lokalisiert – und transkreierte Kampagnentexte sowie eine gepflegte Terminologiedatenbank in dieselbe Veröffentlichung eingebunden wie die internationale Suchmaschinenoptimierung und das bezahlte Marketing.
Referenz lesen
Übersetzung und LokalisierungLernplattform in 12 Sprachen lokalisiert – Videos und Benutzeroberfläche
Hunderte Stunden Kursvideos untertitelt und synchronisiert, die gesamte Produktoberfläche lokalisiert und eine Terminologiestrecke aufgebaut, die die fachliche Genauigkeit über zwölf Sprachen hinweg sichert – geliefert nach einem straffen Kursstartplan.
Referenz lesenBereit für internationales Wachstum?
Schildern Sie uns Ihr Projekt – wir melden uns innerhalb eines Werktags.