GlobalAnnotate 标志GlobalAnnotate
全部案例
AI 数据标注AI / 大语言模型10 周项目

为企业级大语言模型构建多语言人类反馈强化学习(RLHF)数据集

一家 B 轮基础模型公司

覆盖 8 种语言、8 万条提示词的偏好数据集,包含红队对抗性提示词与指令遵循评测,使模型下游评测成绩提升 11.6%。

8 万
提示词
8
语言
+11.6%
评测提升

本案例属于我们的AI 数据标注服务。想了解同样的方法如何帮助其他团队,请浏览全部客户案例。

挑战

项目起点。

模型团队需要能够在八种语言中捕捉真实指令遵循细节的偏好数据,并覆盖对抗性和安全关键型提示词。现有公开数据集在英语之外内容稀少,质量也参差不齐。

解决方案

我们如何一步步推进。

  1. 与研究团队共同设计数据集结构:偏好对、指令遵循标签和对抗性提示词

  2. 在每种目标语言中招募具备专业领域知识的母语标注员,并在预留的黄金标准集上完成校准

  3. 在 8 种语言中生成 8 万条提示词,均衡覆盖各类意图和难度梯度

  4. 按语言提交标注者间一致性报告,并在每周评审会上与研究团队裁定边界案例

成果

最终交付的成果。

所有成果均以项目开始前共同约定的目标衡量,而非虚荣指标。

  • 提示词
    8 万
  • 语言
    8
  • 评测提升
    +11.6%

准备好走向全球了吗?

告诉我们您的项目需求,我们将在一个工作日内回复。