B 类 ——
通用型 LLM 数据

通常比大多数买家预期的要多,而制约因素往往是质量而非数量。公开数据集通常只经过一轮处理、且未经分级,这正是为什么前沿项目会转而委托制作经过分级的语料库:提示-回复配对数据、RLHF 偏好排序数据,以及监督微调数据集,各自服务于不同的训练阶段。

提示-回复配对数据教会模型如何作答;偏好排序数据则教会模型判断两个回答中哪一个更好。这是两类不同的数据,对标注人员的要求也不同。一个只有广泛覆盖、却没有偏好数据的模型,能用每一种语言流利作答,却没有一种语言答得好——这是首轮训练中最常见的短板。

可以,而且通常必须委托专门采集,而非直接获取现成资源,因为几乎不存在可用的公开语料。Lifewood 通过分布在宿务、马来西亚及孟加拉国等亚太枢纽的本地母语使用者进行采集,这是触及那些没有标准正字法、也没有商业录音资源的语种的唯一可靠方式。

评估数据依照与训练数据相同的标准构建,并与训练数据严格分离保管。预留评估集的意义,就在于模型从未接触过它,因此两者之间的污染,正是需要严防的失效点——这也是为什么数据供应与测试工作,要一并规划,而非从不同供应商处分别采购。