• 基于人类反馈的模型优化方法
• • 大模型自动对齐技术
  • 对齐数据标注工具
  • 联系我们
  • 参与单位

基于人类反馈的模型优化方法

基于人类反馈的模型优化是实现大模型对齐人类价值的有效手段。现阶段，此类方法尚存在高质量的人类反馈数据获取代价高、奖励模型存在过优化或易被攻击等问题。因此，目前在该技术研究方向上可能还存在从以下挑战问题供研究者们探索研究：

• ❓面向人类价值对齐的大模型调优技术
• ❓奖励模型不确定性评估
• ❓基于过程监督的人类反馈信号微调方法

针对这些挑战问题，本项目在算法、数据构建等方面对已经开展的相关工作进行开源，为研究者们在基于人类反馈的模型优化方法研究工作方面提供研究参考。具体的，开源内容包括以下内容：

• ⭐大模型自动对齐技术
• ⭐对齐数据标注工具

大模型自动对齐技术

• 开源简介：本项目旨在探索大模型对齐的相关技术，研究更高效的大模型对齐算法，使得大模型更好地与人类价值观保持一致。
• 目录说明：目录"algorithms"中为本技术相关的开源内容。
• 项目链接：开源链接

对齐数据标注工具

• 简介：对齐数据标准工具提供了一种基于众测的方式实现原始数据标注的工具。该工具设计思想是基于多人对同一个数据进行打分，并根据多数人的评分确定最终标注结果。
• 目录说明：目录"label_studio"中为本技术相关的开源内容。
• 项目链接：开源链接

联系我们

如果你对本项目的使用和代码有任何问题，可以提交issue。同时你也可以通过邮箱 xuchx@pcl.ac.cn 直接联系我们

参与单位

鹏城实验室，哈尔滨工业大学，国防科技大学。