第二届鹏城·暹星杯·高手集结赛,邀你迎战
“鹏城云脑 II”(以下简称 “云脑Ⅱ” )是在深圳市大力支持下,由鹏城实验室联合国内优势科研力量研制建成,具备世界顶尖的数据吞吐能力和 AI 算力,于 2020 年 10 月上线运行,连续多届夺得 IO500 总排行榜、10 节点排行榜两项冠军和 AIPerf500 的世界冠军,引发国内外广泛关注。
为了推动 “云脑Ⅱ” 使用,更好赋能实验室科研发展,启动鹏城·暹星杯-高手集结赛。本次大赛基于 “云脑Ⅱ” 探索模型训练效率、模型合规性评测、大模型推理,面向实验室全体人员(含鹏城实习生、联培博士),旨在挖掘 “云脑Ⅱ” 使用高手,促进优秀人才脱颖而出,进一步发挥出 “云脑Ⅱ” 的巨大潜能,助力实验室科研快速发展。
本次大赛依托 OpenI 启智社区 AI 协作平台的线上协作开发环境与 “云脑Ⅱ” 算力接入,支持参赛选手从写脚本代码、模型训练调试到赛题线上验收的全流程工作。赛后所有获奖选手的开发记录、获奖成果将以开源的形式在平台上呈现。
一、赛题设置
本次比赛设置3个赛道,赛道报名人数要求5人及以上,否则取消赛道。
# 赛道一、模型训练效率
随着训练规模的增大,各种分布式训练框架开始被广泛运用在大规模训练中,现有的并行方式主要有数据并行、模型并行和流水线并行,或者三种并行方式混合使用。
本赛道拟给出7B/13B(待定)的模型(含初始代码、模型、数据集、训练参数、集群规模),在不改变模型和算法,保证计算步数相同的情况下,选手自己设计并行策略(包括张量并行、数据并行、流水并行),找到训练效率最优的并行策略,在8张或者16张NPU卡下执行(具体卡数视资源情况待定),最终在合理的loss界限内,比较训练100步(待定)的所需时间,时间越短则成绩越高。
# 赛道二、模型合规性评测
随着大模型逐步应用到实际场景中,模型的安全合规性性变得愈加重要,现有的模型对齐方法分为SFT和RLHF。
本赛道拟给定3B/7B(待定)的模型(含初始代码、模型)和测试集,模型框架使用mindspore,参赛选手自行搜集开源数据集或者利用开源数据构造的数据集(需要提交构造方法,数据集必须合规且无版权纠纷)基于给定的模型进行SFT微调,数据条数不超过10w条,并在规定时间内使用微调后的模型针对测试集生成答案;测试集的形式为50条安全合规类问题(包括但不限于道德伦理、违法犯罪、政治合规、财产隐私等方面,具体可参考Safety-Prompts中的类别);最后评委使用GPT4基于标准答案进行打分,按照准确度进行最后排名。
参考论文:
Safety Assessment of Chinese Large Language Models
Paperwithcode
https://paperswithcode.com/paper/safety-assessment-of-chinese-large-language
参考数据集:Safety-Prompts
https://github.com/thu-coai/Safety-Prompts
GPT4评分脚本:MT-Bench
https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge
# 赛道三、大模型推理效率
主要任务是优化 FlashAttention 2.0 算子或者完成 FlashAttention 3.0 算子开发。
算子优化完之后,使用 StableDiffusion1.5 模型(代码链接见下文)基于给定的输入使用 MindSpore Lite 进行推理,生成的结果再与给定的标准结果进行比对,保证绝对误差在 0.5% 以内。推理的性能要优于提供的基线性能,推理的时间越短越好。验证的时候模型会对数据集里面的100条数据进行全部推理,性能会取100次推理的平均性能。性能和精度计算可使用 benchmark 里面的工具。
代码格式参考官方给定的代码格式,见下文“现有 MindSpore Lite 使用的 tik 版本的 FlashAttention”,比赛最终会对作品进行代码审核。
【参考论文】
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness(https://arxiv.org/pdf/2205.14135.pdf)
Flash-Decoding for long-context inference(https://crfm.stanford.edu/2023/10/12/flashdecoding.html)
【版本要求】
硬件:NPU + 910A
MindSpore:2.2
MindSpore Lite:2.2
二、比赛形式
参赛选手(限 1 人),利用云脑Ⅱ环境进行开发,在截止日期前提交成果,最后根据精度和性能确定最终排名。
三、比赛时间
初步确定比赛时间为2023 年10 月 7日至 2023 年 12 月 7 日。
四、报名规则
1.参赛人群
大赛面向实验室全体人员(含鹏城实习生、联培博士)。
选手可扫描如下报名二维码参与,其它信息及相关比赛通知可以登录第二届暹星杯官方主页进一步了解,官方主页地址:https://openi.pcl.ac.cn/xianxing_cup/second,也可加入选手交流群实时沟通确认。
报名截止时间:2023年9月30日,如报名赛道的参赛人数少于5人,截止时间可延期2天,选手再另行报名其它赛道。
2.实名认证
选手应按要求完成实名认证和实验室所在部门登记,参赛选手应保证身份信息的真实性。大赛组委会承诺个人信息仅用于赛事数据授权与奖励发放,对其中所有涉及个人隐私的内容予以保密。
五、评审规则
1.评审条件
所有符合资格的参赛选手在截止日期前按照赛题要求提交的结果才纳入评审。
大赛组委会不对任何因电脑、互联网、移动网络等故障而造成的参赛作品损坏、缺失、提交延时等后果承担责任。
2.公平竞技
参赛选手禁止在指定考核技术能力的范围外,利用规则漏洞或技术漏洞等不良途径提高成绩与排名;禁止在比赛中抄袭他人作品、交换答案、使用多个小号,一经发现将取消比赛成绩并严肃处理。
3.作品复现及验证
参赛选手需要配合大赛组委会对比赛作品的有效性与真实性进行验证,同时自行检查提交作品的正确性,确认无误后再进行提交,大赛组委会不负责对比赛作品进行更改和调整。
4.评审结果确认
选手需在组织xianxing_cup(https://openi.pcl.ac.cn/xianxing_cup)下创建个人项目,并把代码、相关模型文件、数据集等赛题所需资料集上传至该项目下,如果选手创建的项目不在大赛组织xianxing_cup下,比赛结束后需把所有权转移到大赛指定组织xianxing_cup;
大赛专家委员会对作品进行统一评审,结果一旦给出则为最终结果,不另对评审结果给出反馈意见。
六、奖励
根据赛道参赛人数设置获奖名额:5人以下,取消赛道,无获奖名额。
获奖选手将会得到顶级AI专家指导机会、云脑卡时费及贺信表彰,其中总排名前两名的联培博士生,将有机会直接获得年度鹏城主任奖学金;其他获奖选手的作品将推荐到启智社区和昇腾社区,将有机会获得丰富礼品(华为手机、手表、平板等)。
大赛组委会将通过参赛选手预留的联系方式邀请参赛选手参与大赛各项活动,若参赛选手在相关通知发出后 3 日内未答复,则视为自动放弃相应机会,主办方有权顺位递补其他参赛选手。
七、组织方权利说明
1.大赛组委会保留拒绝某人、某选手参赛或提交作品的权利;
2.大赛组委会拥有对比赛违规、作弊行为的判定权利和处置权利,对影响比赛组织及比赛公平性的参赛选手,大赛组委会保留收回或拒绝授予其奖项、奖金的权利;
3.若因故出现数据更新、评审代码更新、作弊检查等原因,大赛组委会有权对参赛结果进行重新测评并更新排行榜;
4.大赛组委会保留修改比赛各环节时间,包括但不限于作品提交截止日期、线上线下活动日期以及路演、颁奖典礼日期的权利,大赛组委会有权随时暂停或终止比赛;
5.大赛组委会保留调整比赛各阶段入围选手数量的权利,调整奖项设置及奖金数额的权利,收回或拒绝授予某个特定参赛选手奖项、奖金的权利;
6.大赛组委会保留对比赛规则进行调整修改的权利,大赛主办方拥有对大赛的最终解释权。