• 比赛说明
• • 比赛要求
  • 提交结果格式
  • 数据集使用
  • 代码结构
  • 评价指标

比赛说明

比赛要求

初赛：

• 结果提交：初赛提供测试集，参赛者需要提交测试集预测结果（txt格式，具体请参考提供样例），举办方会计算评分，更新排行榜，每个队伍的队长每天可以上传一次结果，排行榜分数显示最新一次结果。

• 检查代码、模型：参赛者需要在昇思大模型体验平台创建Private代码仓库（仓库结构具体参考提交规则），并将仓库名填写到提交结果页面的关联仓库表单中。

• 推理模块：初赛不强制要求参赛者提供推理模块，如果有兴趣，也可以提供，会获得相应奖励。

复赛（入围20支队伍）：

• 复赛不提供测试集，进入决赛的队伍需要在比赛结束前提交模型和预测代码，readme文档，主办方根据readme文档复现预测步骤，得出评分。

• 复赛要求参赛队伍实现在线推理模块。

• 复赛前6名队伍需要参加答辩，若答辩过程中，评委发现有作弊嫌疑，主办方有权取消参赛者比赛资格。

注意： 比赛结束后，所有参加比赛的队伍的关联项目均会被公开在昇思大模型体验平台上（即将项目权限设置为Public)。

提交结果格式

验证集样本结果用txt格式，每一行为一个样本的预测结果，具体可参考数据集的result_example.txt：

3
172
5
...
10

数据集使用

本地训练的参赛者可以选择在数据集页面一键下载zip打包后的数据集。

在线训练的用户可以使用平台在线数据集caltech_for_user，需要在项目config.json里面配置input_url超参数，具体使用方法参考官方样例项目。

代码结构

├── inference    # 在线推理相关代码目录
│  ├── app.py              # 推理核心启动文件
│  ├── requirements.txt    # 推理可视化相关依赖文件
│  ├── model
│  │    ├── model.ckpt         # 模型文件（.ckpt）存放目录 
│  └── 其他需要的文件和目录
│ 
├── train        # 在线训练相关代码目录
    ├── README.md            # 说明文档，说明每个文件及运行方式
    ├── config.json          # 训练配置文件，用于指定代码路径、超参数、数据路径等
    └── train_dir            # 训练代码所在的目录
        ├── pip-requirements.txt  # 训练代码所需要的package依赖声明文件
        ├── main.py            # 主文件
        ├── # 其他的文件和目录（需在README.md进行说明每个文件作用）

评价指标

准确率（Accuracy），即分类正确的样本数占总测试集样本数的比重，计算公式为$ACC=\frac{S_{correct}}{S_{all}}$。

相同准确率的情况下，较早提交者排名更靠前