From faefca7e7c35e17f84cda4281c939a78f9f9f885 Mon Sep 17 00:00:00 2001 From: chenshihai Date: Thu, 1 Feb 2024 11:46:36 +0800 Subject: [PATCH 1/3] update mind page --- web_src/vuepages/pages/model/mind/index.vue | 384 +++++++++++--------- 1 file changed, 220 insertions(+), 164 deletions(-) diff --git a/web_src/vuepages/pages/model/mind/index.vue b/web_src/vuepages/pages/model/mind/index.vue index a2b73d7824..23e81c8edf 100644 --- a/web_src/vuepages/pages/model/mind/index.vue +++ b/web_src/vuepages/pages/model/mind/index.vue @@ -107,7 +107,7 @@

{{ descr }}

-
+
成长生命期阶段版本(当前最新版本——进阶版1.5T Tokens)
您提交的申请体验通过审核后,我们将提供中间 checkpoints 供您研究使用;随着训练的推进,我们将提供对应阶段的 checkpoints 。
@@ -137,16 +137,55 @@
-
训练数据分布
+
+
训练数据分布
+
+

我们统计了40个学科领域的数据,此处只罗列了占比前5的学科领域的数据分布情况。

+

+ 40个学科领域包括:文学、经济、法律、教育学、医学、政治、历史、体育、游戏娱乐、影视影评、心理学、休闲旅游、计算机科学、艺术、食品科学、农业科学、电子商务、电子信息科学、管理学、交通运输、能源科学、军事、轻工业、环境科学、安全科学与消防工程、哲学、生物科学、城市规划与建设、地理、材料科学、广告营销、宗教、天文学、气象学、化学科学、物理科学、数学科学、重工业、通信技术、其他。 +

+
+
+
+
+
+
+
训练数据分布
+
+

我们构建了人机协作模式的预训练数据加工线,共计生产了1TB Tokens的高质量预训练数据。预训练数据的中文、英文、代码、多语言数据比例约为 1:2:0.2:0.2,截止目前,新版PengCheng + Mind-7B模型已完成440B Tokens数据的持续学习训练。

+

+ 针对中文训练数据,我们完成了40个学科领域的数据划分和分布统计,具体学科领域包括:文学、经济、法律、教育学、医学、政治、历史、体育、游戏娱乐、影视影评、心理学、休闲旅游、计算机科学、艺术、食品科学、农业科学、电子商务、电子信息科学、管理学、交通运输、能源科学、军事、轻工业、环境科学、安全科学与消防工程、哲学、生物科学、城市规划与建设、地理、材料科学、广告营销、宗教、天文学、气象学、化学科学、物理科学、数学科学、重工业、通信技术、其他。 +

+
+
+
+
+
+

+ 针对英文文训练数据,我们完成了38个学科领域的数据划分和分布统计,具体学科领域包括:Entertainment and tourism、Medicine and health、Business、Language + and literature、History、Arts、Law、Computer Science、Energy science、Mathematics、Political Science、Management + Science、Sociology、Physics、Religious Studies、Education、Military science、Human physical performance and + recreation、Environment studies and forestry、Agriculture、Archaeology、Information and communication + sciences、Engineering and + technology、Philosophy、Astronomy、Geography、Biology、Transportation、Economics、Materials + Science、Chemistry、Psychology、Food science、Communication technology、Earth Science、Aerography、Architecture + and design、Others。 +

+
+
+
+
+
+
+
+
性能评测
-

我们统计了40个学科领域的数据,此处只罗列了占比前5的学科领域的数据分布情况。

-

- 40个学科领域包括:文学、经济、法律、教育学、医学、政治、历史、体育、游戏娱乐、影视影评、心理学、休闲旅游、计算机科学、艺术、食品科学、农业科学、电子商务、电子信息科学、管理学、交通运输、能源科学、军事、轻工业、环境科学、安全科学与消防工程、哲学、生物科学、城市规划与建设、地理、材料科学、广告营销、宗教、天文学、气象学、化学科学、物理科学、数学科学、重工业、通信技术、其他。 -

+

{{ tabContent[activeTab].evaluation.descr }}

-
+
@@ -171,9 +210,7 @@ {{ technology.name }} -
-