yands closed issue PCL-Platform.Inte.../pcl_pangu#18

4 months ago

yands commented on issue PCL-Platform.Inte.../pcl_pangu#18

这是由于路径问题； bug已修复，并提交到 dev 分支[请查看](https://git.openi.org.cn/PCL-Platform.Intelligence/pcl_pangu/commit/e863a9bb3f04854347aaefa06bc26c05a7860818)

4 months ago

yands created CPU/GPU training task yands202210131753362

5 months ago

yands created CPU/GPU type debugging task yands202208220722865

6 months ago

yands created CPU/GPU type debugging task yands202208220722865

6 months ago

yands commented on issue PCL-Platform.Inte.../pcl_pangu#9

50000篇同领域的文章，20000条问答数据，数据量不大，2卡 NPU 应该用不了一天（不一定对）。GPU的时间跟 NPU 差不了很多。 目前还没提供冻结模型的功能。

6 months ago

yands commented on issue PCL-Platform.Inte.../pcl_pangu#9

推荐使用 openi 项目里面的云脑页面的免费 NPU 资源，可以对 2.6B 模型进行训练。如果后期想转 GPU，本框架也提供了模型转工具。

7 months ago

yands commented on issue PCL-Platform.Inte.../pcl_pangu#9

训练的瓶颈主要在显存，这里提供基于 v100 显卡（显存32GB）进行训练的最小配置和推荐配置，其他显卡可以根据显存大小进行递推（如16GB 显存则需要的卡数是 v100的两倍）。 | | 350M | 2.6B | 13B | | -------- | -------- | -------- | -------- | | 最小配置 | 1卡 | 2卡 | 8卡 | | 推荐配置 | 2卡 | 8卡 | 32卡 | 如果数据集比较大，可以根据情况增加显卡数量来提高训练速度。

7 months ago