基于国产算力的大模型推理优化

国产软硬件平台由于硬件能力的差距以及软件生态的不足，尚难以十分高效地实现大模型的部署与推理。因此，目前在该技术研究方向上可能还存在从以下挑战问题供研究者们探索研究：
针对这些挑战问题，本项目对脑海大模型在Jittor国产框架下部署推理相关进展进行开源。具体的，开源研究问题包括以下内容：
开源简介：计图大模型推理库 - 笔记本没有显卡也能跑大模型，大模型推理库JittorLLMs有以下几个特点：成本低、支持广、可移植、速度快，为国产硬件环境下的大模型推理加速技术提供了算法库支撑与研究基础。
目录说明：目录"Mind-inference-Jittor"中为本技术相关的开源内容。
项目链接：开源链接
如果你对本项目的使用和代码有任何问题，可以提交issue。同时你也可以通过邮箱 xuchx@pcl.ac.cn 直接联系我们
鹏城实验室，清华大学。