Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
taoht
d824060f78
|
6 months ago | |
|---|---|---|
| .. | ||
| src | 6 months ago | |
| README.md | 6 months ago | |
README.md
中阿机器翻译
基于脑海大模型多语言处理能力构建的中-阿机器翻译引擎，采用的是2.6B参数规模，提供中文到阿拉伯文之间的相互翻译功能。
-
技术问题：在机器翻译场景下，如何采用高效的微调训练方法构建机器翻译引擎。
-
开源内容：围绕如何采用高效的微调训练方法构建机器翻译引擎问题，在多语言模型和平行翻译数据方面进行相应工作开源。
中-阿翻译代码示例
目录src中链接指向中阿翻译引擎源代码，该链接复用脑海200B的代码，可结合模型参数直接加载进行微调或者推理，微调和推理时在输入命令中指定模型为2.6B，并修改词典大小和序列长度即可，样例命令如下。
中-阿翻译模型
在数据集目录中上传了脑海2.6B中阿翻译模型文件，即PengCheng.Mind_zh-ar.ckpt。该模型文件可以直接使用源代码进行加载，并进行中阿翻译的微调或者推理。
中-阿平行翻译数据
在数据集目录中上传了用于脑海2.6B中阿翻译模型微调的数据集样例，即zh-ar.train_data。该数据集是采用反向翻译技术，经领域筛选、质量过滤得到的质量较高的中文与阿拉伯文之间的平行翻译数据，规模为1000万+。
中阿翻译引擎性能
本次开源的中阿翻译引擎在2022 IKCEST国际大数据竞赛"一带一路"机器翻译评测集总榜单上排名第二。
其他翻译相关平台
- 丝路翻译平台
- BRIGHT评测平台
- TransBot多语言翻译 (微信公众号同名)
联系我们
如果你对本项目的使用和代码有任何问题，可以提交issue。同时你也可以通过邮箱 liux@pcl.ac.cn 直接联系我们
许可证
无人机应用项目基于 Apache 2.0 协议。
基于大模型的应用开源问题：Open Issues in LLM-based Applications
Jupyter Notebook Python
