基于元语功能型对话大模型v2的对话类工具
本模型封装自魔搭(ModelScope)社区项目: 元语功能型对话大模型v2
https://www.modelscope.cn/models/ClueAI/ChatYuan-large-v2/summary
通过包装ChatYuan的对话能力提供多种功能,包括:对话、生成文章、根据关键词造句、事件抽取、关键字抽取、汉译英、分类、表格生成、错别字纠正。
其中对话是基本功能,其他功能是基于对话功能通过增加提示完成。
ChatYuan: 元语功能型对话大模型V2
ChatYuan-large-v2是一个支持中英双语的功能型对话语言大模型,是继ChatYuan系列中ChatYuan-large-v1开源后的又一个开源模型。ChatYuan-large-v2使用了和 v1版本相同的技术方案,在微调数据、人类反馈强化学习、思维链等方面进行了优化。
ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的模型之一,用户可以在消费级显卡、 PC甚至手机上进行推理(INT4 最低只需 400M )。
在chatyuan-large-v1的原有功能的基础上,我们给模型进行了如下优化:
增强了基础能力。原有上下文问答、创意性写作能力明显提升。
新增了拒答能力。对于一些危险、有害的问题,学会了拒答处理。
新增了代码生成功能。对于基础代码生成进行了一定程度优化。
新增了表格生成功能。使生成的表格内容和格式更适配。
增强了基础数学运算能力。
最大长度token数扩展到4096。
增强了模拟情景能力。
新增了中英双语对话能力。
声明
文本由模型生成的结果, 请谨慎辨别和参考, 不代表任何人观点
请在法律允许的范围内使用,详见LICENSE
PromptCLUE-large在1000亿token中文语料上预训练,累计学习1.5万亿中文token,并且在数百种任务上进行Prompt任务式训练。针对理解类任务,如分类、情感分析、抽取等,可以自定义标签体系;针对多种生成任务,可以进行采样自由生成。
模型应用开发和部署
模型服务化
本模型基于 ServiceBoot微服务引擎 进行服务化封装,参见: 《CubeAI模型开发指南》
直接源代码运行
$ sh pip-install-reqs.sh
$ serviceboot start
或
$ python3 run_model_server.py
本地容器化部署
一键式本地容器化部署和运行,参见: 《CubeAI模型独立部署指南》 或 CubeAI Docker Builder
云原生网络部署
本模型服务可一键发布至 CubeAI智立方平台 进行共享和部署,参见: 《CubeAI模型发布指南》
API接口
本模型提供了1个API接口:
-
API接口1:
-
API端点: /api/data
-
HTTP方法: POST
-
HTTP请求体:
{
"action": "predict"
"args": {
"text": <提问>,
"function": <功能类型,取值范围: chat | gen_article | gen_sentence | event_extraction | keyword_extraction | chi_2_eng | classify | gen_table | correct>
}
}
-
HTTP响应体:
{
"status": "ok"|"err",
"value": <回答>,
}