• 基于元语功能型对话大模型v2的对话类工具
• • 模型应用开发和部署
  • • 模型服务化
    • 直接源代码运行
    • 本地容器化部署
    • 云原生网络部署
    • 更多CubeAI模型服务，参见： 《CubeAI服务原生模型示范库》
  • API接口

基于元语功能型对话大模型v2的对话类工具

本模型封装自魔搭(ModelScope)社区项目： 元语功能型对话大模型v2

https://www.modelscope.cn/models/ClueAI/ChatYuan-large-v2/summary

通过包装ChatYuan的对话能力提供多种功能，包括：对话、生成文章、根据关键词造句、事件抽取、关键字抽取、汉译英、分类、表格生成、错别字纠正。
其中对话是基本功能，其他功能是基于对话功能通过增加提示完成。

ChatYuan: 元语功能型对话大模型V2

ChatYuan-large-v2是一个支持中英双语的功能型对话语言大模型，是继ChatYuan系列中ChatYuan-large-v1开源后的又一个开源模型。ChatYuan-large-v2使用了和 v1版本相同的技术方案，在微调数据、人类反馈强化学习、思维链等方面进行了优化。

ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、 PC甚至手机上进行推理（INT4 最低只需 400M ）。

在chatyuan-large-v1的原有功能的基础上，我们给模型进行了如下优化：

增强了基础能力。原有上下文问答、创意性写作能力明显提升。

新增了拒答能力。对于一些危险、有害的问题，学会了拒答处理。

新增了代码生成功能。对于基础代码生成进行了一定程度优化。

新增了表格生成功能。使生成的表格内容和格式更适配。

增强了基础数学运算能力。

最大长度token数扩展到4096。

增强了模拟情景能力。

新增了中英双语对话能力。

声明

文本由模型生成的结果, 请谨慎辨别和参考, 不代表任何人观点

请在法律允许的范围内使用，详见LICENSE

PromptCLUE-large在1000亿token中文语料上预训练，累计学习1.5万亿中文token，并且在数百种任务上进行Prompt任务式训练。针对理解类任务，如分类、情感分析、抽取等，可以自定义标签体系；针对多种生成任务，可以进行采样自由生成。

模型应用开发和部署

模型服务化

本模型基于 ServiceBoot微服务引擎 进行服务化封装，参见： 《CubeAI模型开发指南》

直接源代码运行

$ sh pip-install-reqs.sh
$ serviceboot start
或
$ python3 run_model_server.py

本地容器化部署

一键式本地容器化部署和运行，参见： 《CubeAI模型独立部署指南》 或 CubeAI Docker Builder

云原生网络部署

本模型服务可一键发布至 CubeAI智立方平台 进行共享和部署，参见： 《CubeAI模型发布指南》

更多CubeAI模型服务，参见： 《CubeAI服务原生模型示范库》

API接口

本模型提供了1个API接口：

• API接口1：

  • API端点： /api/data

  • HTTP方法： POST

  • HTTP请求体：

      {
          "action": "predict"
          "args": {
              "text": <提问>,
              "function": <功能类型，取值范围: chat | gen_article | gen_sentence | event_extraction | keyword_extraction | chi_2_eng | classify | gen_table | correct>
            }
        }
    

  • HTTP响应体：

      {
          "status": "ok"|"err",
          "value": <回答>,
      }