The Yi series models are the next generation of open-source large language models trained from scratch by 01.AI.

Gemma is a family of open-weights Large Language Model (LLM) by Google DeepMind, based on Gemini research and technology.

This release includes model weights and starting code for pre-trained and instruction-tuned Llama 3 language models — including sizes of 8B to 70B parameters.

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本。

Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。目前，大语言模型已升级至Qwen2版本。无论是语言模型还是多模态模型，均在大规模多语言和多模态数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。

智谱 AI 推出的最新一代预训练模型 GLM-4 系列开源版本

GLM-130B 是一个开源开放的双语（中文和英文）双向稠密模型，基于 GLM 架构，拥有 1300 亿参数。它旨在支持在一台 A100（40G * 8） 或 V100（32G * 8）服务器上对千亿规模参数的模型进行推理。

ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation

本项目提供了智源研究院"文汇" 预训练模型Chinese-Transformer-XL的预训练和文本生成代码。