猎户星空Orion-14B-Chat – Orion-14B-Chat

模型全称Orion-14B-Chat

模型简称Orion-14B-Chat

模型类型基础大模型

发布日期2024-01-22

预训练文件大小28GB

是否支持中文（中文优化）是

最高支持的上下文长度200K

模型参数数量（亿）140.0

模型代码开源协议Apache 2.0

预训练结果开源商用情况Orion-14B Series Models Community License – 免费商用授权

DataLearnerAI的模型介绍

发布论文名（官方博客名）Orion-14B: Open-source Multilingual Large Language Models

基础模型无基础模型

Orion-14B-Base是猎豹移动投资的企业猎户星座开源的一个大语言模型。该模型主要特点如下：

基于2.5万亿tokens数据集预训练得到；

在200亿参数规模的大模型中表现优异；

支持多语言，包括中文、英文、韩文和日语；

在200K上下文下表现很好，最高支持320K上下文输入长度；

量化版本模型大小减少70%，推理速度提升30%，但是性能损失不到1%；

官方公布了Orion-14B模型的评测结果，非常优秀：

Model	C-Eval	CMMLU	MMLU	AGIEval	Gaokao	BBH
LLaMA2-13B	41.4	38.4	55.0	30.9	18.2	45.6
Skywork-13B	59.1	61.4	62.7	43.6	56.1	48.3
Baichuan2-13B	59.0	61.3	59.5	37.4	45.6	49.0
QWEN-14B	71.7	70.2	67.9	51.9	62.5	53.7
InternLM-20B	58.8	59.0	62.1	44.6	45.5	52.5
Orion-14B-Base	72.9	70.6	69.9	54.7	62.1	56.5

按照这个MMLU得分69.9估计的话，与GPT-3.5和Mistral-7B-MoE接近。Mixtral-8×7B-MoE是专家混合模型，参考： https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE

应该说这个分数很优异了。

更重要的是，Orion-14B模型在多语言上表现也很好：

Model	Train Lang	Japanese	Korean	Chinese	English
PLaMo-13B	En,Jp	52.3	*	*	*
Weblab-10B	En,Jp	50.7	*	*	*
ELYZA-jp-7B	En,Jp	48.8	*	*	*
StableLM-jp-7B	En,Jp	51.1	*	*	*
KoGPT-6B	En,Ko	*	70.1	*	*
Polyglot-ko-13B	En,Ko	*	70.7	*	*
Baichuan2-13B	Multi	57.1	58.7	50.8	57.1
Qwen-14B	Multi	65.8	73.7	64.5	65.4
Llama2-13B	Multi	46.3	63.7	41.4	55.3
Yi-34B	Multi	67.1	72.2	58.7	68.8
Orion-14B-Chat	Multi	69.1	79.5	67.9	67.3

从这个对比看，汉语和日语表现不输中文

Orion-14B官方共发布了7个版本：