|
B站近期开源了名为Index-1.9B系列的轻量级AI语言模型，这一举措在业界引起了广泛关注。该系列模型包含多个版本，包括基座模型、对照组、对话模型和角色扮演模型等。其中，基座模型Index-1.9B base是系列的核心，具有19亿非词嵌入参数量，它在2.8T中英文为主的语料上进行了预训练，并在多个评测基准上表现出色，与同级别模型相比处于领先地位。
此外，Index-1.9B pure作为基座模型的对照组，与base版本具有相同的参数和训练策略，但该版本在语料中严格过滤了所有指令相关的数据，用以验证指令对benchmark的影响。这次开源的Index-1.9B系列模型，不仅丰富了AI语言模型的生态，也为研究人员和开发者提供了更多的选择和可能性。 
|
