B站近期开源了名为Index-1.9B系列的轻量级AI语言模型,这一举措在业界引起了广泛关注。该系列模型包含多个版本,包括基座模型、对照组、对话模型和角色扮演模型等。其中,基座模型Index-1.9B base是系列的核心,具有19亿非词嵌入参数量,它在2.8T中英文为主的语料上进行了预训练,并在多个评测基准上表现出色,与同级别模型相比处于领先地位。
此外,Index-1.9B pure作为基座模型的对照组,与base版本具有相同的参数和训练策略,但该版本在语料中严格过滤了所有指令相关的数据,用以验证指令对benchmark的影响。这次开源的Index-1.9B系列模型,不仅丰富了AI语言模型的生态,也为研究人员和开发者提供了更多的选择和可能性。 ![]() |