Yandex宣布开源“YaFSDP”大语言模型，对 Llama3可实现26%加速

俄罗斯科技巨头Yandex最近宣布开源了一款名为“YaFSDP”的大语言模型训练工具。YaFSDP是一种用于训练大型语言模型（LLM）的开源方法，具有显著的性能优势。

通过使用YaFSDP，研究人员和开发者可以更高效地训练大型语言模型，从而推动人工智能技术的发展。

YaFSDP是目前最有效的公开可用工具，用于增强GPU通信并减少LLM训练中的内存使用量，与FSDP相比，其训练速度提升最高可达26%，具体取决于架构和参数数量。通过使用YaFSDP减少LLM的训练时间可以节省高达20%的GPU资源。

模型	gpu-count	seq-len	num-ckpt-layers	speedup
Llama 2 7B	64	2048	0	9.92%
Llama 2 7B	64	4096	0	3.43%
Llama 2 7B	64	8192	0	2.68%
Llama 2 7B	128	2048	0	9.57%
Llama 2 7B	128	4096	0	2.42%
Llama 2 7B	128	8192	0	2.32%
Llama 2 13B	128	2048	0	12.10%
Llama 2 13B	128	4096	0	3.49%
Llama 2 34B	128	2048	0	20.70%
Llama 2 34B	256	2048	0	21.99%
Llama 2 34B	256	4096	5	8.35%
Llama 2 70B	256	2048	10	21.48%
Llama 2 70B	256	4096	50	7.17%
Llama 3 8B	64	2048	0	11.91%
Llama 3 8B	64	4096	0	7.86%
Llama 3 70B	256	2048	20	26.60%

‍