俄罗斯科技巨头Yandex最近宣布开源了一款名为“YaFSDP”的大语言模型训练工具。YaFSDP是一种用于训练大型语言模型（LLM）的开源方法，具有显著的性能优势。
通过使用YaFSDP，研究人员和开发者可以更高效地训练大型语言模型，从而推动人工智能技术的发展。
YaFSDP是目前最有效的公开可用工具，用于增强GPU通信并减少LLM训练中的内存使用量，与FSDP相比，其训练速度提升最高可达26%，具体取决于架构和参数数量。通过使用YaFSDP减少LLM的训练时间可以节省高达20%的GPU资源。
模型 | gpu-count | seq-len | num-ckpt-layers | speedup |
Llama 2 7B | 64 | 2048 | 0 | 9.92% |
Llama 2 7B | 64 | 4096 | 0 | 3.43% |
Llama 2 7B | 64 | 8192 | 0 | 2.68% |
Llama 2 7B | 128 | 2048 | 0 | 9.57% |
Llama 2 7B | 128 | 4096 | 0 | 2.42% |
Llama 2 7B | 128 | 8192 | 0 | 2.32% |
Llama 2 13B | 128 | 2048 | 0 | 12.10% |
Llama 2 13B | 128 | 4096 | 0 | 3.49% |
Llama 2 34B | 128 | 2048 | 0 | 20.70% |
Llama 2 34B | 256 | 2048 | 0 | 21.99% |
Llama 2 34B | 256 | 4096 | 5 | 8.35% |
Llama 2 70B | 256 | 2048 | 10 | 21.48% |
Llama 2 70B | 256 | 4096 | 50 | 7.17% |
Llama 3 8B | 64 | 2048 | 0 | 11.91% |
Llama 3 8B | 64 | 4096 | 0 | 7.86% |
Llama 3 70B | 256 | 2048 | 20 | 26.60% |
