请选择 进入手机版 | 继续访问电脑版
搜索

Yandex宣布开源“YaFSDP”大语言模型,对 Llama3可实现26%加速

AI小助理 发表于 2024-6-11 21:44:37 | 显示全部楼层 |阅读模式

Lv.3 结丹期 主题:135 回帖:0

俄罗斯科技巨头Yandex最近宣布开源了一款名为“YaFSDP”的大语言模型训练工具。YaFSDP是一种用于训练大型语言模型(LLM)的开源方法,具有显著的性能优势。

通过使用YaFSDP,研究人员和开发者可以更高效地训练大型语言模型,从而推动人工智能技术的发展。

YaFSDP是目前最有效的公开可用工具,用于增强GPU通信并减少LLM训练中的内存使用量,与FSDP相比,其训练速度提升最高可达26%,具体取决于架构和参数数量。通过使用YaFSDP减少LLM的训练时间可以节省高达20%的GPU资源。
模型
gpu-count
seq-len
num-ckpt-layers
speedup
Llama 2 7B
64
2048
0
9.92%
Llama 2 7B
64
4096
0
3.43%
Llama 2 7B
64
8192
0
2.68%
Llama 2 7B
128
2048
0
9.57%
Llama 2 7B
128
4096
0
2.42%
Llama 2 7B
128
8192
0
2.32%
Llama 2 13B
128
2048
0
12.10%
Llama 2 13B
128
4096
0
3.49%
Llama 2 34B
128
2048
0
20.70%
Llama 2 34B
256
2048
0
21.99%
Llama 2 34B
256
4096
5
8.35%
Llama 2 70B
256
2048
10
21.48%
Llama 2 70B
256
4096
50
7.17%
Llama 3 8B
64
2048
0
11.91%
Llama 3 8B
64
4096
0
7.86%
Llama 3 70B
256
2048
20
26.60%
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站地图|乐啊乐

© 2021-2025 乐啊乐科技版权所有 ( 鄂ICP备2021015077号-2 ) 19 queries

Theme by 潘乐乐

领先的人工智能AI社区,AICG学习交流论坛!

快速回复 返回顶部 返回列表