Yandex推出开源大语言模型训练工具YaFSDP 预计可节省高达20%的GPU资源-新华网
新华网 > > 正文
2024 06/14 16:40:52
来源:新华网

Yandex推出开源大语言模型训练工具YaFSDP 预计可节省高达20%的GPU资源

字体:

  近期,俄罗斯跨国科技公司Yandex继高性能库CatBoost,大数据平台YTsaurus等高科技开源工具后,推出新一代开源工具—YaFSDP,或将成为目前最有效的公开可用工具,用于增强GPU(图形处理器)通信并减少LLM(大语言模型)训练中的内存使用量,最高可提高26%训练效率,节省20%的GPU资源,预计每月可为企业可节省数十万美元。

  据介绍,大型语言模型训练是一个耗时且资源密集的过程,自行开发大型语言模型的机器学习工程师和企业会投入大量时间和图形处理器资源来训练这些模型。模型越大,与其训练相关的时间和费用就越多。其中,大型语言模型训练依赖于组织成集群的众多图形处理器,这些集群是互连的图形处理器阵列,可以执行训练具有数十亿参数的模型所需的大量计算。

  为此,YaFSDP是FADP的升级版,优化了学习速度和性能,通过消除图形处理器通信效率低下的问题,确保了训练时仅需要关注必要的处理器内存,并使图形处理器交互不受干扰。这也使全球人工智能开发人员在训练模型时能够使用更少的计算能力和图形处理器资源。

  Yandex公司高级开发人员、YaFSDP开发团队成员米哈伊尔·赫鲁晓夫(Mikhail Khruschev)表示,YaFSDP在13至700亿个参数的模型上显示了令人印象深刻的结果,在30至700亿个参数范围内的表现尤为强劲。他举例,在一个具有700亿参数的模型的预训练场景中,使用YaFSDP可以节省大约150个GPU的资源,这相当于每月节省大约360万至1080万元人民币(取决于GPU提供商或平台)。

模型

图形处理器数量

输入序列度

具有激活检查点的层

加速

Llama 2 7B

64

2048

0

10.56%

Llama 2 7B

64

4096

0

2.54%

Llama 2 13B

128

2048

0

12.57%

Llama 2 13B

128

4096

0

3.45%

Llama 2 34B

256

2048

0

21.92%

Llama 2 34B

256

4096

5

8.12%

Llama 2 70B

256

2048

10

21.58%

Llama 2 70B

256

4096

50

6.44%

Llama 3 8B

64

2048

0

10.15%

Llama 3 8B

64

4096

0

7.98%

Llama 3 70B

256

2048

20

26.60%

图:YaFSDP方法可以有效地用于基于转换器的多层文本生成模型(多层感知器),这些模型大多以类似 LLaMA 的模型为代表。在700亿参数模型的预训练场景中,使用YaFSDP可以节省约150个图形处理器的资源。(Yandex官方数据)

  哈伊尔·赫鲁晓夫还提到,“目前,我们正在积极试验各种模型架构和参数大小,以扩展YaFSDP的多功能性。我们很高兴能与全球机器学习社区分享我们在大型语言模型方面的成果,为提高全球研究人员和开发人员的可访问性和效率做出贡献?!?/p>

【纠错】 【责任编辑:陈延特】
        乐发彩票 大发app 凤凰彩票app 乐发iv游戏平台 凤凰彩票大厅 乐发彩票 乐发彩票app下载 大发彩票 乐发v官网 乐发lll 乐发lv入口 乐发iv首页 乐发ll登录 凤凰彩票大厅 乐发官网 乐发ii下载入口 乐发ll 乐发v平台 乐发v官网 乐发lll 乐发lv入口 乐发iv首页 乐发ll登录 乐发lv 乐发lll安装 乐发lv 乐发登录入口 乐发iv游戏平台 凤凰彩票登录 网信彩票 彩神 彩神彩票官方网站 彩神彩票官网首页 彩神官方app下载安卓版 凤凰彩票登录 彩神v3 凤凰彩票app下载 彩神官方app下载安卓版 网信快三 一分快3 快三彩票购彩平台 凤凰彩票官方 快3官网 网信彩票 快3app 网信彩票平台 百姓彩票平台 网信平台官网 快3app下载 百姓彩票 每日彩票 快3app 百姓彩票 每日彩票 快3app 百姓彩票平台 幸运5分彩快3 快3彩票app下载 百姓彩票网站网址 大发10分PK10 快3下载 网信彩票平台 网信平台官网 快3彩票官网app 凤凰彩票官方 彩神彩票 大发10分PK10 彩神v3 大发彩票app下载 百姓彩票网站网址 彩神购彩平台 每日彩票 官方正规快三彩票平台 彩神彩票购彩平台 百姓彩票 凤凰彩票购彩平台 凤凰彩票app下载 彩神官方app下载安卓版 网信快三 一分快3 快三彩票购彩平台 凤凰彩票官方 彩神彩票 大发10分PK10 彩神v3 凤凰彩票登录 乐发lv 乐发∨Il 百姓彩票网站网址 乐发彩票 乐发彩票官方网站 乐发lll安装 百姓彩票网站网址 凤凰彩票app下载 大发10分PK10 乐发2 乐发app 凤凰彩票 大发彩票app 乐发登录入口 乐发ll登录 乐发v官网 乐发官网 大发彩票app下载 凤凰彩票购彩平台 彩神彩票 官方正规快三彩票平台 一分快3 百姓彩票网站网址 凤凰彩票app下载 大发10分PK10 乐发2 乐发app 凤凰彩票 大发彩票app 乐发登录入口 乐发ll登录 乐发v官网 乐发官网 大发彩票app下载 凤凰彩票购彩平台 彩神彩票 官方正规快三彩票平台 1分快三平台 百姓彩票平台 凤凰彩票登录 幸运5分彩快3 彩神 乐发彩票 乐发 大发彩票 乐发iv游戏平台 乐发lv 乐发lll 乐发ii下载入口 乐发彩票官方网站 凤凰彩票官方网站 凤凰快3 彩神彩票官网首页 1分快三平台 百姓彩票平台 凤凰彩票登录 幸运5分彩快3 彩神 乐发彩票 乐发 大发彩票 乐发iv游戏平台 乐发lv 凤凰彩票app 乐发app 网信彩票平台 网信彩票平台 乐发iv游戏平台 凤凰彩票app 乐发lv 乐发彩票app下载 凤凰彩票app 网信彩票平台 乐发彩票app下载 乐发lv 乐发app 大发彩票安卓下载 大发彩票安卓下载 大发彩票 乐发彩票app下载 网信彩票平台 乐发iv游戏平台 彩神彩票 乐发彩票中心 极速快3彩票平台 人人快三凤凰 大发彩票app 大发彩票大全 乐发彩票 彩神彩票官方网站 乐发app 酷天堂彩票平台 凤凰彩票app下载 凤凰彩票大厅 凤凰彩票app 极速快3彩票平台 凤凰彩票 凤凰快3 乐发ll官网 乐发彩票中心 正规快三送彩金平台 凤凰彩票官方 乐发ll 乐发 网信彩票 彩神彩票 彩神彩票官方网站 大发彩票app 网信彩票用户 百姓快三 百姓彩票平台 乐发lv 乐发彩票app下载 彩信平台 网信彩票 乐发彩票官方网站 乐发∨Il 人人快三凤凰 凤凰彩票 凤凰快3 乐发ll官网 乐发彩票中心 正规快三送彩金平台 凤凰彩票官方 乐发ll 乐发 网信彩票 彩神彩票 彩神彩票官方网站 人人快三凤凰 乐发彩票 彩神彩票 乐发iv游戏平台 乐发彩票 大发彩票中心 凤凰彩票登录 凤凰彩票app 彩神彩票 大发彩票 乐发ll 大发彩票app 凤凰快3 凤凰彩票 彩神彩票 乐发ll 凤凰彩票 乐发lll 凤凰彩票大厅 网信彩票 彩神彩票 乐发lv 快盈彩票 乐发彩票官方网站 盈彩网投资平台 大发官网 一分时时彩 乐发lv 快3平台 凤凰快3 乐发ll 全民彩票 乐发彩票官方网站 百姓彩票 乐发彩票 大发彩票 极速快3 乐发app 大发官网 乐发lll 快3平台 凤凰快3 乐发ll 全民彩票 乐发彩票官方网站 百姓彩票 乐发彩票 大发彩票 极速快3 乐发app 彩神iv 大发彩票app 大小单双平台 一分pk10 乐发lv 快盈彩票 乐发官网 快彩彩票 百姓彩票 凤凰彩票大厅 网信彩票 乐发彩票中心 网信快3 乐发 彩神xl 三分快3 大发彩票 大发官网 乐发lll 快3平台 凤凰快3 乐发ll 全民彩票 乐发彩票官方网站 百姓彩票 乐发彩票 乐发彩票官方网站 大发彩票 乐发 分分快3 彩神vl 55世纪 55世纪 凤凰快3 乐发彩票 乐发lv welcome凤凰彩票 乐发ll 1分快3 彩神 彩神ll 1分快3官网 1分快3的平台 welcome凤凰彩票 三分快3 彩神x 彩神vl 凤凰彩票 彩神xl 大发彩票 凤凰彩票大厅 乐发官网 乐发ll 乐发lll 乐发lv 大发彩票app 大发彩票 乐发 乐发彩票 乐发彩票中心 凤凰快3 乐发彩票 彩神xl 腾讯快3 大发彩票 彩神xl 大发彩票 乐发彩票 大发彩票app 快3平台 乐发 1分快3 乐发彩票 彩神x 凤凰快3 彩神xl 彩吧助手 大发彩票app 快3平台 大发排列3 彩神iv 彩神vl 乐发IV 彩神x 一分pk10 大发排列3 乐发lv 快3彩票 乐发app下载 三分快3 快三平台助手 乐发彩票ll 彩神iv 乐发lll下载 盈彩网投资平台 乐发Ⅲ 一分pk10 凤凰彩票 乐发Vll 大发官网 乐发ll 大发彩票 乐发1 凤凰快3 彩神vl 乐发lx 百姓彩票 乐发VI 彩神x 乐发IV 极速快3 乐发 凤凰快3 网信快3 乐发lv 快3彩票 乐发app下载 三分快3 快三平台助手 乐发彩票ll 彩神iv 乐发lll下载 盈彩网投资平台 乐发Ⅲ 凤凰彩票大厅 乐发lv 乐发lv 乐发lv 凤凰彩票 大发彩票 大发彩票 凤凰彩票 乐发lv 凤凰彩票 凤凰彩票 乐发lv 乐发ll 凤凰彩票app下载 凤凰彩票 凤凰彩票 乐发lv 乐发ll 凤凰彩票app下载 凤凰彩票 凤凰彩票 乐发lv 彩神x 乐发 乐发ll 极速快3 乐发lv 乐发彩票中心 快3彩票 凤凰彩票大厅 彩神x 凤凰彩票app 分分快3 网信彩票 网盟彩票 凤凰彩票 百姓彩票 乐发 快彩彩票 乐发彩票 快3平台 百姓彩票 大小单双平台 凤凰快3 彩神xl 一分pk10 乐发lv 三分快3 大发彩票 乐发彩票 快3平台 百姓彩票 大小单双平台 凤凰快3 彩神xl 一分pk10 乐发lv 三分快3 大发彩票 极速快3 乐发ll 网信彩票 乐发lv 全民彩票 凤凰彩票app下载 快盈彩票 大发彩票app 大发官网 凤凰彩票 彩神iv 大发彩票 网信快3 凤凰彩票 百姓彩票