欢迎光临湖北地方网!

今天是 2024年05月19日 星期天

关注社会热点

一起实现我们的中国梦

当前位置: 首页 > 科技

国产千卡集群训练优化技术AdaPipe发布

近日,在美国圣迭戈市举行的计算机体系结构重要国际会议ASPLOS上,由鹏城实验室智能计算研究部、清华大学计算机系教授陈文光团队自主研发的国产千卡集群训练优化技术AdaPipe正式发布。

近年来,大规模语言模型在对话、问答和文本总结等多种应用场景中展现出卓越性能,受到了学术界和工业界的广泛关注。然而,随着大规模语言模型逐渐朝着更多的参数量和更长的文本进行演化,对计算设备的存储和处理能力也提出了更高要求。

当前,传统的流水线并行训练方法在处理百、千亿参数的模型时会产生存储和计算负载不均衡的现象,直接影响了资源利用率和整体训练效率;同时,由于现有国产算力卡存在高速内存容量和通信能力不足的情况,使得这一问题显得更加突出。

为解决上述问题,陈文光团队开发了AdaPipe技术,该技术根据具体的模型和硬件参数,通过细化重计算的粒度来优化重计算策略,并考虑到训练各阶段计算量的差异,进一步对重计算和流水线切分策略进行优化。该技术不仅将存储资源的利用率最大化,还确保不同计算节点上的计算负载得以平衡分配,训练效率显著提升了。

该研究显示,AdaPipe支持GPU、NPU主流加速卡,该技术被应用在“鹏城云脑II”的国产千卡集群上训练多种模型(如Llama-2,GPT 3等)时,实现了20%以上的性能提升。此外,AdaPipe在“鹏城·脑海”通用大模型(200B)4K窗口3456卡的实际训练中,取得了10%以上的效率提升。这些案例将为未来万卡国产集群上的优化训练提供技术储备和经验参考。

上述技术的研发得到国家自然科学基金和鹏城实验室的支持和资助。

相关论文信息:https://doi.org/10.1145/3620666.3651359

集群鹏城 新浪众测 新浪众测 新浪科技公众号 新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

相关新闻
本文来源于网络,不代表湖北地方网立场,转载请注明出处
我要收藏
0个赞
转发到:
推荐阅读
  • 科技应为生活增色而非“增负” 玩手机上瘾这事儿好治【CNMO科技】如果你发现自己被智能手机牢牢控制,别觉得孤单——智能手机成瘾是真实存在的问题。很多人都经历过,一整天沉迷于社交媒体、手机游戏或是追剧。偶尔为之并无大碍,但这种情况可能比我们愿[全文]
    2024-05-15 03:23
  • 三星Galaxy 2024夏季发布会预测:至少5大新品亮相【CNMO科技】三星通常每年至少举办两次Galaxy Unpacked活动——第一场展示新款S旗舰手机,随后举办夏季活动,其中可折叠设备通常是焦点。随着1月份Galaxy Unpac[全文]
    2024-05-09 03:31
  • 近期,多所知名高校领导班子密集调整,又有两院院士在高校校长岗位上履新。高校领导班子密集调整中央财经大学、东北师范大学两所“双一流”高校同日迎来新任党委书记。据教育部官网消息,5月6日,教育部党组在中央财经大学宣布了有关任免决定,吴国生任中央[全文]
    2024-05-09 03:27
  • 近日,在美国圣迭戈市举行的计算机体系结构重要国际会议ASPLOS上,由鹏城实验室智能计算研究部、清华大学计算机系教授陈文光团队自主研发的国产千卡集群训练优化技术AdaPipe正式发布。近年来,大规模语言模型在对话、问答和文本总结等多种应用场[全文]
    2024-05-08 03:25
腾讯云秒杀
阿里云服务器

Copyright 2003-2024 by 湖北地方网 hb.xwxzx.cn All Right Reserved.   版权所有

未经授权请勿转载 | 网站所有内容来源于网络,如有侵权联系我们删除。