蚂蚁集团CTO何征宇:绿色计算体系已用于百灵大模型

http://ddx.gubit.cn  2023-11-09 23:09  蚂蚁集团(688688)公司分析

新京报贝壳财经讯(记者林子 潘亦纯)11月9日,在2023世界互联网大会乌镇峰会“数字化绿色化协同转型发展”分论坛上,蚂蚁集团首席技术官何征宇表示,AI和大模型的爆发推高了智能算力需求,数字化、绿色化协同发展的使命,要求行业亟须构建绿色、高质量的计算基础设施。他呼吁行业加强软硬协同与生态建设,共同提升计算基础设施算力规模、可用性与宽容度。据了解,蚂蚁集团建设了万卡异构集群,通过技术创新搭建了绿色高效的计算架构,AI推理性能相较于业界方案提升约2倍。

“大语言模型与生成式AI让计算机开始具备语言与内容生产能力,将我们带入了通用人工智能时代,承载这种能力的智能计算资源需求也随之井喷,算力基础设施的效率提升和绿色化是必经之路”,何征宇表示。

何征宇介绍了蚂蚁集团创新的绿色计算技术体系及其应用成效。这套体系主要包含多云多芯异构硬件融合管理、在离线混合部署与自动化管理、云原生容器化与分时调度、持续性能监测与AI弹性容量四大核心技术,通过软硬件协同、算法与工程双提效,促进业务创新的同时构建绿色、高质量算力。

凭借这套体系,蚂蚁2022年服务器CPU效率提升至33%,实现了三年算效翻三倍。上周蚂蚁百灵大模型正式通过了备案,蚂蚁集团搭建的绿色计算体系,也正在为百灵大模型提供绿色化的计算能力。

“智能算力是AI发展的底层土壤”,何征宇呼吁行业携手耕耘,“我们要注重高质量绿色软硬件研发、推广和应用,共同构建标准明确的高质量绿色计算平台规格、接口,以及相关的度量评价体系,通过技术开源加速应用供给与推广等,共创共建高质量绿色算力基础设施。 ”

编辑 宋钰婷

校对 杨许丽