大模型卷起芯片革命，云天励飞发布14nm新品，可承载百亿级运算

本文来源：时代财经 作者：谢斯临

云天励飞董事长兼CEO陈宁，图片来源：时代财经摄

大模型热潮带动了国产AI芯片市场的发展，一众厂商迅速入局。

11月15日，在高交会开幕式上，云天励飞发布了新一代AI芯片DeepEdge10。据介绍，这是国内首创14nm大模型推理芯片，采用自主可控的国产工艺，支持大模型推理部署。而云天励飞依托DeepEdge10打造的X5000推理卡，已适配并可承载SAMCV大模型、Llama2等百亿级大模型运算。

4年前，云天励飞第一代AI芯片DeepEye1000实现独立商用，这家AI企业以此出发探索了一系列的边缘计算场景，包括人脸门禁和AI相机、工业AI相机和安全PC、商业机器人等。

但2022年底爆发的大模型热潮，给AI芯片带来全新的计算范式和计算要求。

云天励飞副总裁李爱军指出，一方面，芯片需要具备更大的算力、更大的内存带宽、更多的内存容量，才能支持巨量参数的大模型在边缘端运行。同时，过去在单一场景下追求极致PPA（面积、性能、功耗）的传统芯片开发模式，也已经无法满足大模型时代AI芯片场景泛化的需求。

针对上述要求，云天励飞打造了新一代AI芯片DeepEdge10。该芯片具有SoC主控集成度，可以满足绝大部分场景的控制需要；并采用D2D Chiplet技术和C2C Mesh扩展架构，可以实现算力灵活扩展，以支持大模型推理部署。

目前，AI芯片可分为两大类：训练芯片和推理芯片。前者以英伟达A100、H100，以及华为昇腾的910B芯片为代表，用于构建神经网络算力模型，更为注重绝对的计算能力；而后者，主要是利用训练好的神经网络模型进行推理预测，更强调实用，关注低延时、低功耗。

此前，云天励飞一直专注在推理芯片领域。外界好奇，云天励飞是否会将触角伸向更为困难、复杂的训练芯片领域。

对此，云天励飞董事长兼CEO陈宁在会后群访环节回应表示，近期市场的目光更多聚焦在训练芯片，在这一领域英伟达确实是“一骑绝尘”。“但我们想说的是，对于大模型或者AI算法来说，训练不是目的，生产大模型不是目的，千行百业的落地和应用才是最终的目的。不管是机器人、无人驾驶汽车、智能传感，还是未来的智慧硬件和脑机接口，需要的都是大模型的推理芯片。”

与此同时，陈宁强调，与训练芯片相比，推理芯片市场还是处于百家争鸣的状态。尤其是在中国，已经开始考虑怎么基于国产工艺落地推理芯片，构建国产工艺推理芯片的生态。

DeepEdge10正是云天励飞在这一方向积极探索的结果。陈宁透露，受限于当前的国际环境，国产芯片的成熟工艺基本稳定在14nm的工艺节点上。但千亿级、百亿级大模型需要达到极强计算能力的同时，还能保持超低的功耗及成本，未来对芯片工艺的需求会走到7nm、5nm。

如何跨越这一障碍，考验着每一个国产AI芯片厂商。“结合当前国内的生产工艺现状，我们和合作伙伴一起在三年前联合技术攻关，采用D2DChiplet技术，定制了一系列的IP，以在14nm的工艺节点上，支持大模型的推理部署。”陈宁表示。

公开资料显示，Chiplet是一种芯片“模块化”设计方案，通过集成封装等技术，能够将不同工艺节点、不同功能、不同材质的芯片，如同搭积木一样集成一个更大的系统级芯片。在美国持续封锁先进半导体技术的情况下，这一解决方案正获得越来越多的关注。

发布上，市场关注的另一重点是云天励飞自研天书大模型的最新进展。面对这一问题，陈宁回复：公司预计在12月全面发布我们的大模型产品，敬请关注。

据时代财经了解，目前其自研的千亿级大模型云天天书大模型已完成2次版本更新，综合能力进一步提升，在通用问答、语言理解、数学推理、文本生成、角色扮演等方面均达到行业先进水平；在今年9月上旬的C-Eval中文大模型榜单中，云天天书大模型位列榜单第一；云天励飞目前算力储备充足，下一版云天天书大模型将对标GPT 4.0，进一步提升多模态能力。