云天励飞新一代边缘AI SoC芯片Edge10V即将量产!
8月28日,由芯原股份主办的“第三届滴水湖中国RISC-V产业论坛”在上海滴水湖洲际酒店召开。国内知名人工智能技术厂商云天励飞介绍了其新一代边缘大算力AP级边缘SoC芯片Edge10V,目前已经接近量产状态。
作为国内首批人工智能(AI)技术厂商,成立于2014年的云天励飞最初是主攻AI算法,通过摄像头、端云协同的架构来做海量图片的分析与处理,因此算法的泛化能力相对较弱,所以对于设备的调试要求就比较高,需要到各地去帮助客户调试,这在当时耗费了云天励飞很大的一部分精力。这也促使了云天励飞开始来做自研芯片,将自己的AI算法芯片化。
2018年,云天励飞就成功推出了自研的第一代面向嵌入式端的边缘AI芯片DeepEye1000,并且在当年8月一次性流片成功,在2019年正式商用。DeepEye1000基于国产高性能RISC-V CPU内核IP,内置了自主产权的神经网络处理器,支持灵活可编程计算流,搭载云天励飞自主研发的深度定制指令集,可以实现高性能、低功耗的CNN网络模型推理计算加速,满足视觉AI算法实时性处理的性能要求。
从2015年至今,云天励飞已经完成了三代指令集架构,4代神经网络处理器架构的研发。2022年,云天励飞自研的新一代边缘AI SoC芯片——Edge10V流片成功,今年开始在做产品化相关的工作,目前已经接近准量产状态。
据介绍,Edge10V是一款采用自主可控的纯国产工艺,内置国产RISC-V内核(主频1.2GHz),内置云天励飞第四代自主知识产权 NPU NNP400T(int8算力可达12Tops)的AI SoC芯片,其中还包括GPU和MM,支持双显等各类外设,支持边缘CV大模型的推理部署,因而可以独立完成各边缘计算场景的任务。
“ Edge10V的芯片实际上是系列化的芯片。有两大特色:1、支持Chiplet多芯粒扩展、支持大算力。作为国内首颗D2D高速互联Chiplet商用芯片,满足国产Chiplet UCIE标准。2、纯国产AI芯片。我们采用了国产的工艺、国产的封装,由国内工厂完成国内生产制造交付。作为一款AP级边缘AI SoC,Edge10V不仅可以支持AI计算,也可以支持双千兆网口,支持不同传感器的接入。另外,我们是有X8 PCle3.0接口可以支持不同的外设扩展。在CPU的部分,我们也是选择了带矢量处理器的这么一个RISC-V CPU。”云天励飞芯片BD总监张福林进一步解释道。
具体性能方面,云天励飞Edge10V的CPU和AI性能都大幅领先于上一代的DeepEye1000。
另外,云天励飞也为Edge10V配套了相对应的软件栈,其中核心的一个部分就是与异构的芯片架构有匹配的软件设计,可以很好的去做一些调度。另外,对于计算资源,也能通过合理的分配到不同的硬件加速器里面去运行。同时,Edge10V还有比较丰富的中间件的支持。包括:机器人行业用的比较多的ROS、ROS2等相关的东西。可以支持比较好的面向不同场景的边缘计算应用,以及低速自动驾驶方向的机器人应用。
在AI工具链、模型的支持方面,Edge10V可以支持Pytorch/Onnx/Caffe等主流模型框架,支持CNN/RNN/Transformer/GNN等深度学习网络模型。
在商业模式方面,云天励飞不仅可以直接对外提供Edge10V芯片,同时也可以对外提供一些列的模组产品,包括针对嵌入式设备的Mini PCle加速卡,可广泛应用于AIoT边缘视频、移动机器人等场景。也可以应用到一些边缘服务器的产品,做一些高密视频的推理。
从产品的形态来讲,我们是支持主要是覆盖端和边缘;边缘主要是边缘的Device和Server,在Device可以支持边缘视觉分析的终端盒子产品、另外就是机器人相关的应用。服务器这一块主要是集成到PCle加速卡。
“随着今年ChatGPT的火爆,推动了推动了整个AI的发展,大模型开始向边缘部署也已经是一个新的趋势。我们认为AI是打开第四次工业革命大门的钥匙,所以云天励飞其实确确实实也是在AI算法、芯片和应用方面去积极的贡献自己的力量。”云天励飞芯片BD总监张福林说道。