把大模型装进“小盒子” 云天励飞创新探索“AI+”路径

转自：中国证券网

上证报中国证券网讯（记者 何漪）3月28日，云天励飞举办AI大模型产品发布会，正式发布“深目”AI模盒。记者了解到，该产品能够做到“3个90%”——覆盖场景超过90%、算法精度超过90%，使用成本降低90%，解决大模型在场景落地最后一公里的问题，帮助更多中小企业客户轻松使用大模型。

如何实现3个90%？云天励飞董事长兼CEO陈宁在会上表示，离不开核心能力算法芯片化。“深目”AI模盒的算力基础，来源于去年云天励飞推出的14nm Chiplet大模型训推芯片DeepEdge10 Max。该芯片采用自主可控的国产工艺，内含国产RISC-V核，支持大模型训练推理部署。依托自研芯片DeepEdge10 Max创新的D2D chiplet架构打造的X5000推理卡，已适配并可承载10亿级SAM、百亿级Llama2等大模型运算，可广泛应用于AIoT边缘视频、移动机器人等场景。

据介绍，“深目”AI模盒的大模型能力，来源于云天励飞自主研发的多模态大模型“云天天书”。云天天书大模型包含语言大模型、多模态大模型等不同系列，在C-Eval、CMMLU等权威测试中多次获得第一，并于去年正式通过中央网信办备案。云天天书1.0版本于2023年初正式推出，至今已完成3个版本的迭代，预计今年6月将迭代4.0 V版本。

陈宁表示，未来3年，全球80%的企业都将使用大模型。大模型一次训练成本在千万级，主流的训推一体机价格普遍在百万元，绝大多数企业都无法承担这样高昂的成本。为了能够让大模型“平民化”，成为人人都可用的产品，云天励飞推出了“深目”AI模盒。

自2014年成立以来，云天励飞一直坚持将AI技术与物理世界相结合。芯片是AI与物理世界的连接器，AI通过芯片为实体赋能，物理世界的数据又通过芯片反哺AI，推动AI进步发展。

“AI商业化发展有三个阶段，AI方案化、AI运营化、AI产品化。”陈宁表示，在AI方案化阶段，AI企业通过项目制满足不同垂直领域客户需求。在打磨行业标杆项目的过程中，AI企业不断积累行业认知和数据，AI技术实力不断增强，并形成具备越来越强的泛化能力AI平台，企业也得以开启AI运营业务。最终，所有的技术都需要通过物理实体赋能，AI最终必须走向产品化。

陈宁谈到，在AI方案化方面，云天励飞在警务、城市治理、智慧交通、人居生活等领域打造诸多标杆项目，并且在低空经济、智慧教育等创新领域持续展开探索。基于在大量行业的落地经验，云天励飞已形成数据运营、新能源运营平台，走向AI运营化。如今，云天励飞还逐步走向AI产品化。“云天励飞通过算法芯片化的能力，为无形的技术和有形的世界构建通道，让AI不仅仅是一个在虚拟世界的工具，而是转化为物理世界的生产力。”