中信建投:国产模型Kimi突破长文本能力
中信建投研报指出,KimiChat最高支持20万汉字输入,逐渐破圈。智能助手KimiChat,是国内创业公司月之暗面首个C端产品,目前免费开放。能高效处理约20万汉字上下文,具备智能搜索、高效阅读、整理资料、辅助创作等功能。近期KimiChat出圈,据SimilarWeb,2月网页版访问量291万,环比翻倍;3/2-3/8周度访问量135万,环比+24%。
为什么月之暗面可以打造高关注度应用KimiChat?
原因一:核心团队技术背景深,具有Google、Meta、Amazon等海外大厂的工作经历,仅用一年时间完成无损长上下文窗口的技术突破。
原因二:产品面向C端免费开放,注重产品运营。目前招募更多市场、运营类人才,后续有望推动产品进一步破圈。
大模型长文本能力持续突破,应用场景拓宽。2月Gemini 1.5已支持100万token上下文,对应80万汉字。长文本能力,能将大模型应用场景拓展至长文总结、剧情创作、代码复现等复杂任务,且可以直接基于全文理解进行问答和信息处理,从而缓解大模型“幻觉”问题。
大模型长文本能力持续突破,应用场景拓宽。2月Gemini 1.5已支持100万token上下文,对应80万汉字。长文本能力,能将大模型应用场景拓展至长文总结、剧情创作、代码复现等复杂任务,且可以直接基于全文理解进行问答和信息处理,从而缓解大模型“幻觉”问题。
一、KimiChat最高支持20万汉字输入,逐渐破圈
智能助手KimiChat具备长文本能力,近期访问量显著增加。KimiChat是国内创业公司月之暗面的首个C端产品,于23年11月正式向所有用户免费开放,能高效处理约20万汉字的上下文,完成智能搜索、高效阅读、整理资料、辅助创作等功能。该产品已先后推出网页版、小程序版和APP版本。据Similarweb,2月网页版访问量291万,环比翻倍;3/2-3/8周度访问量135万,环比+24%,屡创新高。据七麦数据,目前App版本排名IOS中国区效率(免费)榜20-30名,呈现上升趋势。
产品具体功能包括:
1)智能搜索:整合并总结互联网信息,并附上相关链接,支持在特定网站内搜索。
2)高效阅读:理解和处理多种文件格式,包括PDF、Word、Excel、PPT、图片等,可以基于长篇幅文本,提取关键信息、回答用户疑问。
3)资料整理:自动识别和提取文档中的关键信息,例如识别发票图片中的关键信息。
4)辅助创作:具备文本创作和代码编写能力,还能快速阅读和理解API文档。
月之暗面同时布局模型和应用,主推C端产品。公司成立于2023年3月,仅用一年时间完成无损长上下文窗口的技术突破,并推出主力产品Kimi智能助手。在模型侧,公司已训练了千亿级别的自研通用大模型,聚焦上下文窗口的突破;在应用侧,除了C端产品Kimi以外,还向B端开放自研模型的API接口,上下文长度8-128k,每1000 tokens价格为0.012-0.06元。据每日经济新闻,公司之所以聚焦C端产品,主要是因为国内市场的B端产品往往需要私有化部署和定制化开发,而基于现有模型的某个版本做私有化部署和定制化的开发,将会导致B端产品的能力和用户体验跟不上模型能力的快速提升。
公司已完成3轮融资,估值25亿美元。据36氪、硅星人,公司分别于成立初期和23年10月获得融资5000万美元、3亿美元;2月公司完成新一轮超10亿美金融资,投资方包括阿里、红杉中国、小红书、美团等,估值25亿美元。
技术人才密度高,发力产品营销。据每日经济新闻,目前团队规模超80人,其中大部分为技术人员。创始人团队技术背景深,其中杨植麟毕业于清华大学、卡内基梅隆大学,学术引用量自2019年起已超2万余次;另外两位联合创始人周昕宇和吴育昕也均出身清华大学,拥有Meta、旷视科技等科技公司工作经验;其余团队成员也具有CMU LTI、Google、Meta、Amazon等海外大厂的工作经历。在产品和运营领域,公司相关人员曾操盘过数亿DAU产品。另据公司官网,目前在招的31个岗位中,其中6个为市场、运营类岗位,包括达人运营、国内广告投放等,反映公司对产品营销和运营的重视程度。
二、长文本能力拓宽大模型应用场景
大模型上下文窗口长度持续突破。文本生成以token作为处理文本的单位,复杂汉字(如“夔”)可能会分解为若干token的组合,“中国”等短且常见的短语则可能使用单个token。通常而言,1个token相当于1.5-2个汉字;最大上下文长度,则指文本输入和输出合计使用的token数量上限。23年上半年发布的GPT-4、Claude-100k上下文长度分别为32k、100k,对应2.5万、8万汉字的上下文;23年下半年发布的GPT-4 Turbo将上下文长度增加至128k,预计对应10万汉字。而24年2月发布的Gemini 1.5,则实现破纪录的100万token上下文。据月之暗面,Kimi Chat在中文上具备显著优势,实际使用效果能够支持约 20 万汉字的上下文,显著多于GPT-4 Turbo。
大模型上下文窗口受限,会制约大模型技术落地。模型参数量影响计算复杂度,上下文窗口则影响大模型的内存空间。内存空间较小时,大模型同时理解和处理的信息量就较小,从而导致模型的应用场景受限。例如:
1)虚拟角色:长文本能力不足时,虚拟角色会在多轮对话后忘记自己的身份;
2)AI+推理游戏:剧本杀类游戏开发,需要将大量剧情设定和游戏规则作为prompt输入模型,若上下文长度不足,则需削减规则和设定,无法达到预期游戏效果。
3)AI Agent:Agent运行需要基于大量历史信息和当前场景,进行多轮规划和决策,上下文长度限制了信息的输入量。
长文本能力增加,能显著拓宽大模型应用场景。以月之暗面为例,公司克服文本内容精准抓取、高算力需求、严重显存压力等困难,研发出首个支持20万字输入的千亿参数LLM产品KimiChat。在长文本能力加持下,该产品具备的能力包括:通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演。
版权保护力度不及预期,知识产权未划分明确的风险,IP影响力下降风险,与IP或明星合作中断的风险,大众审美取向发生转变的风险,竞争加剧的风险,用户付费意愿低的风险,消费习惯难以改变的风险,关联公司公司治理风险,内容上线表现不及预期的风险,生成式AI技术发展不及预期的风险,产品研发难度大的风险,产品上线延期的风险,营销买量成本上升风险,人才流失的风险,人力成本上升的风险,政策监管的风险,商业化能力不及预期的风险。