UCloud优刻得、超对称及复旦联手发布并开源120亿参数语言模型

中国经济新闻网讯（记者姜业庆）近日，由UCloud优刻得提供算力和开源支持，超对称公司与UCloud优刻得合作，将公司推出的3个大模型开源到UCloud官网，以“大模型+大算力”的方式，共同推进AICG创新应用。

　　2022年5月超对称技术公司发布大语言模型BigBangTransformer“乾元”的第一版BBT-1，10亿参数预训练语言模型，在中文金融语料上训练而成，发布之后即获得经济金融领域客户热烈反馈，作为大模型底座已经为多家中国和海外机构提供服务。

　　超对称公司于2021年便开始针对金融投资领域的应用，着手设计和训练了一个大规模参数预训练语言模型BigBangTransformer乾元(BBT)，目前发布了Base版本2.2亿参数和Large版本10亿参数以及最新的BBT2，120亿参数通用模型。BBT模型的目标是为金融投资建立统一的人工智能算法框架，基于transformer构建能融合训练金融投资涉及的不同模态数据的架构。在统一架构的基础上训练大规模参数预训练模型，随着模型参数和训练数据集继续增大，超对称团队有希望开发出在金融领域接近人类智能水平的模型。作为金融领域的基石模型，BBT模型为所有金融投资、经济分析、商业咨询等场景的深度学习下游任务提供微调服务。

　　金融投资领域有大量从业机构和人员，大厂有财力雇佣算法工程师，小团队却用不起基本的文本抽取算法。BBT模型作为金融领域的算法基础设施，让所有从业者配备同级别的武器，让全行业站在同一起跑线去竞争更优的投资策略，从而推动金融和经济市场更高效的信息和要素流动。

　　为了更好地推进中文金融自然语言处理的发展，超对称搜集和爬取了几乎所有公开可以获得的中文金融语料数据，而超对称公司推出的BBT-2，这是一个基于120亿参数的通用大语言模型，并在BBT-2的基础上，训练出代码、金融、文生图等专业模型。

　　通过与UCloud优刻得在算力和开源方面的合作，超对称还将3个大模型开源到官网、github和UCloud，后续用户可直接在UCloud官方平台通过GPU云主机的行业镜像或算力平台直接开箱使用模型。

　　其中，BigBangTransformer“乾元”是基于GPTDecoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后，正式开源最新系列的BBT模型：BBT-1-1B，BBT-2-12B-Text，BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源，覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练，经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文2000亿tokens进行预训练，暂时不开放基础模型的问答对话接口。