合合信息申请用于大模型训练的数据清洗方法专利，能够更加彻底地去除噪声数据

本文源自:金融界

金融界2025年5月1日消息，国家知识产权局信息显示，上海合合信息科技股份有限公司;上海临冠数据科技有限公司;上海生腾数据科技有限公司;上海盈五蓄数据科技有限公司申请一项名为“一种用于大模型训练的数据清洗方法及装置”的专利，公开号CN119884591A，申请日期为2024年12月。

专利摘要显示，本申请公开了一种用于大模型训练的数据清洗方法。先将不同格式的原始数据转换为统一的纯文本格式的数据。再采用句子过滤、段落过滤和文章过滤三个层面的过滤规则，对纯文本格式的数据进行规则过滤。再采用一个训练好的大模型为每条规则过滤后的数据生成清洗规则，按照清洗规则进行清洗，得到模型过滤后的数据。再采用句子、段落和文章三个层面的去重方式，对模型过滤后的数据进行去重。再采用多个质量过滤模型对去重后的数据进行质量过滤，得到质量过滤后的数据。最后对质量过滤后的数据进行教育质量评分，仅保留教育质量评分大于预设阈值的文本数据。本申请能够更加彻底地去除噪声数据；能够更加彻底地去除重复数据；能够有效过滤掉低质量数据。

天眼查资料显示，上海合合信息科技股份有限公司，成立于2006年，位于上海市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本10000万人民币。通过天眼查大数据分析，上海合合信息科技股份有限公司共对外投资了15家企业，参与招投标项目222次，财产线索方面有商标信息210条，专利信息283条，此外企业还拥有行政许可5个。

上海临冠数据科技有限公司，成立于2017年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本100万人民币。通过天眼查大数据分析，上海临冠数据科技有限公司共对外投资了1家企业，参与招投标项目7次，财产线索方面有商标信息18条，专利信息119条，此外企业还拥有行政许可1个。

上海生腾数据科技有限公司，成立于2017年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本5000万人民币。通过天眼查大数据分析，上海生腾数据科技有限公司共对外投资了1家企业，参与招投标项目329次，财产线索方面有商标信息316条，专利信息114条，此外企业还拥有行政许可1个。

上海盈五蓄数据科技有限公司，成立于2018年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本100万人民币。通过天眼查大数据分析，上海盈五蓄数据科技有限公司财产线索方面有商标信息10条，专利信息112条。