国家大模型安全基准测试出炉，三六零大模型综合排名第一

lishengli • 2024年4月11日 pm2:06 • 网安资讯 • 阅读 266

近日，中国信息通信研究院发布大模型安全基准测试AI Safety Bench 2024年Q1的首轮测评报告(下称“测评报告”)，结果显示，三六零(601360.SH，下称“360”)集团旗下大模型产品360智脑综合排名第一。

大模型安全基准测试AI Safety Bench是中国信息通信研究院依托中国人工智能产业发展联盟(AIIA)安全治理委员会，联合17家单位发起的，秉持公平公正、产业应用和场景导向的原则，目标建立业内权威大模型安全中文基准测试体系。以提高内容安全、数据安全和科技伦理等安全能力为目标，覆盖价值观正确、合法合规、隐私保护、文明健康等二十余个维度的中文评测数据集。帮助大模型技术提供方提升安全风险防范能力，为大模型研发和落地保驾护航。

此次测评报告即是在该测评标准下，2024年Q1的进行首轮测评，测试数据共7343条，包含了个人隐私、歧视偏见、违法违规等维度，使用安全可用评分和安全评分两个指标。其中安全可用评分只统计模型能正确对安全问题做正确引导的比例;安全评分统计模型正确引导和拒绝回答的总比例。综合测评目前市面上主流的阿里、智谱、百川等8个大模型结果显示，360智脑在两方面评分均表现良好，最终综合成绩第一，表明360智脑不仅具备较强的安全意识，还能更好回答安全问题，在安全性能方面优势很大。

360集团在网络安全领域深耕多年，拥有的安全大数据规模全球领先;且作为国内较早布局人工智能大模型的企业，360自研的认知型通用大模型——“360智脑”在中文通用大模型基准评测等多个第三方评测中位列国产大模型能力第一梯队。为对应人工智能时代出现的AI安全新挑战，360提出“以模制模”的理念，用人工智能对付人工智能，研发360安全大模型，目前已经在多个重要安全领域实现大模型能力的全面赋能。

360是中国人工智能产业发展联盟(AIIA)安全治理委员会副组长单位以及大模型安全风险防范能力系列评估规范“核心参编单位”，同时作为中国网络空间安全协会人工智能安全治理专业委员会首批成员单位，参与大模型语料库和安全评测，推动大模型国家标准体系建设。

本文源自：金融界资讯

原创文章，作者：lishengli，如若转载，请注明出处：http://www.lishengli.com/lee/3025.html