标准号：T/SCBDIF 001-2024
标准名称：AI大模型应用能力成熟度评价标准
团体名称：四川省大数据产业联合会
发布日期：2024年09月30日
实施日期：2024年12月01日
以下是主要内容：
1、标准背景与目的：
强调AI大模型在当代人工智能技术革新中的前沿地位，及其对各行业数字化转型和智能化升级的推动作用。
指出不同种类大模型缺乏统一能力评价体系的问题，强调编制此标准对促进人工智能产业健康发展的积极意义。
2、标准适用范围：
适用于评估AI大模型在各类应用场景中的性能表现、稳定性、可靠性及用户满意度等。
3、术语与定义：
定义了“大模型”、“模型开发”、“模型能力”、“应用能力”等关键术语，为后续评价提供基础。
4、评价原则：
确立了评价AI大模型应用能力成熟度的基本原则，如客观性、公正性、透明性和可操作性。
5、评价维度：
包括任务支持度、场景丰富度、行业覆盖度和服务成熟度，全面覆盖AI大模型的应用能力。
6、总体评价方法：
采用定量和定性两种评估方法，确保评价的准确性和全面性。
7、各维度评价方法和流程：
针对不同评价维度，详细阐述了评价方法和流程，包括评估准备、评估过程、性能差异分析、原因分析、错误分析以及优化建议等。
8、服务成熟度评价：
强调服务成熟度是衡量模型在实际部署与运维过程中效能与稳定性的关键指标，包括平台化服务能力、模型部署与集成、推理速度、资源消耗等方面的评价。
起草单位：四川省大数据产业联合会（四川省大数据产业联合会先进算力研究中心）、中国电信股份有限公司四川分公司、北京百度网讯科技有限公司、成都百智云行科技有限公司、成都智算中心、华为技术有限公司（四川代表处）、云南南天电子信息产业股份有限公司、成都数之联科技股份有限公司、金蝶软件(中国)有限公司四川省公司、用友网络科技股份有限公司四川区、成都明途科技有限公司、成都同步新创科技股份有限公司 、钉钉(中国)信息技术有限公司、四川生学教育科技有限公司、北森云计算有限公司
起草人：朱小军、王艳、徐思宇、蓝青、沈跃锦、姜啸、廖显、左川民、傅彦、郑敏芝、严帅、孟胜、张何君、雍瑞雯、叶珩、邵郑涵、陈长志