LLM Quality Evaluation（LLM质量评测）v1.0.0

企业搭建了一套基于检索增强生成（RAG）的客服/内部知识库问答系统，需要在正式上线前对忠实度、上下文召回、答案相关性等指标进行系统评测，识别幻觉风险。使用本技能可快速获取 RAGAS 四指标定义、评测集构建清单和评分报告模板，形成上线门禁标准。

AI 产品团队频繁优化 Prompt 提示词或切换底层模型版本，担心新版本在某些场景下质量下降。本技能提供 Prompt 回归测试用例管理、漂移检测与回归门禁方法，帮助团队建立自动化回归流程，确保每次变更都经过质量卡点。

企业在 GPT、Claude、国产大模型之间做选型，需要量化对比不同模型在特定业务场景下的质量表现与调用成本。本技能提供评测矩阵、成本-质量权衡框架和多模型 A-B 测试方法，辅助技术团队产出可解释的上线决策报告。

在金融投顾、医疗问答等强监管领域，AI 输出的事实性错误可能引发合规风险。本技能提供幻觉分类（事实性/提示/上下文矛盾）与量化方法（幻觉率计算），结合人工抽样双轨机制，帮助风控团队建立可审计的幻觉度量体系。

质量负责人希望在 CI/CD 流程中嵌入 LLM 质量门禁，每次模型或 Prompt 更新自动运行评测集并生成报告。本技能提供评测流水线设计、评分聚合、报告模板及零依赖本地工具，快速产出结构化评测结果并对接现有 DevOps 体系。

面向企业 AI 团队提供 LLM 评测体系建设的内训课程或咨询项目，帮助客户从零搭建可度量的质量评测流程。结合本技能的方法论、评测集模板和报告框架，可快速交付定制化落地方案。

将零依赖本地工具封装为云端 SaaS 平台，提供评测集管理、自动化跑分、RAG 指标看板和回归门禁告警功能。面向中小 AI 团队按月/年订阅，降低评测体系搭建门槛。

基于本技能的方法论体系开设线上课程或认证考试，培养「LLM 质量评测工程师」等新兴岗位人才。通过视频课程、实战训练营和认证证书实现知识变现。