大模型微调 - 产品经理数据质量评估指南

原文首发于人人都是产品经理，作者：李嘻嘻 原文链接：点击查看

大模型微调效果不佳？问题可能不在数据量，而在数据质量。本文以医药研发模型为例，通过三维度数据质量评估框架和五步实操流程，教你科学评估微调数据。

一、背景：调了不如没调

某医药企业大模型微调项目：

• 基础模型准确率：72%
• 微调后准确率：65%
• 问题：调了不如没调

数据准备看似充足：10万+条多模态语料，格式正确、标签完整。但深入分析发现：70%是基础常识，部分说明书来自20年前版本，影像报告类型单一……

核心问题：这些数据对模型学习有用吗？ 传统检查只看"数据有没有"，不看"数据好不好"。

二、新方法：三维度数据质量评估

维度1：复杂性（Complexity）

数据是否能让模型学到新知识？

• 句子长度15-30词，专业术语密度10-20%
• 低复杂度："感冒吃XX药" → 高复杂度："患者表现为风热感冒症候，根据企业特色理论，选用XX药清热解毒"

维度2：可用性（Usability）

数据是否准确、可用？

• 事实错误率 < 5%，过时信息占比 < 10%
• 标注准确率 > 95%，转录准确率 > 90%

维度3：多样性（Diversity）

数据是否覆盖多种场景？

• 疾病类型多样性：常见病/罕见病/特色病种
• 数据来源多样性：学术期刊/临床指南/企业专著
• 表达方式多样性：书面语/口语/方言

三、五步实操流程

第一步：数据准备与采样

分层采样：按数据类型、疾病类型、复杂度分层。

第二步：三维度计算

• 复杂度 = 0.4×术语密度 + 0.3×推理步骤 + 0.3×句子长度
• 可用性 = 0.5×准确性 + 0.3×时效性 + 0.2×逻辑连贯性
• 多样性 = 香农熵(疾病分布) × 数据源系数

第三步：小规模实践

将数据分高/中/低质量子集，各抽1000条单独微调，对比推理损失。

预期：高质量集Loss显著下降，低质量集Loss下降不明显或上升。

第四步：建立本地评估函数

用线性回归建立映射关系：预测Loss = f(复杂性, 可用性, 多样性)

第五步：迭代优化数据

• 复杂度低 → 补充病理机制、推理步骤
• 可用性低 → 人工审核修正、奖励模型过滤
• 多样性低 → 补充不同来源、罕见病例

四、效果评估（四维度）

1. 预测准确率：留20%验证集，Pearson > 0.7为合格
2. 业务效果提升：A/B测试，统计显著性p < 0.05
3. 成本效益分析：净收益 = 业务价值 - (数据清洗成本 + 微调成本)
4. 鲁棒性测试：跨模型/跨任务/跨领域，70%+场景保持有效

五、总结

大模型微调，质量比数量更重要。

1. 可量化：三维度指标+推理损失让数据质量可测量
2. 质量>数量：1000条高质量 > 10000条低质量
3. 结合实际场景：企业特色必须体现在数据中
4. 没有万能公式：评估函数需针对具体模型定制

延伸阅读：AI评测基础方法看三分法；企业级问数系统看ChatBI全指南。

---

关于作者

李嘻嘻，9年产品经理 + 3年AI实践者，专注于AI产品落地和工具开发。

• 个人站：https://yourhelper.me
• 项目：FormAI、TargetLink、XixiType等6个AI工具