要解决的是“提示词只改了一个词,旧场景却悄悄退化”。从真实失败记录中选 30 个样例,每个样例保留输入、预期结构和人工说明。
接入方式
CI 先跑结构校验,再计算和上一次的差异。对事实判断无法自动确认的样例,只生成待复核清单,不自动判通过。
复盘
每周移除已过时的样例并说明原因,避免测试集被单一历史问题绑住。
每次改提示词都能看到固定样例的回归变化。
要解决的是“提示词只改了一个词,旧场景却悄悄退化”。从真实失败记录中选 30 个样例,每个样例保留输入、预期结构和人工说明。
CI 先跑结构校验,再计算和上一次的差异。对事实判断无法自动确认的样例,只生成待复核清单,不自动判通过。
每周移除已过时的样例并说明原因,避免测试集被单一历史问题绑住。
社区讨论 0 条观点