每次修改提示词后,评测台都会使用固定样例集生成一份对比报告。报告分开展示机器能判断的结果和仍需人工确认的部分。
指标口径
编译通过率只统计可执行样例;格式符合率按明确字段校验;返工时间由复核者记录。低样本结果只用于回归,不用于宣称模型整体能力。
待改进
目前并发任务超过四个时排队时间明显上升,正在拆分执行与报告生成。封面是测试样例界面。
同一批 30 个样例重复执行,记录编译、格式和人工返工时间。
每次修改提示词后,评测台都会使用固定样例集生成一份对比报告。报告分开展示机器能判断的结果和仍需人工确认的部分。
编译通过率只统计可执行样例;格式符合率按明确字段校验;返工时间由复核者记录。低样本结果只用于回归,不用于宣称模型整体能力。
目前并发任务超过四个时排队时间明显上升,正在拆分执行与报告生成。封面是测试样例界面。
社区讨论 0 条观点