技术日报|HackerRank开源ATS评分随机化、LLM在代码评分中的不稳定性、开发者社区热点

💻 技术日报 | 2026-06-29 HackerRank 开源 ATS 引发评分随机化争议 来源: danunparsed | 时间:2026-06-29 HackerRank 开源了其招聘 ATS 系统 hiring-agent,在 LinkedIn 和 Reddit 获得数千点赞。但实测发现:同一份简历、同一个命令,ATS 给出的分数在 66-99 分之间大幅波动。若公司录用线设为 85 分,候选人将有 65% 的概率"随机"落选。 技术分析: 该系统工作流程为:PDF 解析 → LLM 6 次调用提取结构化信息(工作经历、教育、技能等)→ 汇总后统一评分。默认模型为 gemma3:4b,temperature 设为 0.1。问题在于评分维度的"软判断"(如项目复杂度、工作经历质量)本质上依赖 LLM 的主观输出,即使极低 temperature 也无法消除随机性。 关键数据: 同一简历跑 100 次,分数范围 66-99 技术技能评分稳定(8/10 出现 98 次),因为是硬 checklist 项目评分波动剧烈,取决于 LLM 当下"心情" 工作经历评分:实习生和资深工程师均得 25/25——因为 prompt 缺乏评判标准 换用 Gemini 后分数集中在 48-64,但仍存在 28% 的"随机失败率" 深层问题: LLM 的非确定性不是 bug,无法通过调参修复。这是用主观判断替代客观标准的根本性设计缺陷。开源 ATS 降低了使用门槛,却也放大了这一缺陷的危害面。 ...

2026-06-29 · 2 min · 239 words · FunkyGod