Frontier Design Benchmark 评测方法详解
最后更新:
Frontier Design Benchmark 不使用简单提示词,而是采用 33 个真实商业需求——其中 27 个改编自 Contra 真实客户外包项目、6 个来自初创合作方——由 35 位中位经验 8 年以上的专业设计师进行双盲评审。
用真实商业需求替代玩具提示词
早期 UI 评测往往只给一句简单指令(例如“做一个咖啡店落地页”)。Frontier Design Benchmark 则整理了 33 个完整商业 brief,其中 27 个改编自 Contra 平台的真实外包项目,6 个来自初创合作方。
评测任务覆盖营销网站、落地页、Web 应用与移动端界面,包含真实的品牌素材、内容约束与多区块页面结构。
三层评测机制
为了让主观审美偏好与可解释的诊断指标相互印证,Contra Labs 与 BenchFlow 将专家盲投和两套结构化评估结合使用。
| 评测机制 | 规模与指标 | 考察重点 |
|---|---|---|
| 专家双盲 Elo 投票 | 35 位资深设计师(中位 8+ 年经验),4,311 票 | 隐藏人类与模型身份后的成对主观偏好胜率 |
| 35 维设计评审量表 | 35 项细则,与专家偏好相关性 r = 0.94 | 页面结构、视觉工艺、内容清晰度与可用性(Gestalt 83、Claude Fable 5.2 84、人类 74) |
| Slop Detector(AI 味检测) | 0–100 AI 特征分 | 识别重复卡片网格、刻板排版与异常间距等常见 AI 套路 |
榜单快照的阅读口径
在线榜单的 Elo 分数会随新增盲投票数动态微调,例如 Gestalt 在 11 月 18 日研究报告中为 1,928 Elo,在 11 月 21 日在线榜单核验时为 1,931 Elo。
双盲 A/B 评测聚焦给定需求下的单次交付质量,不直接涵盖真实项目中跨周沟通迭代、无障碍测试与设计系统交接等环节。
常见问题
共有多少位设计师参与了 Frontier Design Benchmark 评审?
公开报告记录共有 35 位中位经验 8 年以上的专业设计师参与双盲评审,累计投出 4,311 票。
什么是 Slop Detector(AI 味检测器)?
它是评测内置的检测工具,通过分析通用卡片网格、刻板字体和失衡间距等典型视觉特征,给出 0–100 的 AI 特征分。
为什么 11 月 18 日报告写 1,928 Elo,而在线榜单是 1,931 Elo?
11 月 18 日研究报告锁定了发布时的静态快照,在线榜单则会随着后续盲投票数增加而动态更新。
Gestalt AI
模型概览