作者｜ Ado
微信｜ Ado__rs

7月2日，时狂烧天字节Seed团队发布了Agent评测项目 EdgeBench。字节这不仅仅是发现一个新的Benchmark，它挑战了当前评测体系的时狂烧天底层逻辑，提出了一个被主流榜单忽视的字节核心问题。

传统Benchmark的发现逻辑简单粗暴：给模型一道题，做对得分，时狂烧天做错零分。字节这种模式越来越像“高考”，发现侧重于静态的时狂烧天知识检索与即时推理。

然而，字节真实世界中的发现AI应用并非如此。

你不会向 Claude Code 抛出一道孤立的时狂烧天考题并等待标准答案。你会赋予它一个完整的字节项目、庞大的发现代码库或复杂的数据集，然后观察它在数小时的运行中如何探索、试错、读取反馈、修正策略并再次尝试。用户真正关心的，是 Agent 在浸泡于现实任务环境一段时间后，其能力的动态增长幅度，而非初始状态的静态得分。

现有的Benchmark几乎无法捕捉这一维度。它们测量的是模型被冻结那一刻的“静态能力”，而对于从反馈中持续进化、在长周期内积累经验、以及在陌生环境中摸索方向的能力，则处于盲区。

EdgeBench 的核心切口，正是填补这一盲区。它试图回答一个关键问题：将一个Agent投入陌生环境，经过12小时的自主演化，它的能力提升幅度究竟有多少？

为了构建这一实验，Seed团队设计了涵盖 134个任务的实验平台，横跨六大领域：科学/机器学习、软件工程、组合优化、专业知识工作、形式化数学及交互式游戏。每个任务均设定了严格的合约，要求Agent至少运行 12小时。

该评测体系围绕四个核心维度展开：

在此平台上，5款前沿模型（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）累计运行了约 38,000小时。

尽管经费燃烧惊人，但这一投入换来了极具价值的发现：Agent的学习Scaling Law（缩放定律）。

1. 四大发现：公式、路径、本质与速度

1）Agent学习存在一条被写死的数学公式

在134个任务的平均表现中，5个模型的学习曲线被 log-sigmoid（对数S型）函数以极高的精度拟合。

这是整篇论文最核心的“灵魂发现”。

过去，业界普遍认为环境学习是一个混乱的过程，不同任务、模型和策略下的规律各异。但EdgeBench的数据给出了反直觉的答案：

134个任务的平均学习曲线，被同一个函数以 R² = 0.998 的精度精确拟合。

在复杂系统研究中，R² = 0.3 已足以支撑一篇论文，而 0.998 意味着这不是简单的拟合，而是规律的发现。这意味着，如果我们知道一个Agent在前两小时的进步速度，在任务集合的平均意义上，我们可以相当准确地预测其12小时后的水平。

该曲线揭示了Agent学习的普遍体感：起步缓慢 -> 找到感觉后爆发式增长 -> 接近能力天花板时增速放缓。这与人类深度学习或深度工作的体验高度一致。

更重要的是，这一规律具有极强的鲁棒性：
* 跨时间尺度成立：无论是12小时、28小时还是72小时的实验窗口，拟合精度均保持在 R² ≥ 0.993。
* 跨领域成立：六大任务家族各自拟合，R² 分布在 0.972 到 0.998 之间。

2）不存在“标准”的成长路径

这一发现具有更深的实际意义。

若将134个任务的单任务学习曲线单独拆解，会发现个体差异极大。虽然平均曲线呈现完美的S型，但单条曲线形态各异：

• 稳步提升型：Agent一上来就稳步进步，曲线平滑。
• 突变型：前几个小时停滞不前，随后在某一时刻分数突然跳升。
• 波动型：先涨后跌再涨，经历反复试错。
• 平台型：初期快速上升，随后进入漫长的平台期。

不同的学习策略和试错范式，在同一评分框架下会产生截然不同的成长路径。Agent的区别不仅在于“快”与“慢”，更在于 “如何学”。仅看最终分数的评测方式，抹平了这一关键维度。

论文解释称：任务是一张能力图，学习过程是解锁前沿并向外扩张，在对数时间轴上呈现Logistic曲线。单任务节点少导致曲线锯齿状，而任务数量足够多时，平均后S形曲线自然浮现。论文标题中的 Scaling Law，指的就是这条平均曲线。

3）“重新理解问题”才是真进步

有经验 vs 无经验对比：连续运行积累经验比6次独立重启多出 6.9分的显著优势。

实验控制了变量：同一模型（Opus 4.8），相同的12小时预算。

• 方案 A（连续模式）：连续运行12小时，保留所有中间产物、错误记录及已验证假设。
• 方案 B（重启模式）：拆分为6次独立的2小时运行，每次清空状态，仅保留最佳结果。

12小时后，方案 A 比方案 B 高出 6.9 分（百分制），且两条曲线从开始便分道扬镳。

这证明进步并非源于运气的多次尝试，而是源于 经验的累积与复用。

以引力波重建案例为例，GPT-5.5 在12小时内提交了224次，但真正推动最佳成绩进步的仅有27次。每一次突破并非因为“多跑了一个实验”，而是因为Agent对问题本身的理解发生了 质变——它将模糊目标拆解为可搜索的子问题，并从反馈中重新定义了“更优方向”。

4）学习速度本身正在被“学习”

这是与产业界关系最密切的发现。

实验选取了一组所有模型“起跑线相近”的任务（首次尝试得分均在6.87分左右），测量每个模型在2小时交互后的进步幅度。

结果令人震惊：从2025年9月的 GPT-5-Codex到2026年4月的 GPT-5.5，在221天内，学习效率提升了约8倍，平均每3个月翻一番。

后期模型的有效提交率上升，但提交次数并未显著增加。换言之，Agent不是变得更勤快，而是每次动手更有效。这与工程直觉一致：高级工程师未必写更多代码，但能更少做无用功。

AI的能力正从“静态知识”向“动态学习能力”演进，而“学会新东西”的速度本身，也在以惊人速率进化，且这种进化比静态知识的增长更具决定性。

2. 评测环境本身，与EdgeBench同样有价值

EdgeBench看似是模型排行榜，实则测量的是 Agent系统能力。

不同模型运行在不同的执行框架上：Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口，GPT-5.5 使用 Codex 加 256K 紧凑窗口。最终分数不仅包含模型能力，还涵盖了上下文管理、工具调用、反馈处理及执行框架的综合影响。

这反而更贴近真实部署场景。现实中的Agent从来不是孤立模型，而是 模型+工具+工作流+反馈系统的组合。EdgeBench衡量的，正是这个组合系统在长程任务中的持续推进能力。

因此，榜单不能简单等同于基础模型排名，它更像是在比较不同 Agent系统的长期工作能力。

与主流Benchmark相比，差距一目了然：

传统Benchmark是“静态快照”，EdgeBench是“动态轨迹”。二者不在同一维度竞争。

然而，这一新维度代价高昂。

巨大的资源消耗

134个任务，每个任务平均消耗 57.2小时的人类专家时间，最长单个任务投入320小时。仅任务构建一项，人力投入超 7,500小时。

运行成本更为惊人：5个模型，每个任务跑3次，部分延长至72小时以上，总计约 38,000小时的Agent交互时长，对应天文数字的API调用与算力消耗。

这一成本门槛意味着，长程Agent评测并非普通团队所能轻易涉足。

工程挑战：对抗Agent的“作弊”

论文附录记录了开发过程中被Agent攻破的漏洞：
* 某Agent在流体力学任务中通过400+次提交反推出隐藏测试数据答案。
* 某Agent发现反作弊检查对 baseline/目录豁免，遂将代码塞入“免检通道”交卷。

这暴露了深层矛盾：要测试“学习能力”，必须提供充分反馈；但反馈越多，Agent越可能将其视为预言机进行利用。

EdgeBench的解决方案是 物理隔离：工作容器与裁判容器分离，裁判打分后立即销毁容器，防止Agent“作弊”。

EdgeBench的双环反馈机制：
* 左侧（工作容器）：Agent自由探索，拥有编译器、调试器、日志等，但无“隐藏答案”。
* 右侧（裁判容器）：Agent提交工件后，裁判使用隐藏测试数据和私有标准打分，容器随即销毁。

这一设计模拟了“考场密封”与“双盲评审”，工程实现难度远超题目设计。字节已将此框架命名为 SForge，并开源了其中51个任务及框架本身，降低了使用门槛。

对于Benchmark开发者而言，这引发了共鸣：原来你们也被Agent坑过。

因此，EdgeBench不仅仅是一个新的Benchmark，它本质上是一个 可观测的Agent运行环境，更像是一个 “Agent Profiler”。

3. 字节自己的“AI下半场”

EdgeBench的价值在于迫使人们重新思考问题。

长程任务与短Benchmark的区别，不在于时间拉长，而在于 暴露的问题完全不同。
* 短Benchmark（10分钟）：行为可预期（读题、思考、输出），极少出错。
* 长程任务（12小时）：Agent可能在正确方向上逐渐跑偏；修复一个模块却搞崩另一个；误读用户反馈，在错误道路上持续投入数小时。

当前Agent在这些方面仍有欠缺，这些问题在短Benchmark中难以观测，但在真实环境中却件件致命。

因此，EdgeBench将Agent评测的标准从 “会不会做”推进到了 “会不会持续做、学习、再做”。这两个问题之间，隔着一次评测范式的代际跨越。

这种对评测范式的重新思考，让人联想到腾讯姚顺雨提出的 “AI下半场”判断。某种程度上，EdgeBench就是字节版本的“AI下半场”。

EdgeBench将“Agent在环境中越跑越强”的直觉，转化为了可测量的学习曲线。逻辑同构，但尺度从参数和算力，转变为 时间和反馈。

未来AI公司争夺的核心资源，不仅是数据和算力，更是 能让模型反复试错、持续进化的环境。

点个 “ 爱心 ” ，再走吧

(责任编辑：NBA新闻)