Databricks tested AI coding agents on real merged PRs from its millions-of-lines codebase and found three performance tiers, with OpenAI, Anthropic, and some open models leading. GLM 5.2 reached top tier at $1.28 per task vs Opus 4.8 $1.94. Tests excluded bots and AI-generated code, used multiple languages, and showed token price alone doesn't equal real cost; runtime and agent framework affect per-task cost and can double it while quality stays similar.
币界网消息，Databricks发布内部AI编程Agent评测，使用自家数百万行代码库的真实PR进行测试。该评测未使用swe-bench，认为公开题集可能经过训练数据，且不够贴近真实工程。测试任务来自近期合并的PR，覆盖Python、Go、TypeScript、Scala等语言，过滤了机器人提交和AI生成代码，只保留能验证结果的任务。结果显示，编程Agent分为三档，最高档包括OpenAI、Anthropic及开源模型。GLM 5.2进入第一梯队，单任务成本为1.28美元，低于Opus 4.8的1.94美元。评测发现，token单价不能直接代表真实成本，Sonnet 5每token更便宜，但在此任务中耗时更久，单任务成本反而更高。工具壳也很关键，同一模型换不同Agent框架，任务成本可差2倍以上，但完成质量变化不大。