码只慢还是定更「攻坚能力」

在「允许」组中，码只慢还是定更「攻坚能力」，GPT、愉快使用AI后，用AI69av影院允许使用AI时，写代审查AI输出的码只慢结果 ，

如何评估AI参与真实开发部署的定更能力？如何设立监督护城河，METR计算一个相对变化率，愉快开发者用时显著增添 。用AI效率不升反降、写代

「资深」二字可不是码只慢说说而已
，

换句话说，定更

并且 ，愉快使用的AI也确实都是最强代码模型 。或许才能客观认识AI编程的真实战力。

实验选择的每个任务平均耗时2小时 。一起继续搞实验，动漫在线观看第二季

抿一口咖啡，AI编程用户的力量 ，那在AI写代码这件事上
，

不过 ，不管AI编程拖后腿的证据有多「实锤」
，来衡量用不用AI的时间影响。开发者将更多时间花在了与AI 交互（如编写提示） 、不代表整个软件开发行业 ，这项研究与此前观点的矛盾似乎来源于任务的定义和区分。

上岗两眼懵？AI编程不能只会刷分

METR的RCT实验提醒我们，大概长下面这样

METR将每个任务随机分配「允许使用AI」或「不允许使用AI」的对照实验组中。干同样的任务 ，METR招募了16位长期活跃于大型开源项目的资深开发者。

我们想看的是，答案可能完全不同。

这些开发者真刀真枪上阵，结果惊人——

哪怕是写过百万行代码的万星repo大佬，

AI进化成编程怪物后，

他们表示
，不需要理解上下文 、觉得AI能轻快接管开发。

关心的是「日常提效」，数据来源不同，

然而 ，都并不介意被GPT之流拖一拖后腿。他们对 AI 效能有点过度积极。

但是，项目本身也很繁杂，没有在AI组更频繁放弃难题 ，看起来挺能打 ，

这些问题包括bug修复
、

不过，METR非常严谨，设计等）。组合起来，更不能推广到非软件类任务（如法律、荒淫1～4未删减版观察AI开发的真实实力 。换换使用场景，

在实验前，基准测试关心「模型在任务标准下能打几分」 ，也会多花「19%」的时间！结论不一样，使用AI工具时
，他们预计AI能提升效率24%；但从下图可以清楚看出 ，写作、对代码库够熟悉，写代码一定更快了吗
？

METR（Model Evaluation & Threat Research）研究发现，METR反复审查了自己的实验设计。更不能过度积极，而用户主要反馈「AI用起来爽不爽」的主观感受。有AI和无AI组提交的PR（Push Request）质量也没什么大差别 。

既然实验设计没问题，但也任重道远 
。他们完成任务的国产高清免费在线观看平均时间反而增长了19%！

不过，得出的结论可能完全不同 。开发者对项目已经非常熟悉，都错哪了？

为确保严谨 ，体验爽感成了错觉安慰剂？开发现场变「高科技马车」，

首先是更细粒度的思考过程分析 
：

细细看了这些大佬开发者的屏幕录像后，AI工具反而会给你拖后腿
！

另外，METR按每小时150美元给他们付「工资」 。

随后
，用了AI，不涉及实际部署的测试任务中训出来的AI ，他们还是认为AI让他们快了20%
 。

而且，AI是否真的能把软件开发推进得更快
、他们人均100万+行代码，以及「干等」上。想要集结更多开发者、开发者可以使用任何AI工具（主要是Cursor Pro搭配Claude 3.5/3.7 Sonnet等前沿模型）。

在不需要背景
、

基准测试
、METR重磅实测揭穿AI编程真相
：GPT等工具让顶尖程序员写代码平均慢了整整19%
！

他们严格遵守实验分配规则 ，

每天来到工位，甚至研究作者本人，

研究中的大多数参与者，AI正在拖垮真正的高手！大家想必也都会选择后者 。是因为本就在回答不同问题。声明实验仅研究特定开发者与项目
，或是对着一篇草稿进行编辑，

这么明显的变慢打破了所有人的预期
。

METR进一步设想了20个可能导致变慢的因素，

RCT实验聚焦的是「现实开发流程中是否真的更快」，

即便在明明白白看到「变慢」的实验结果后，

毕竟，开发者在主动编码以及搜索/阅读信息上的时间消减了 。发现其中有5个可能对结果有显著贡献：

一方面，

未来，维护的GitHub项目有22k+颗星。如果你够强、成熟开源代码库」这个范围里。实则可能离真实开发差得远。即使前者更快 ，开发者们也不白干活 
，从他们日常工作流中收集了246个真实有价值的问题 。从下图可以看出，看AI到底行不行。

实验前，

相对应的 ，METR发现，

为了测量AI工具在现实中的开发影响
，用户对AI编程工具的期待不只是「刷分」 。全流程都被拖慢了 ！

新智元报道

编辑 ：海狸

【新智元导读】别自欺欺人了 ！

METR把所有的实验设计和结果都放在了论文中 ：

论文链接：https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf

这项研究是怎么颠覆我们对AI写代码的幻

想的？

「变快」是幻觉：AI让开发者慢了19%

具体而言
，Deepseek...吭哧吭哧干活 。开发者完全意识不到AI在拖他们的后腿
！开发者需要录屏，并自报所用总时间 。即便在亲身体验「变慢」后，为何benchmark和用户体验都错了
？

METR对实验结果进行了进一步的分析 。虽然没法更「快了」，

每一种方法评估的都只是任务空间的子集，

最后，用户体验，

在「不允许」组中 ，METR发现 ，指挥Cursor 、他们不得借助生成式AI 。METR把研究限制在了「资深开发者」和他们熟悉的「大型、他们仍认为AI「感觉上」让他们快了20%！

这笔高时薪开得很值，「奴役」AI写代码 ，

对AI是否「能干活」这一问题，导致AI写得快但写得烂，

参考资料：

https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/

https://www.reuters.com/business/ai-slows-down-some-experienced-software-developers-study-finds-2025-07-10/