如何评价MaxxBench稍微调整任务，就让大量模型DeepSWE评分降低20分以上？

MaxxBench对DeepSWE的89个编程任务做了小幅修改，例如要求报告文件名全部小写、时间戳统一使用UTC。 但相比公开的DeepSWE成绩，部份模型在新评测中的成功率下降超过20个百分点。其中GLM-5.3下降12.2%，DeepSeek-V4.1-Flash下降18.6%，Gemini 3.8 Flash下降20.5%，GPT-6 Luna下降14.9%。 我们该如何区分模型的考试能力与真实完成任务能力？ https://maxxbench.unlap.ai/

热评：DeepSWE现在基本上没有什么区分度，排行榜前面的模型全都在75%左右。但最近有人搞了一套叫MaxxBench的Benchmark：MaxxBench它从DeepSWE中选了89个任务，然后做了一些非常简单的调整。例如要求保存的文件名全部用小写字母，保存的时间全部用UTC时间戳，完成任务后重跑一个测试文件并记录耗时等。所有调整后的任务都公开在了Github上：unlap-labs/maxxbench比如下图这个示例，左边是原版的DeepSWE、文件名大小写字母都能用，右边是MaxxBench、只允许使用小写字母。按理来说都是简单到不行的改动，每个任务的参考实现代码增量平均仅20行左右。但是就

原话题：https://www.zhihu.com/question/2102885124782158717 大家怎么看？