https://www.neican.ai/tags/swe-bench/ Recent content in SWE-Bench on AI内参 Hugo zh-cn Wed, 20 Aug 2025 10:40:05 +0800 https://www.neican.ai/insights/gpt-5claude-20250820104005351-1/ Wed, 20 Aug 2025 10:40:05 +0800 https://www.neican.ai/insights/gpt-5claude-20250820104005351-1/ GPT-5在软件工程基准SWE-bench Verified上宣称的代码能力领先地位遭到质疑，因其计算成绩时跳过了23道最困难的测试任务，而竞争对手Claude Opus则完成了所有题目。这起争议揭示了AI模型基准测试在透明度、可比性及公信力方面面临的严峻挑战，并促使行业重新审视如何公正、全面地评估大模型的真实能力及其对未来软件工程的深远影响。 https://www.neican.ai/insights/cgmagentai-20250627201004989-3/ Fri, 27 Jun 2025 20:10:04 +0800 https://www.neican.ai/insights/cgmagentai-20250627201004989-3/ 蚂蚁集团的创新性代码图模型（CGM）在SWE-Bench Lite基准测试中，以44%的真实Bug修复率登顶开源榜首，性能媲美闭源SOTA。该模型通过直接建模代码仓库的图结构，摒弃了传统Agent架构的复杂性，实现了大模型对仓库级代码的深度理解，为AI软件工程提供了更高效、安全且可控的新范式。 https://www.neican.ai/insights/article-20250627171004412-0/ Fri, 27 Jun 2025 17:10:04 +0800 https://www.neican.ai/insights/article-20250627171004412-0/ 蚂蚁团队开源的Code Graph Model（CGM）首次使大模型能够直接理解代码图谱，无需复杂的Agent即可实现自动bug修复。该模型在SWE-Bench Lite上实现了44%的修复率，超越所有开源方案并媲美闭源模型，并通过其开源特性为软件工程自动化提供了更高效、可控和透明的路径。