SWE-BENCH PRO on AI内参 https://www.neican.ai/tags/swe-bench-pro/ Recent content in SWE-BENCH PRO on AI内参 Hugo zh-cn Mon, 22 Sep 2025 20:10:06 +0800 SWE-BENCH PRO揭示大模型编程幻象：GPT-5的“不交卷”策略与真实能力边界 https://www.neican.ai/insights/swe-bench-progpt-5-20250922201006399-1/ Mon, 22 Sep 2025 20:10:06 +0800 https://www.neican.ai/insights/swe-bench-progpt-5-20250922201006399-1/ 最新的SWE-BENCH PRO基准测试揭示了GPT-5等大模型在真实复杂软件工程任务中的显著局限，特别是GPT-5高达63.1%的任务未尝试解决，暴露出其在问题理解和主动规划方面的不足。这一结果修正了此前对AI编程能力的过度乐观预期，并为未来AI Agent和软件工程的结合指明了更具挑战性也更务实的研发方向。 “地狱级”编程考试敲响警钟：大模型编程能力的幻象与真实鸿沟 https://www.neican.ai/insights/article-20250922194008935-1/ Mon, 22 Sep 2025 19:40:08 +0800 https://www.neican.ai/insights/article-20250922194008935-1/ 最新发布的“地狱级”编程基准SWE-Bench Pro，对顶尖大模型的编程能力进行了前所未有的严格考验，结果显示GPT-5等模型在真实企业级复杂任务上的成功率仅为23%左右。这一“打脸”式结果深刻揭示了当前LLM在长程代码理解、上下文管理和自主问题解决方面的显著局限，迫使业界重新审视AI在软件工程中的实际应用潜力，并加速向更具鲁棒性和自主性的AI Agent技术发展。