评估基准 on AI内参 https://www.neican.ai/tags/%E8%AF%84%E4%BC%B0%E5%9F%BA%E5%87%86/ Recent content in 评估基准 on AI内参 Hugo zh-cn Wed, 10 Jun 2026 19:40:05 +0800 Agent的“成年礼”：当基准测试不再通过“死记硬背”，AI离真实经济价值还有多远？ https://www.neican.ai/insights/agentai-20260610194005360-2/ Wed, 10 Jun 2026 19:40:05 +0800 https://www.neican.ai/insights/agentai-20260610194005360-2/ Agents’ Last Exam (ALE) 通过引入长流程的真实专业任务，揭示了当前AI Agent在执行复杂生产任务时的技术局限，不仅纠正了现有的性能评估偏差，更为AI从“应试模型”转向“实用生产力”指明了方向。 SWE-BENCH PRO揭示大模型编程幻象：GPT-5的“不交卷”策略与真实能力边界 https://www.neican.ai/insights/swe-bench-progpt-5-20250922201006399-1/ Mon, 22 Sep 2025 20:10:06 +0800 https://www.neican.ai/insights/swe-bench-progpt-5-20250922201006399-1/ 最新的SWE-BENCH PRO基准测试揭示了GPT-5等大模型在真实复杂软件工程任务中的显著局限，特别是GPT-5高达63.1%的任务未尝试解决，暴露出其在问题理解和主动规划方面的不足。这一结果修正了此前对AI编程能力的过度乐观预期，并为未来AI Agent和软件工程的结合指明了更具挑战性也更务实的研发方向。