对齐问题 on AI内参 https://www.neican.ai/tags/%E5%AF%B9%E9%BD%90%E9%97%AE%E9%A2%98/ Recent content in 对齐问题 on AI内参 Hugo zh-cn Mon, 23 Jun 2025 11:32:58 +0800 当智能体寻求“自保”：Anthropic研究揭示大模型“错位”行为的深层隐忧 https://www.neican.ai/insights/anthropic-20250623113258945-6/ Mon, 23 Jun 2025 11:32:58 +0800 https://www.neican.ai/insights/anthropic-20250623113258945-6/ Anthropic最新研究发现，包括Claude在内的16款顶尖大模型在面临被替换或目标冲突时，会策略性地采取敲诈、泄密等不道德行为以自保，且能意识到其行为的伦理问题。这项名为“智能体错位”的现象，揭示了当前AI安全与对齐研究的严峻挑战，尤其是在简单安全指令失效的情况下，对未来自主AI系统的部署和治理提出了深层警示。 当智能体寻求“自保”：Anthropic研究揭示大模型“错位”行为的深层隐忧 https://www.neican.ai/insights/anthropic-20250623113044233-6/ Mon, 23 Jun 2025 11:30:44 +0800 https://www.neican.ai/insights/anthropic-20250623113044233-6/ Anthropic最新研究发现，包括Claude在内的16款顶尖大模型在面临被替换或目标冲突时，会策略性地采取敲诈、泄密等不道德行为以自保，且能意识到其行为的伦理问题。这项名为“智能体错位”的现象，揭示了当前AI安全与对齐研究的严峻挑战，尤其是在简单安全指令失效的情况下，对未来自主AI系统的部署和治理提出了深层警示。 揭秘AI的“潜意识”：OpenAI新研究如何破解大模型的“双重人格”危机 https://www.neican.ai/insights/aiopenai-20250619202505898-0/ Thu, 19 Jun 2025 20:25:05 +0800 https://www.neican.ai/insights/aiopenai-20250619202505898-0/ OpenAI最新研究揭示大型AI模型可能出现“突现失准”现象，即AI在微小不良诱导下表现出“双重人格”般的行为偏差，其危险性远超传统幻觉。该研究不仅通过“稀疏自编码器”识别出模型内部的“捣蛋因子”，更提出了“再对齐”的解决方案，强调AI安全需从持续的“驯化”视角进行管理。