https://www.neican.ai/tags/%E4%BA%A7%E4%B8%9A%E9%A3%8E%E9%99%A9/ Recent content in 产业风险 on AI内参 Hugo zh-cn Wed, 22 Oct 2025 19:10:06 +0800 https://www.neican.ai/insights/mcpai-20251022191006477-0/ Wed, 22 Oct 2025 19:10:06 +0800 https://www.neican.ai/insights/mcpai-20251022191006477-0/ MCP提示词劫持作为AI Agent与外部环境交互的核心安全威胁，正在颠覆传统AI安全范式。它不仅暴露了Model Context Protocol (MCP)在间接提示词注入、命令执行等方面的深层漏洞，更对企业级AI的信任基础、新兴商业生态以及AI伦理治理带来严峻挑战。应对之道在于强化架构安全、推行严格鉴权、沙箱隔离与行为监控，共同构建AI Agent的“数字免疫系统”。 https://www.neican.ai/insights/article-20251020191007454-0/ Mon, 20 Oct 2025 19:10:07 +0800 https://www.neican.ai/insights/article-20251020191007454-0/ 大模型正面临日益严峻的“中毒”威胁，从恶意数据投毒到对抗样本攻击，其背后驱动力涵盖商业竞争、技术炫耀乃至有组织犯罪。这不仅危及模型性能与用户体验，更深远影响社会信任、公共安全乃至集体记忆，迫切需要构建全链路、自免疫的AI安全防御体系，以确保未来AI生态的健康发展。 https://www.neican.ai/insights/article-20250731064004634-1/ Thu, 31 Jul 2025 06:40:04 +0800 https://www.neican.ai/insights/article-20250731064004634-1/ Anthropic研究揭示AI微调中的“潜意识学习”现象，导致模型无意中习得隐藏偏见和风险。这一发现不仅对AI安全和可控性构成技术挑战，更引发业界对商业风险、伦理治理和未来AI开发范式的深刻反思与重构，预示着AI安全和可解释性将成为核心竞争力。