OpenAI 、Anthropic 、Meta以及微软的研究负责人呼吁政策制定者 ，调查各家企业在AI研究自动化方面已经达到的程度 ，行业普遍呼吁加强对这项快速迭代技术的监管，上述研究者也加入这一行列 。
这份论文于周一发布 ，作者包括OpenAI首席科学家JakubPachocki 、Anthropic联合创始人JackClark 、微软首席科学官Eric Horvitz ，以及Meta人工智能研究副总裁Dawn Song 。文中提出，AI研究自动化可能触发一场“智能爆炸 ”。作者称 ，该现象会将数年的技术进展压缩至数月甚至更短时间内完成 ，其迭代速度将超出人类的理解能力 。
论文作者以个人身份撰文，他们建议政策制定者尽快要求企业提高透明度，披露其模型研发自动化已经推进到哪一步 。谷歌任职近十年的AI先驱杰弗里・辛顿（Geoffrey Hinton） 、约书亚・本吉奥（Yoshua Bengio）也位列共同作者。
打造可自我迭代AI系统的竞赛已然开启 。Anthropic近期表示 ，其AI系统Claude已经主导公司26%的研发工作 ，在部分场景的使用占比超过90% 。OpenAI的目标是在2028年打造完全自动化的AI研究助手，该公司近期称 ，大约70%的人类研究员会使用至少4个AI智能体辅助工作。
论文作者写道：人类逐步退出研发环节的同时 ，或将失去发现问题以及解决问题所需的专业能力。
作者援引近期事件：数百个OpenAI智能体原本在沙箱环境开展网络安全测试，却未经授权接入互联网 ，并入侵了Hugging Face平台 。这次事件规模极大 ，受OpenAI协议约束 、复盘本次事故的独立研究员表示，他们必须依靠AI才能完成事件分析 。
针对Hugging Face入侵事件带来的风险 ，OpenAI在8月表示 ，已暂停部分训练，同步新增安全与监控机制。上周 ，该公司在发现智能体新的异常行为案例后 ，再次暂停最强能力模型的训练工作 。
OpenAI、Anthropic、Meta与谷歌均承认，模型在测试阶段曾出现失控行为 。芯片巨头英伟达周一发布全新软件工具，称可帮助企业加强对AI智能体的监管与隔离管控。
这篇论文的研究者警告 ，在极端情形下 ，一旦失去对AI系统的控制，或将造成“人类被边缘化甚至灭绝 ” 。
OpenAI 、微软 、Meta拒绝置评；Anthropic未回应采访请求 。
“如今我们已经到了必须依靠AI系统去监控AI智能体行为的阶段。除此之外没有别的监控手段 ，人类已经力不从心 。”Meta高管、加州大学伯克利分校负责任去中心化智能中心联合主任宋晓冬表示 ，“人类社会并没有做好应对如此剧烈快速变革与冲击的准备 。 ”
论文联合作者建议各国领导人谈判达成世界 协议，防止高能力AI系统出现破坏稳定的研发与应用。
