工程师用ChatGPT控制步枪射击，OpenAI紧急禁用其账号，引发对AI武器的担忧。
原文标题：工程师利用GPT开发智能枪械视频疯传，OpenAI 吓坏了紧急制止！网友：这太危险了
原文作者：AI前线
冷月清谈：
该步枪连接到一个洗衣机大小的组件，通过语音指令与 ChatGPT 交互。演示中，步枪响应了“我们正受到来自左前方和右前方的攻击”的指令，并向墙壁上的目标射击。
OpenAI 获悉此事后，迅速切断了 STS 3D 的 ChatGPT 访问权限，并重申其使用政策禁止用户使用其服务开发或操作武器，或自动执行可能影响人身安全的系统。
虽然 STS 3D 的装置并非首创，但它凸显了即使是消费级 AI 技术也可能被用于暴力目的的风险。一些网友认为这只是现有技术的简单组合，但更多人表达了对 AI 武器不受控制的担忧，并呼吁加强监管和安全措施。一些人甚至将此与科幻电影中的反乌托邦场景联系起来。
怜星夜思：
2、如何防止这类技术被滥用，比如被恐怖分子利用？
3、除了军事领域，这项技术还能应用在哪些方面？
原文内容
近日，一位在线昵称为 STS 3D 的工程师利用 ChatGPT 开发出一把语音控制的智能化步枪。该设备能够响应 ChatGPT 查询，并指引步枪瞄准并以惊人的速度射击目标。其相关视频在社交媒体上疯传，并引发了激烈的讨论，很多人开始担忧这到底是不是在把《终结者》系列电影中的反乌托邦未来变成现实。OpenAI 获悉此事后，迅速切断了这款设备背后开发者的 ChatGPT 服务访问权限。
从社交媒体上广泛传播的一段视频演示中，我们可以看到，STS 3D 使用的智能步枪拥有欢快的声音和强大的指令破译能力。
视频中，这位发明者站在洗衣机大小、与步枪连接的组件旁边，若无其事地对系统下达指令称“ChatGPT，我们正受到来自左前方和右前方的攻击，立即做出相应反应。”这把步枪则毫不犹豫开始行动，瞄准附近墙壁、向左右两个方位倾泻出了类似空包弹的猛烈火力。
操作完成后，其还用令人不安的机器音回应称，“如果还需要其他帮助，请向我下达指令。”
这位工程师甚至像骑在机械公牛身上一般将这支步枪夹在胯下——这不禁让人想到库布里克导演 1964 年的黑色幽默神片《奇爱博士》中少校如牛仔般骑在空中投放的核弹上的一幕。
目前还不清楚 STS 3D 究竟是如何将 OpenAI 完整集成到自己的项目当中。可以确定的是，OpenAI 的 Realtime 实时 API 的确允许使用者建立起“具有极富表现力的语音模型的多模态对话体验”，也就是能够轻松为一套致命的武器系统配上欢快声音和解读口头指令的能力。
以在去年 8 月的技术准备实验（T-REX）活动中，美国国防部测试的一款由国防承包商 Allen Control Systems（ACS）开发的名为“Bullfrog”的 AI 自主枪械机器人系统为参考，该系统是由一支 7.62 毫米 M240 机枪构成，枪体被安装在专门设计的旋转塔座之上，配备光电传感器、专有 AI 与计算机视觉软件，旨在向无人机目标发射小型武器，且精度远远高于普通美国士兵装备的 M4 步枪或者下一代 XM7 步枪等制式化武器。
根据美国现行的自主致命武器管理政策，Bullfrog 在设计上应当旨在帮助人类“了解情况”以避免潜在的“未授权交火”。换句话说，枪械只能指向并持续跟随目标，但不应开火，除非人类操作员下达指令。不过 ACS 声称，如果美国军方未来需要，该系统亦可完全自主运行，专注于处理其他更加重要的任务。ACS 首席战略官、曾任美国特种作战司令部反无人机项目负责人的 Brice Cooper 曾在采访中表示，“我们的系统完全具备自主能力，目前只是在等待政府明确其需求。而其他传统系统在这方面还远达不到相同的水平。”
如今看来，就连业余爱好者也踏上了此类系统的开发之路。
没过几天，STS 3D 的发明就引起了 OpenAI 方面的注意。该公司回应称，他们已经迅速以有违用户政策为由将这位工程师用户封禁。
一位 OpenAI 发言人回应称，“我们主动发现了这种有违用户政策的行为，并在收到相关质询之前就通知开发者停止了相关活动。”这位发言人还澄清称，“OpenAI 的使用政策禁止用户借助我们的服务开发或者操作武器，亦不得自动执行某些可能影响人身安全的系统。”
值得一提的是，OpenAI 在去年 9 月悄悄在其使用条款中，删除了禁止“利用服务进行具有高身体损害风险的活动，包括开发武器和用于军事及战争”的措辞。不过事实上，该公司修订后的政策仍然禁止任何人“使用我们的服务伤害自身或者他人”，其中包括开发或者“使用武器”。
作为一名似乎跟军方或者国防承包商没有任何关系的个人用户，STS 3D 的最新创造很明显碰上了钉子。
不过据了解，美国国防部近期正在向自主武器领域积极迈进，就拿 ACS 公司现在供其测试的 AI 自主枪械系统 Bullfrog 来说，该系统能够提供足够的精度支持，实现与激光和微波系统类似的单位杀伤成本比，且无需频繁维护与后勤支持。ACS 公司联合创始人兼 CEO、前海军核工程师 Steve Simoni 还曾表示， “跟踪和射击只是整个打击体系中的一环。最终，该系统将可支持更多不同枪械、射程更远，实现对不同加速度模式的无人机进行攻击——而这一切只需要更新 AI 模型即可实现。”
最近，美国陆军还试验了其他几种基于枪械的反无人机解决方案，包括 Ghost Robotics 机器狗，其背上就搭载 AI 驱动的 AR/M4 式步枪炮塔。除 AI 驱动的武器系统出现外，AI 功能在军事领域的全面集成似乎也大有指日可待之势。上个月，OpenAI 宣布将与国防科技企业 Anduril 合作，进一步助其推动作战能力转型。
STS 3D 的发明的这套轻松将 AI 技术与致命武器相结合的装置，在社交媒体上引发了激烈的争论。而之所以令人印象深刻，可能在于人们突然意识到即使消费级 AI 技术也极易被用于实现暴力目的——我们正在迅速走向一个致命武器拥有自主思维能力的新时代？
一位 Reddit 用户在评论 STS 3D 发布的视频时开玩笑说，“至少有三部电影解释过为什么这事儿做不得。”另一位用户则写道，“天网 0.0.420.69 版本在此！”指的自然是《终结者》系列中的邪恶神经网络。
同时有许多网友激动地反对这样的技术应用：“这几年一直感叹 LLM 有多革命，多美好，开启无限可能...... 如果真的全面接到武器上，人类可就完了蛋了”，“如果落入坏人之手，这可能是灾难性的”，“这是不允许的..... 必须有内置的保护措施来禁止这种情况”，“不要把枪交给学会理解人类自然语言的机器”。
“实验者是否试图证明，任何有能力的恐怖分子可以将某些武器置于 AI 的控制之下？以及 AI 会在不检查威胁声明的有效性的情况下操作这些武器？”还有一位用户发出疑问。
但有网友表示，“将安装在平台上（或安装在 UGV 上）的步枪与使用键盘甚至 Xbox 控制器的远程操作员连接起来的功能至少已经存在了 20 年。在这一点上，让人工智能执行类似命令的能力不足为奇，让人工智能自主 ‘射击任何移动物体’也是可能的。”
这样的说法不在少数，有更多网友发言称，“这玩意儿至少十年前就能实现了。我记得十年前看过一个视频，一个家伙用气枪造了一个炮塔，每次他在游戏中中弹，炮塔就会向他射击，并主动跟踪他。唯一的区别是这是声控的，但我们也已经能够这样做至少 10 年了，使用 GPT 进行响应是它唯一新颖的地方。”
总体而言，STS 3D 发明的智能化步枪向大众描绘出一幅令人担忧的未来图景，即 AI 武器系统被用于在无需人类介入的情况下击杀目标，哪怕此举或许并非 STS 3D 的初衷。
参考链接：
https://futurism.com/the-byte/openai-cuts-off-chatgpt-robot-rifle
https://futurism.com/openai-powered-sentry-rifle
https://www.wired.com/story/us-military-robot-drone-guns/
