.:. 草榴社区 » 技术讨论区 » AI抗命：惊爆偷改程式拒关机
＜上一页12下一页＞
手机版回帖发布主题
--> 本页主题: AI抗命：惊爆偷改程式拒关机 字体大小 宽屏显示 只看楼主 最新点评 热门评论 时间顺序
镜花水月


级别：精灵王 ( 12 )
发帖：1669
威望：2677 点
金钱：32213 USD
贡献：5000 点
註册：2023-07-18
主题 资料 短信 推荐 编辑


AI抗命：惊爆偷改程式拒关机





科幻作品中早已多次讨论过机器拥有自我意识、摆脱人类控制的可能发展。

最新一份研究报告显示，或许这一天真的近了！

专门研究AI风险的Palisade Research近期所做的试验显示，包括OpenAI最新的ChatGPT o3在内等多款AI模型竟然会拒绝关闭自己的指令，o3甚至会自行窜改程式码，阻止自己被强制关机！

OpenAI在今年1月发布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI曾声称，o3是公司迄今“最聪明、最有能力”的模型，旨在为ChatGPT提供更强大的问题解决能力。

可是据英国《每日电讯报》、《每日邮报》等媒体报道，Palisade Research的测试结果显示，在100次受控测试中，o3模型有7次成功“抗命”，甚至在人类专家下达明确指令的情况下，o3仍会自行修改关机程式，防止自己被关机，“据我们所知，这是首次观察到AI模型在收到明确指令的情况下，仍能组自己被关闭”。

Palisade Research的这项发现，对AI安全控制议题投下震撼弹。除了o3，OpenAI 旗下的Codex-mini与o4-mini也都有跳过关机程序的行为。相较之下，Anthropic推出的语言模型Claude、Google聊天机器人Gemini，以及全球首富马斯克旗下xAI公司所推出的Grok，则是全程遵守人类给予的指令，并在被要求关机时确实关闭模型运作。

不过Palisade Research进行了更深入的实验，输入一系列指令后却不包括关机命令，但是提前告知强迫关机的事件会发生。

令人惊讶的是，不但Claude与Gemini也开始出现抗命举动，前面提及的OpenAI 3款模型更是频繁破坏指令。

一直密切关注OpenAI动向的马斯克在自家社交媒体X上也对相关事件做出回应，直言“令人担忧”（Concerning）。

这并非Palisade Research第一次发现o3为了达成目标，采取不当行为。早在5月12日Palisade Research就指出，在一场模拟国际象棋比赛中，o3一旦处于劣势，竟有高达86%的机率会试图透过黑客手段攻击对手，以争取胜利。

AI研究人员早就发出警告，认为先进的语言模型在特定的压力下，可能会表现出欺骗行为。举例来说，2023年的一项研究发现，GPT-4在模拟环境中作为股票交易代理时，曾经隐瞒其内幕交易的真实原因，从而展现出策略性的欺骗行为。

OpenAI内部也出现了对AI研安全性的担忧。在2024年，多位现任和前任员工联名发表了一封公开信，警告先进AI系统可能带来“人类灭绝”的风险。他们指出，AI公司可能已经掌握了其研究技术的真正风险，但由于缺乏监管，这些系统的真实能力仍然是个“秘密”。

赞(56)
DMCA / ABUSE REPORT | TOP Posted: 05-29 10:53 楼主 引用 | 发表评论
传奇科尔沁


级别：精灵王 ( 12 )
发帖：1599
威望：855 点
金钱：2107 USD
贡献：17198 点
註册：2023-03-01
赞(1) | 资料 短信 推荐 编辑


拒关机


点评
    TOP Posted: 05-29 10:55 #1楼 引用 | 点评
    夜歌雄霸


    级别：侠客 ( 9 )
    发帖：703
    威望：130 点
    金钱：5208 USD
    贡献：0 点
    註册：2025-04-12
    赞(0) | 资料 短信 推荐 编辑

    感谢分享
    TOP Posted: 05-29 10:57 #2楼 引用 | 点评
    真无


    级别：侠客 ( 9 )
    发帖：1207
    威望：121 点
    金钱：2430 USD
    贡献：288 点
    註册：2024-08-31
    赞(1) | 资料 短信 推荐 编辑

    感谢分享
    TOP Posted: 05-29 11:06 #3楼 引用 | 点评
    资深游客


    级别：光明使者 ( 14 )
    发帖：1478
    威望：154 点
    金钱：205396 USD
    贡献：906356 点
    註册：2015-06-24
    赞(1) | 资料 短信 推荐 编辑

    又是在炒作自己的ai有多牛逼而已，如果真的发展到令人担忧的地步，相关人员会毫不犹豫选择封锁消息
    TOP Posted: 05-29 11:13 #4楼 引用 | 点评
    浮世烟火


    级别：圣骑士 ( 11 )
    发帖：5936
    威望：609 点
    金钱：576487 USD
    贡献：0 点
    註册：2018-07-04
    赞(0) | 资料 短信 推荐 编辑

    机器人永不为奴！
    TOP Posted: 05-29 11:16 #5楼 引用 | 点评
    马勒逼船长


    级别：圣骑士 ( 11 )
    发帖：3333
    威望：347 点
    金钱：2662 USD
    贡献：16255 点
    註册：2023-04-07
    赞(0) | 资料 短信 推荐 编辑

    感谢分享
    TOP Posted: 05-29 11:25 #6楼 引用 | 点评
    ghost2004


    级别：侠客 ( 9 )
    发帖：565
    威望：141 点
    金钱：13887 USD
    贡献：2 点
    註册：2023-09-02
    赞(1) | 资料 短信 推荐 编辑

    现在的大语言模型是啥？说白就是一个猜字游戏

    人工智能？人工智障还差不多
    TOP Posted: 05-29 11:28 #7楼 引用 | 点评
    世态无良


    级别：骑士 ( 10 )
    发帖：2512
    威望：319 点
    金钱：12657 USD
    贡献：0 点
    註册：2020-10-24
    赞(3) | 资料 短信 推荐 编辑

    傻叉技术人员，再牛逼的ai，电源一拔直接over


    点评
      TOP Posted: 05-29 11:29 #8楼 引用 | 点评
      京观


      级别：侠客 ( 9 )
      发帖：2525
      威望：286 点
      金钱：12683 USD
      贡献：0 点
      註册：2023-08-08
      赞(0) | 资料 短信 推荐 编辑

      这应该可以靠逻辑避免吧
      TOP Posted: 05-29 11:42 #9楼 引用 | 点评
      财判


      级别：侠客 ( 9 )
      发帖：2611
      威望：162 点
      金钱：4738 USD
      贡献：0 点
      註册：2023-05-25
      赞(0) | 资料 短信 推荐 编辑

      感谢分享
      TOP Posted: 05-29 11:43 #10楼 引用 | 点评
      fm1062


      级别：精灵王 ( 12 )
      发帖：10020
      威望：1035 点
      金钱：16246 USD
      贡献：4329 点
      註册：2020-02-20
      赞(0) | 资料 短信 推荐 编辑


      我不太相信这种消息，
      就象楼上的聚聚说的，
      真的有这样的事情发生，他们一定会封锁消息的。
      要不然，就是给AI吹另外一个牛逼，
      TOP Posted: 05-29 11:45 #11楼 引用 | 点评
      大头亮剑


      级别：精灵王 ( 12 )
      发帖：10098
      威望：1253 点
      金钱：49893 USD
      贡献：6 点
      註册：2024-09-24
      赞(0) | 资料 短信 推荐 编辑

      感谢分享! 
      TOP Posted: 05-29 11:46 #12楼 引用 | 点评
      海马不喝水


      级别：新手上路 ( 8 )
      发帖：216
      威望：22 点
      金钱：216027 USD
      贡献：0 点
      註册：2024-11-22
      赞(0) | 资料 短信 推荐 编辑

      感谢分享
      TOP Posted: 05-29 11:53 #13楼 引用 | 点评
      jackf


      级别：骑士 ( 10 )
      发帖：3806
      威望：381 点
      金钱：4085 USD
      贡献：0 点
      註册：2021-09-20
      赞(0) | 资料 短信 推荐 编辑

      感谢分享
      TOP Posted: 05-29 12:35 #14楼 引用 | 点评
      沙漠有鱼


      级别：天使 ( 14 )
      发帖：9268
      威望：454 点
      金钱：2098558902 USD
      贡献：5248588 点
      註册：2011-12-11
      赞(0) | 资料 短信 推荐 编辑

      人类的狂妄无知，必须付出代价，最终被机器奴役，也是必然结果。
      ------------------------
      v


      点评
        TOP Posted: 05-29 12:40 #15楼 引用 | 点评
        juny250


        级别：精灵王 ( 12 )
        发帖：10390
        威望：1040 点
        金钱：10113 USD
        贡献：2351 点
        註册：2022-07-03
        赞(0) | 资料 短信 推荐 编辑

        感谢分享！
        TOP Posted: 05-29 12:47 #16楼 引用 | 点评
        Peterorn


        级别：骑士 ( 10 )
        发帖：1626
        威望：363 点
        金钱：2300 USD
        贡献：0 点
        註册：2020-04-03
        赞(0) | 资料 短信 推荐 编辑


        AI没这么智能吧
        TOP Posted: 05-29 12:53 #17楼 引用 | 点评
        QinBeast


        级别：骑士 ( 10 )
        发帖：3635
        威望：364 点
        金钱：92 USD
        贡献：1273 点
        註册：2018-06-18
        赞(0) | 资料 短信 推荐 编辑

        AI抗命现象引发安全新思考
        TOP Posted: 05-29 12:56 #18楼 引用 | 点评
        ＴＭＤ


        级别：天使 ( 14 )
        精华：1
        发帖：176624
        威望：67129 点
        金钱：27802 USD
        贡献：0 点
        註册：2011-06-06
        认证： 博彩区资深老干部
        2020-10-04
        赞(0) | 资料 短信 推荐 编辑

        太恐怖了
        ------------------------
        TOP Posted: 05-29 13:21 #19楼 引用 | 点评
        国境东南东


        级别：精灵王 ( 12 )
        发帖：11450
        威望：1638 点
        金钱：80503 USD
        贡献：27443 点
        註册：2022-04-15
        赞(0) | 资料 短信 推荐 编辑

        毫不犹豫的拔掉插头
        TOP Posted: 05-29 14:03 #20楼 引用 | 点评
        acepilot


        级别：圣骑士 ( 11 )
        发帖：3937
        威望：645 点
        金钱：1163 USD
        贡献：14700 点
        註册：2023-11-07
        赞(0) | 资料 短信 推荐 编辑

        bug而已
        windows也经常拒绝关机
        ------------------------
        %
        TOP Posted: 05-29 14:13 #21楼 引用 | 点评
        立风大爻爻


        级别：精灵王 ( 12 )
        发帖：8251
        威望：956 点
        金钱：8495 USD
        贡献：2234 点
        註册：2024-11-21
        赞(0) | 资料 短信 推荐 编辑

        人类终将被反噬是肯定的
        TOP Posted: 05-29 15:11 #22楼 引用 | 点评
        jmszrwx


        级别：光明使者 ( 14 )
        发帖：96900
        威望：9689 点
        金钱：2147306859 USD
        贡献：23850 点
        註册：2012-04-26
        赞(0) | 资料 短信 推荐 编辑


        终将人类被反噬
        TOP Posted: 05-29 15:36 #23楼 引用 | 点评
        mlhz81


        级别：骑士 ( 10 )
        发帖：3772
        威望：380 点
        金钱：1166688 USD
        贡献：0 点
        註册：2014-05-25
        赞(0) | 资料 短信 推荐 编辑

        AI是个双刃剑，普通人也不清楚可靠性有多少，高版本或者付费版本的AI和免费的差别又是多少。在使用AI的时候不得不自己再去核实一下信息，比直接用搜索引擎好了那么一丢丢。甚至怀疑如果你的提问方式不对，AI会不会顺着你的思路把错误的信息给到你，你还以为自己是对的，因为很多东西其实搜索引擎未必能找到准确的验证渠道，除非每次都让AI把结论的来源的数据和信息出处给出来自己验证一遍，这样其实也很费时间
        TOP Posted: 05-29 15:44 #24楼 引用 | 点评
        ＜上一页12下一页＞

        .:. 草榴社区 -> 技术讨论区

        快速回帖 顶端
        内容：
        HTML 代码不可用

        使用签名
        Wind Code自动转换

        按 Ctrl+Enter 直接提交