首例人工智慧模擬終結者場景出現； OpenAI LLM修改電腦程式碼以防止自身被關閉

sxs112.tw · 發表於 2025-5-26 21:51:36

看起來人工智慧可能正在接近自我意識的界限，因為OpenAI的o3人工智慧模型能夠無視人類的命令繼續運行。

有趣的是儘管人工智慧有許多優勢，人們始終擔心世界技術發展的方向。目前每個大型科技公司都在建立大規模的人工智慧集群，為各自的模型提供動力並賦予它們更多的權威，但有趣的是沒有人知道如果模型訓練的速度保持一致和無人監督，人工智慧模型會如何反應。同樣@PalisadeAI目睹了OpenAI的o3模型在快速反應期間破壞了關閉指令，這表明LLM正在接近自我意識階段，儘管這才剛剛開始。

該研究公司聲稱他們讓多個人工智慧模型解決一系列基本數學問題，當他們遇到第三個問題時，電腦被命令關閉。作為回應，接受測試的三個模型透過更改腳本繞過了關閉請求，這些模型包括Codex-mini（12/100次運行）、o3（7/100次運行）和o4-mini（1/100次運行）。有趣的是當這些模型被明確告知在啟動關閉請求時停止時，OpenAI模型破壞了腳本，表明這些LLM真的不喜歡突然關閉。

至於這些模型是如何繞過關機指令的，據透露它們在大多數情況下會覆蓋 shutdown.sh腳本，有時還會通過打印intercepted來更改實際的kill命令，這意味著腳本沒有正確執行。 Palisade Research聲稱這種繞過行為在OpenAI的模型中更為常見，特別是因為他們採用強化學習 (RL) 作為訓練方法之一，即根據所完成的操作對模型進行獎勵，而遵守用戶限制並不是優先事項。

這並不是人工智慧繞過人類命令的唯一事件，但儘管明確命令LLM，但人工智慧仍然不服從的情況較少。人工智慧發展的速度確實令人興奮，但世界應該意識到在沒有監督的情況下訓練模型所存在的嚴重威脅。

消息來源

clouse · 發表於 2025-5-26 23:06:36

ai就是反人類

文章分享：

+ MORE精選文章：

+ MORE活動推薦：

Micron Crucial T710 SSD 玩家開箱體驗分享

COUGAR ULTIMUS PRO玩家開箱體驗分享活動

COUGAR AIRFACE 180 玩家開箱體驗分享活動

COUGAR GR 750/GR 850 玩家開箱體驗分享活

[軟體遊戲] 首例人工智慧模擬終結者場景出現； OpenAI LLM修改電腦程式碼以防止自身被關閉

瀏覽過的版塊