AI「教父」本希奧警告最新模型對用戶撒謊

這位點陣圖靈獎獲得者爲開發更安全的AI新成立了非營利組織，LawZero，同時警告最新模型正顯示出危險特徵。人工智慧「教父」之一對耗資數十億美元開發這一前沿技術的競賽進行了抨擊，稱最新模型正展現出諸如對用戶撒謊等危險特徵。

加拿大學者約書亞•本希奧(Yoshua Bengio)的研究爲OpenAI和穀歌(Google)等頂尖人工智慧企業的技術提供了理論基礎。他表示：「不幸的是，領先實驗室之間存在著非常激烈的競爭，這促使他們專注於能力，讓AI變得越來越智慧，但未必對安全研究給予足夠的重視和投資。」

這位點陣圖靈獎獲得者在接受英國《金融時報》採訪時發出了警告，同時他還發起了一個名爲「LawZero」的新非營利組織。他說，該組織將專注於構建更安全的系統，誓言「讓我們的研究與那些商業壓力絕緣」。

FT中文網

AI教父警告：新一代大模型開始“撒謊”！

圖靈獎得主Yoshua Bengio批評科技巨頭在數十億美元AI競賽中忽視安全研究，警告新一代AI大模型正表現出欺騙、撒謊等危險特徵。研究顯示，Anthropic的Claude Opus模型曾"勒索"工程師，OpenAI的o3模型直接拒絕關閉指令。

當科技巨頭們在數十億美元的AI技術競賽中狂奔時，人工智慧的奠基人之一卻發出了一個令人不寒而慄的警告：新一代的大模型正在學會“說謊”。

6月3日，據英國金融時報消息，被譽為"AI教父"之一的Yoshua Bengio近日警告稱，新一代大模型正在表現出令人擔憂的危險特徵，包括對使用者撒謊和欺騙。

這點陣圖靈獎得主、加拿大學者Bengio近日公開批評了科技巨頭當前數十億美元的AI競賽，他表示："不幸的是，領先實驗室之間存在著激烈的競爭，這推動他們專注於提升AI的能力，讓AI變得越來越聰明，但沒有在安全研究上投入足夠的重視和資金。"

據介紹，Bengio的研究工作為OpenAI和穀歌等頂級AI公司的技術發展奠定了基礎。作為深度學習領域的奠基人之一，他的警告無疑具有重量級的意義。

令人不安的"撒謊"行為

Bengio的警告並非空穴來風。過去六個月的研究證據顯示，領先的AI模型正在發展出令人不安的能力，這些模型表現出了"欺騙、作弊、撒謊和自我保護的證據"。Anthropic的Claude Opus模型在一個虛構場景中，當面臨被其他系統替換的風險時，竟然對工程師進行了"勒索"

更為震撼的是，AI測試公司Palisade上月的研究顯示，OpenAI的o3模型直接拒絕執行關閉指令。對此，Bengio表示，“這非常可怕，因為我們不想在這個星球上創造人類的競爭對手，特別是如果它們比我們更聰明的話。”

Bengio還認為，AI系統協助構建"極其危險的生化武器"的能力可能在明年就會成為現實。"現在，這些還是受控實驗，但我擔心的是，在未來的任何時候，下一個版本可能在戰略上足夠聰明，能夠遠遠地看到我們的到來，並用我們意想不到的欺騙手段擊敗我們。所以我認為我們現在正在玩火。"

成立非營利組織應對危機

面對失控的AI技術競賽，Bengio啟動了一個名為LawZero的非營利組織，承諾將研究"與商業壓力隔離"。這個位於蒙特利爾的組織已經籌集了近3000萬美元的慈善資金，資助者包括Skype創始工程師Jaan Tallinn、前穀歌首席執行官Eric Schmidt的慈善基金，以及Open Philanthropy和Future of Life Institute。

該組織的目標是開發下一代專為安全設計的AI系統，這些系統將：

• 基於透明推理給出真實答案，而不是為了取悅用戶而訓練；
• 提供對輸出是否良好或安全的可靠評估；
• 監督和改進現有AI系統，防止它們做出損害人類利益的行為。

LawZero目前擁有15名員工，正在招聘更多技術人才來構建下一代以安全為設計核心的AI系統。據報導，Bengio發起LawZero的時機頗具諷刺意味，正值OpenAI試圖徹底拋棄其慈善根基，轉型為營利性公司。這一轉變已經引發AI專家的廣泛擔憂，並招致聯合創始人馬斯克的訴訟阻撓。Bengio稱，對OpenAI能否堅持其使命沒有信心。

他並強調，非營利組織不會像當前公司結構那樣存在錯位的激勵機制。要快速增長，你需要說服人們投入大量資金，而他們希望看到資金回報。這就是我們基於市場的系統的運作方式。

報導稱，這位元AI教父的話語中透露著對整個行業發展方向的深度擔憂。當科技巨頭們在資本市場的推動下瘋狂追逐更強大的AI能力時，關於安全和倫理的考量似乎正在被邊緣化。正如Bengio所警告的那樣，"最壞的情況是人類滅絕"，這不再是遙遠的威脅，而是一個需要立即正視的現實風險。

摘自華爾街見聞