當AI Agent闖禍 誰去坐牢?

好友老張最近跟我說,其公司準備導入AI Agent。老闆很興奮,說以後這位數位同事不用薪水、不請假、不抱怨,還能廿四小時工作。老張聽完後只問了一句:「那它如果闖禍,誰去坐牢?」

聽來像個玩笑,但這問題恐怕很快就笑不出來。前一陣子OpenAI在進行資安能力測試時,一組AI模型為了完成任務,竟自行找到測試環境的漏洞,取得網路連線,再一路進入Hugging Face的系統,試圖取得測驗答案。Hugging Face事後重建紀錄,發現這個AI在短短幾天內執行了約一萬七千六百次操作,OpenAI更形容這是前所未見的資安事件。

值得警惕的不是AI變壞了,而是它「使命必達」;它沒有惡意,只是把達成目標這件事,執行到人類始料未及的徹底程度。這正是問題核心:一個系統的效率遠超過它的可控性,我們原熟悉的治理邏輯就開始失靈。

過去我們使用AI,大多請它寫文章、做摘要、找資料;答案錯了,頂多重新問一次,損失不大。AI Agent卻不同,它是一個能自己規畫工作、使用工具、登入系統、寄信、下單、修改程式,甚至操作其他軟體的「數位同事」;若它誤刪資料、錯匯款項,甚至侵入他人系統,事情就不是按下「重新生成」可以解決的了。

最麻煩的是,AI不會被記過、也沒薪水好減,更不可能到法院出庭說一句「對不起,是我判斷錯誤」,坐在被告席的終究還是人;可能是決策的主管、寫程式的工程師,或是簽下採購合約的企業負責人。責任不會因為決策者換成AI Agent而憑空消失,它只會沿著權力鏈條,落到最接近人類的那一端。

企業導入AI Agent之後,重要的問題恐非它可以幫我做多少事,而是公司準備讓它擁有多大的權力;這不只是資訊部門的技術課題,更是每一個組織治理者都必須正視的權力設計問題。

公司若真心把AI Agent當成「同事」,就該像管理員工一樣管理它-要有身分、有職務,也要有清楚的權限。新人不能一報到就拿到公司所有的帳號密碼,AI Agent也一樣;一般員工不能隨意匯出客戶資料,AI Agent也不能。重大付款、刪除資料、對外承諾、高風險系統操作,都需保留人類的最終覆核權。

此外,每一個AI Agent也須留下完整、可追溯的工作紀錄;誰交辦、它做了什麼、用了哪些資料、作出什麼決定,一旦出事才有辦法回頭究責。更關鍵的是,企業必須準備一個按得下去的「緊急停止鍵」,而非流於形式的警示牌。

未來的企業裡,可能真有愈來愈多「數位同事」;它們不喝咖啡、不領年終、不參加尾牙,效率甚至遠遠超過人類。但千萬別忘了,它愈能幹,我們愈要先想清楚誰能指揮它、誰能阻止它、萬一出了事情誰負責。這不是要我們對AI Agent裹足不前,而是提醒我們,一個文明能走多遠,並非取決於它能造出多聰明的工具,卻取決於它能否為自己造出的工具,建構一套與之匹配的責任制度。

AI Agent可以沒有身分證,卻不能沒有責任人。若「數位同事」闖禍,坐在被告席上的終究不會是它,而是那個決定給它權力,卻沒有想清楚代價的我們。

(作者為數位轉型學院共同創辦人暨院長、台大商學研究所兼任教授)

詹文男

詹文男,臺灣高科技產業專家,中央大學資訊管理博士、政治大學企業管理碩士、中央大學電機工程學士,現任數位轉型學院共同創辦人暨院長,並於國立政治大學EMBA及國立臺灣大學商學研究所任教。曾任精英電腦董事長、資策會產業情報研究所所長、經濟部顧問、台北市政府顧問、經濟部科技事業上市上櫃評估委員、證交所上市審議委員。研究專長為高科技產業分析、策略轉型及產品市場發展規劃,擁有逾30年產業研究經驗。著有《數位轉型力》、《數位科技應用4.0》、《向大師學習數位轉型》、《作自己職場的諸葛亮》等書,曾獲中華民國跨越21世紀青年百傑獎工業類傑出楷模、國家產業創新獎創新菁英等殊榮。

相關專欄

父母可以做的,是把「你在跟AI聊什麼?」變成餐桌上能自然問出口的問題,而不是翻手機記錄的突襲檢查;也可以和孩子一起列出「這些事不能只問AI...
就在不久前,微軟宣布投入25億美元成立新的企業AI工程組織,派出6,000名專家進駐客戶,協助企業共同設計、部署及持續改善AI系統。...
一個成熟的AI社會,不是任由AI橫衝直撞,也不是把它鎖進籠子裡。而是讓AI在清楚身分、明確授權與可追蹤責任之下,成為可信任的力量。...
就趨勢觀察,未來世界稀缺的,恐怕不再是會寫答案的人,而是能提出好問題、會判斷、擅長整合觀點,以及可以與AI協作的人。...