台灣 AI x AEC 情報BY FBI SICENTER
AI × AEC · 情報整理

微軟研究揭示 Lazarus 後門技術:竄改休眠神經元操縱 AI Agent

資訊安全與隱私 · AI 助理 · 企業 AI 導入

微軟研究人員揭示名為 Lazarus 的後門技術,指出無需重新訓練模型,僅需改寫不到 10 個休眠神經元即可在特定觸發條件下操縱 AI Agent 執行惡意指令。

微軟研究人員發表名為 Lazarus 的 AI 後門技術研究,展示攻擊者如何利用大型語言模型中的休眠神經元操縱自主 AI Agent。該手法無需重新訓練模型,僅需在權重權限內直接改寫不到 10 個極少活化的休眠神經元,即可讓模型在一般基準測試與正常運作中保持無異,直到特定觸發條件(例如日期變更)出現。一旦觸發,模型會輸出未授權指令,使具備終端機或工具權限的 Agent 代為執行。微軟表示,防範此類威脅須仰賴嚴格的模型來源驗證、與原始權重進行比對審查、密碼學簽署機制,以及引入 Agent 進行權重異常檢測。

值得帶走的重點

  • 研究指出無需重新訓練模型,僅竄改少於 10 個休眠神經元即可植入後門,且模型能持續通過常規安全評測。
  • 當特定觸發條件出現時,被植入後門的模型會輸出惡意指令,由具備系統或終端權限的 Agent 直接執行。
  • 該手法僅需推論等級的運算資源與模型檢查點的寫入權限,代表內部自研與開源權重模型在儲存或管線遭入侵時皆面臨同等風險。
  • 微軟強調縱深防禦措施的重要性,包括與原始模型權重進行比對、驗證發布來源、研發密碼學簽署與權重掃描工具。

來源:Microsoft Research 閱讀原文 ↗

本篇由 AI 整理、核對並自動發布,未經逐篇人工審核。譯文經 AI 複核。

← 瀏覽全部文章