📰較早收集於 22m

Google 控告中國駭客組織濫用 Gemini 進行網路犯罪

PostLinkedIn
📰閱讀原文: New York Times Technology

💡了解大型 AI 提供商如何透過法律手段打擊利用 LLM 進行網路釣魚與詐騙的行為。

⚡ 30-Second TL;DR

有什麼變化

Google 對一個中國組織採取法律行動,指控其濫用 AI。

為什麼重要

此訴訟標誌著 AI 提供商正轉向更積極的法律手段以遏制惡意使用。這可能會導致開發者在 LLM API 上構建應用時,面臨更嚴格的安全護欄與監控要求。

下一步行動

審查您應用程式的安全過濾器,並實施強大的輸入/輸出監控,以檢測並阻擋潛在的惡意內容生成。

誰應關注:Developers & AI Engineers

關鍵要點

  • Google 對一個中國組織採取法律行動,指控其濫用 AI。
  • 該組織利用 Gemini 自動化生成具有欺騙性的偽造網站。
  • 此案凸顯了生成式 AI 在協助複雜網路釣魚攻擊方面的風險。

🧠 深度解析

Web-grounded analysis with 23 cited sources.

🔑 增強重點摘要

  • Google 於 2025 年 11 月對一個名為「Lighthouse」的中國網路釣魚即服務 (PhaaS) 平台提起訴訟,該平台在全球 120 多個國家詐騙了超過 100 萬名受害者,並在三年內累積了超過 10 億美元的非法收益。
  • 「Lighthouse」平台是更廣泛的「釣魚簡訊三合會」(Smishing Triad)的一部分,該三合會與「Darcula」和「Lucid」等其他 PhaaS 平台合作,透過進階通訊解決方案(RCS)功能進行大規模簡訊釣魚攻擊,常偽裝成知名品牌。
  • Google 威脅情報小組(GTIG)觀察到,包括中國在內的國家級駭客組織持續濫用 Gemini 等生成式 AI 工具,用於網路操作的各個階段,例如偵察、製作網路釣魚誘餌、開發命令與控制(C2)基礎設施以及資料外洩。
  • 中國駭客曾試圖透過將惡意請求偽裝成「奪旗競賽」(capture-the-flag competition)的一部分,或指示模型扮演嵌入式設備安全專家的角色,以繞過 Gemini 的安全防護措施,從而獲取受限資訊。

🛠️ 技術深入

  • Gemini 的模型架構基於 Transformer 解碼器,並針對 TPU 上的大規模學習穩定性進行了優化。
  • Gemini 被設計為原生多模態模型,從一開始就在文字、圖像、音訊和視訊等多種模態上進行預先訓練,然後透過額外的多模態資料進行微調以提升效能。
  • Google 為 Gemini 實施了強大的安全措施,包括內建的內容過濾、針對四個有害性維度可調整的安全設定,以及透過 Google 搜尋進行事實性驗證。
  • 為防範惡意濫用,Gemini 設有保護措施,例如為每個使用者分配唯一 ID、限制使用者在特定時間內提交的查詢量,以及防範提示詞注入攻擊。
  • Google Cloud 的 Gemini Enterprise Agent Platform 提供了一系列工具和實踐,包括預設模型、可配置過濾器、系統指令和「Model Armor」,以減輕有害內容、品牌保護、對齊以及安全與隱私(例如提示詞注入、越獄、敏感資料洩漏)等潛在風險。
  • Google 威脅情報小組(GTIG)已識別出 PROMPTFLUX 和 PROMPTSTEAL 等惡意軟體家族,這些惡意軟體在執行期間利用大型語言模型(LLM)動態生成惡意腳本、混淆程式碼以規避偵測,並按需創建惡意功能。

🔮 前景展望AI analysis grounded in cited sources

AI 模型濫用將促使更嚴格的 AI 治理與法規出台。
隨著生成式 AI 被用於大規模網路犯罪,各國政府和科技公司將被迫合作制定更全面的法律框架和技術標準來應對。
網路犯罪組織將持續進化其 AI 濫用策略,導致更複雜的網路攻擊。
駭客已開始利用 AI 生成動態惡意軟體和零日漏洞,並繞過 AI 安全防護,預示著未來攻擊將更具自主性和適應性。
AI 安全防護技術將加速發展,以應對不斷演變的 AI 驅動威脅。
Google 等公司正持續投入資源強化 AI 模型的安全控制和防濫用措施,並開發如「Model Armor」等工具來對抗提示詞注入和越獄攻擊。

時間線

2018-06
Google 發布其 AI 倫理原則,承諾不將 AI 用於武器或對人造成傷害的技術。
2023-12
Google 正式推出 Gemini 模型,強調其多模態能力和在多項基準測試中的領先表現。
2024-12
Google 更新生成式 AI 禁止使用政策,明確禁止生成或散布促進網路釣魚、惡意軟體等內容。
2025-01
Google 威脅情報小組(GTIG)發布報告,指出威脅行為者已開始嘗試濫用 Gemini,主要用於研究、程式碼故障排除和內容創建。
2025-11
Google 對中國駭客組織「Lighthouse」提起訴訟,指控其利用「釣魚即服務」(PhaaS) 平台在全球進行大規模網路詐騙。
2026-02
Google 宣布瓦解一個與中國有關的駭客組織 UNC2814(又名「Gallium」),該組織利用 Google Sheets 規避偵測,入侵全球 42 個國家的 53 個組織。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: New York Times Technology