⚛️Ars Technica•較早收集於 13h
Google 起訴中國犯罪集團利用 Gemini 自動化詐騙
💡了解攻擊者如何將 LLM 武器化，以及 Google 如何應對 AI 驅動的網路犯罪。
⚡ 30-Second TL;DR
有什麼變化
Google 對網路犯罪集團採取法律行動，打擊 AI 輔助詐騙。
為什麼重要
此訴訟標誌著針對 AI 濫用行為的法律執法將更為積極。這可能會導致生成式 AI 平台實施更嚴格的使用政策與加強監控機制。
下一步行動
審查您應用程式的安全防護機制，並實施強大的輸入/輸出過濾，以防止您的 LLM 整合被用於自動化內容生成。
誰應關注：Developers & AI Engineers
關鍵要點
- •Google 對網路犯罪集團採取法律行動，打擊 AI 輔助詐騙。
- •犯罪分子利用 Gemini 自動化生成欺詐性網站。
- •數十萬名用戶成為此自動化惡意活動的目標。
- •此案凸顯了 AI 提供商與濫用生成式模型的惡意行為者之間的持續對抗。
🧠 深度解析
Web-grounded analysis with 13 cited sources.
🔑 增強重點摘要
- •該中國網路犯罪集團被確認為「Outsider Enterprise」，其經營著一個「網路釣魚即服務」(PhaaS) 工具包，提供超過 290 個預建模板，並利用 Gemini 生成客製化的網路釣魚網站程式碼，使其詐騙活動更具說服力。
- •此詐騙行動規模龐大，部署了超過 9,000 個虛假網站和 100 萬個詐騙性 URL。僅在 2026 年 5 月的兩週內，該組織就向 Android 用戶發送了 250 萬條詐騙簡訊，其中 55,000 條被標記為垃圾郵件，估計造成數百萬美元的損失。
- •除了提起訴訟，Google 還與美國聯邦調查局 (FBI) 以及主要電信業者 (AT&T、T-Mobile、Verizon) 合作，以瓦解詐騙基礎設施並阻擋惡意簡訊。Google 同時也積極倡導聯邦立法，以建立針對 AI 驅動詐騙的永久性防護措施。
- •此次法律行動是 Google 首次針對其 Gemini AI 工具濫用行為提起的訴訟，這標誌著在打擊利用生成式 AI 進行網路犯罪方面，平台執法進入了一個新階段。
🛠️ 技術深入
- 犯罪集團利用 Gemini 的程式碼生成能力，透過看似無害的提示，要求模型生成 HTML 程式碼，以設計具有特定功能和特徵的詐騙網頁，例如「禮品兌換頁面」。
- 這些提示會指示 Gemini 避免使用 JavaScript 並採用內聯 CSS 來實作網頁設計，以規避偵測並使其看起來更真實。
- Gemini 作為一個多模態大型語言模型，其架構原生支援同時處理和生成文本、電腦程式碼、圖像、音訊和視訊，使其能夠用於創建高度逼真的詐騙網站。
- Google 的信任與安全團隊結合自動化和手動流程來監測 Gemini API 和 Google AI Studio 的潛在濫用行為，以執行其禁止使用政策。
🔮 前景展望AI analysis grounded in cited sources
AI 平台提供商將面臨越來越大的法律和技術壓力，以加強其模型的濫用防護措施。
此次訴訟是 Google 首次針對 Gemini AI 工具濫用採取的法律行動，並伴隨與執法部門的協調以及對新立法的倡導，預示著對 AI 濫用行為的打擊將更加嚴格。
網路犯罪分子將持續利用生成式 AI 的進步來提升詐騙活動的複雜性和規模。
Google 的安全研究人員指出，AI 的使用已成為中文網路釣魚生態系統的普遍趨勢，且 AI 生成的網路釣魚攻擊在 2025 年末增加了 14 倍以上，佔所有報告網路釣魚事件的一半以上。
政府和電信業者將被迫與科技公司更緊密合作，制定更全面的法規和技術解決方案來應對 AI 驅動的詐騙。
Google 正與 FBI 和主要電信業者合作阻擋詐騙簡訊，並積極倡導聯邦立法，以建立永久性的防護措施，這表明需要跨行業和政府的協同努力。
⏳ 時間線
2018
Google 發布其 AI 原則，為負責任的 AI 開發奠定基礎
2023-12-06
Google 首次宣布 Gemini，一個大型多模態語言模型，並取代現有的 Google AI 服務品牌
2024-02
Bard 聊天機器人更名為 Gemini
2025-02-04
Google 發布 2024 年負責任 AI 進度報告，強調其在 AI 安全和風險緩解方面的進展
2025-11-18
Google 推出 Gemini 3 Pro，被描述為其迄今為止最智能的模型
2026-06-12
Google 對中國網路犯罪集團「Outsider Enterprise」提起訴訟，指控其利用 Gemini 自動化詐騙網站
📎 來源 (13)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Ars Technica ↗