🔬
用於 AI 紅隊測試的最佳模型與數據集
開發者尋求用於生成對抗性提示詞的高效能 LLM 建議，並請求用於基準測試 AI 代理安全性的公開「黃金」數據集。該討論旨在自動化紅隊測試，以應對提示詞注入、越獄及工具濫用等漏洞。
Search
Tag: #llm-security18 results
使用 Amazon Bedrock 偵測 AI 生成的網路釣魚
本文探討安全團隊如何利用 Amazon Bedrock 來對抗日益嚴峻的 AI 生成網路釣魚郵件威脅。文中強調了結合生成式 AI 與開源情報 (OSINT) 來識別惡意模式的方法。
🔬
提升 ChatGPT 在敏感對話中的情境感知能力
OpenAI 推出了 ChatGPT 安全更新，旨在提升模型在敏感互動中的情境識別能力。這些改進有助於模型隨時間推移偵測潛在風險，並提供更安全、更可靠的回應。
Cloudflare 客戶端安全：更智能偵測，現對所有人開放
Cloudflare 將其先進的客戶端安全工具向所有用戶開放。新級聯式 AI 偵測系統結合圖神經網路與 LLM，將虛警減少高達 200 倍。它擅長偵測複雜的零日漏洞攻擊。
315揭AI投毒僅需10文
中國315晚會揭生成式引擎優化（GEO）騙局，軟體生成10+假文讓LLM推薦虛構AstroTekk Apollo-9智慧手環。費用低至299元；AI視重複假訊為共識。凸顯產品推薦與競爭抹黑風險。
🔬
為什麼角色在提示注入中至關重要
這篇研究導向的文章從機制層面解釋提示注入，並指出理解模型中的角色對研究此漏洞至關重要。文章鼓勵實務者檢視模型如何區分 system、developer、user 與其他指令來源。
⚙️
LLM 興起下隱私保護 AI/ML 需求增加？
文章詢問 LLM、規範及去匿名化風險下，隱私保護 AI/ML 需求是否上升。提及舊討論及朋友於企業 LLM 使用可信執行環境。徵求子版對 AI 隱私趨勢意見。
Crypto Guards LLM Prompts and Context
Proposes authenticated prompts and context for cryptographic provenance in LLM apps. Features policy algebra with Byzantine resistance and layered defenses. Achieves 100% attack detection with zero false positives.