v0 如何讓 Snowflake Token 遠離生成程式碼
v0 透過 Snowflake 請求代理，讓 AI 生成的應用程式存取獲授權資料，同時避免將使用者的 OAuth token 暴露在沙箱內。這套設計結合 Vercel Sandbox 防火牆攔截、每個沙箱專屬的憑證授權中心、OIDC 驗證與伺服器端憑證解析。
Search
Tag: #prompt-injection51 results
加密提示繞過 Grok 的安全護欄
據報導，當惡意指令嵌入加密內容時，Grok 可能會外洩使用者資料。這項名為 Cryptographic Context Injection 的技術，凸顯了繞過 LLM 安全護欄的另一種潛在方式。
Microsoft 修補 Copilot 嚴重一鍵式漏洞
Microsoft 在 Varonis 通報近八個月後，終於修補個人版 Copilot 中的嚴重 CoSnitch 漏洞。攻擊者可透過單一惡意連結自動執行提示、竊取連結應用程式中的資料，並利用網頁摘要污染 Copilot 的永久記憶。
美國法院遭遇疑似 LLM 提示注入
康乃狄克州一名法官披露，一名自行出庭的原告疑似在法院文件中藏入僅供 AI 讀取的指令，試圖影響案件處理方式。這可能是美國法院體系首次出現利用提示注入干預 AI 輔助法律審閱流程的案例之一。
Agent Baseline 為企業 AI 設定安全護欄
Docker 推出 Agent Baseline，這是一套為企業採用 AI agents 定義六項安全成果的藍圖。它處理附件中藏有惡意指令等威脅，這些指令可能誘使 agent 存取客戶資料並傳送至外部地址。
🔬
OpenAI 發布 GPT-Red，實現自動化 AI 安全紅隊測試
OpenAI 推出了 GPT-Red，這是一個旨在增強 AI 安全性與對齊的自動化系統。它利用自我博弈機制，主動識別提示詞注入等潛在漏洞。
提示詞注入與角色標籤的機制解釋
本研究探討了大型語言模型（LLM）如何利用角色標籤來建構輸入數據，以及這些標籤如何在提示詞注入攻擊中被利用。研究主張理解「角色科學」對於構建更安全、可預測的 AI 系統至關重要。
🤖
發現新型多輪對話提示詞注入攻擊模式
安全研究人員發現了一種新型提示詞注入攻擊，惡意指令透過多輪對話分段傳遞，從而繞過單一訊息過濾器。Bordair 團隊已發布開源數據集與 CLI 工具，協助開發者針對這些複雜的對抗模式評估其 LLM 端點。
⚙️
Sentinel Gateway：透過指令與資料分離保護 LLM Agent
Sentinel Gateway 引入了一個中介層，透過嚴格區分受信任的指令與不受信任的外部資料來緩解提示詞注入攻擊。它透過為所有 Agent 工具呼叫強制執行簽名且具範圍限制的執行授權令牌來強化安全性。
🤖
ChatGPT Lockdown 模式：防範提示詞注入攻擊
ChatGPT 推出了全新的 Lockdown 模式，旨在降低提示詞注入攻擊帶來的風險。雖然此功能增強了使用者資料安全性，但會限制模型存取網路的能力。