Build a custom portal with embedded SageMaker MLflow Apps

🔑 增強重點摘要

•此自訂入口網站解決方案透過提供持久、可書籤的 URL，無需預簽名 URL 或 AWS 管理控制台存取，即可簡化 MLflow UI 的存取管理和新團隊成員的入職流程，解決了大規模分發預簽名 URL 和個別 AWS 管理控制台存取所帶來的營運開銷問題。
•Flask 反向代理不僅處理 SigV4 驗證，還允許 CI/CD 管道和自動化腳本透過相同的代理端點以程式設計方式與 MLflow REST API 互動，這對於自動化機器學習工作流程至關重要。
•Amazon SageMaker 上的託管 MLflow 提供增強的模型註冊功能，具有細粒度存取控制，並透過專門追蹤 LLM 實驗和提示管理來支援生成式 AI。
•AWS CDK 的使用確保了整個應用程式（包括業務邏輯、基礎設施和配置）都以程式碼定義，從而實現了嚴格的審查、全面的測試以及在出現問題時完全回滾的能力。
•此架構模式支援兩種 MLflow 部署模式：追蹤伺服器 (Tracking Server) 和無伺服器應用程式 (Serverless App)，並能自動從 ARN 格式中偵測模式，提供部署上的彈性。

📊 競品分析▸ Show

功能/產品	MLflow (託管於 SageMaker)	Databricks	ZenML / ClearML	Weights & Biases / Neptune.ai	Kubeflow	Azure ML
實驗追蹤	全面且託管，支援 LLM 追蹤	領先的解決方案，以協作和資料管理聞名	端到端 MLOps 平台，提供豐富的元資料和可視化	專注於實驗追蹤，提供豐富的元資料和可視化	內建 Katib 和管道，用於實驗追蹤	全面追蹤，企業級功能
模型註冊	增強的模型註冊功能，具有細粒度存取控制和自動註冊到 SageMaker 模型註冊表	集中式模型註冊表，用於協作和生命週期管理	模型控制平面，優於 MLflow 的模型註冊方法	模型版本控制和分段	完整的模型生命週期管理	企業模型註冊表
模型部署	輕鬆部署到 SageMaker 端點，託管服務	支援企業部署的額外 UI 和 API 功能	專門的模型部署和服務功能 (例如 BentoML)	有限的部署選項	KServe 和分散式服務	多個部署目標
安全性與治理	透過 IAM 實現增強安全性，細粒度存取控制，託管基礎設施	以資料管理和協作聞名	解決 MLflow 在企業安全/治理方面的限制	團隊工作區和權限	Kubernetes 原生 RBAC	企業級 RBAC
管道編排	整合 SageMaker Pipelines，用於協調訓練工作流程	專注於資料管理和協作	將標準 Python 程式碼轉換為可重現的管道	專注於實驗追蹤	Kubernetes 原生 ML 平台，用於端到端管道管理	企業級 ML 平台
基礎設施管理	完全託管，自動擴展、修補和維護	託管服務，但通常與其資料湖平台綁定	抽象化基礎設施，原生快取	雲端基礎設施，但主要用於追蹤	需要 Kubernetes 專業知識和大量設定	綜合企業功能，Microsoft 生態系統內

🛠️ 技術深入

MLflow 的核心架構由四個主要組件組成：追蹤 (Tracking)、專案 (Projects)、模型 (Models) 和模型註冊表 (Model Registry)。
MLflow 追蹤伺服器包含三個主要組件：計算資源、後端元資料儲存（支援 PostgreSQL、MySQL、SQLite 和 MSSQL 等資料庫）和 Artifact 儲存（通常使用 Amazon S3）。
Flask 反向代理服務部署在 Amazon EC2 實例上，並位於 Application Load Balancer (ALB) 後方，負責處理傳入的 HTTP 請求並將其簽名後轉發。
AWS Signature Version 4 (SigV4) 驗證是透過 Flask 代理實現的，它會簽署傳出到 Amazon SageMaker MLflow 功能的每個請求，並使用 SigV4 演算法生成令牌以進行 AWS IAM 驗證和授權。
sagemaker-mlflow 插件是 MLflow SDK 的一部分，用於使用 AWS Signature V4 驗證對 MLflow API 進行的呼叫，並將模型註冊到 SageMaker 模型註冊表。
AWS CDK 部署包含多個堆疊：網路堆疊（VPC、VPC 端點、安全組）、SageMaker 域堆疊、託管 MLflow 堆疊（追蹤伺服器或無伺服器應用程式）和 Flask 應用程式堆疊。
Flask 應用程式能夠根據 MLflow ARN 格式自動偵測 MLflow 部署模式（追蹤伺服器或無伺服器應用程式），並使用適當的服務名稱和標頭進行 SigV4 請求簽名。
為了增強安全性，建議實施 Amazon CloudWatch 監控 Flask 代理服務、使用 AWS WAF 進行速率限制，並在 Application Load Balancer 層級啟用 HTTPS 終止。
MLflow 3.0 在 SageMaker 上引入了生成式 AI 應用程式追蹤和版本追蹤功能，提供 LLM 實驗的觀察性，包括記錄輸入、輸出和每個中間步驟的元資料。

🔮 前景展望AI analysis grounded in cited sources

企業對整合式 MLOps 自訂入口網站的需求將持續增長。

自訂入口網站解決了大規模團隊在存取管理、安全性和與現有 SSO 系統整合方面的關鍵企業需求，從而降低了營運開銷並簡化了使用者體驗。

AWS 將進一步深化 MLflow 與 SageMaker 及其他服務的整合。

AWS 持續將 MLflow 託管為 SageMaker 的一部分，並增加對生成式 AI 的支援，這表明其策略是提供一個全面託管、可擴展且安全的 MLOps 環境，以加速 AI/ML 的採用。

生成式 AI 的追蹤和管理功能將成為 MLOps 平台的核心組成部分。

託管 MLflow 3.0 在 Amazon SageMaker 上引入了生成式 AI 應用程式追蹤和 LLM 實驗觀察性，這反映了市場對管理大型語言模型獨特複雜性的日益增長的需求。

⏳ 時間線

2021-06

AWS MLOps 參考架構強調 SageMaker 作為端到端解決方案。

2022-12

基於 Amazon SageMaker 生態系統的 MLOps 參考架構被提出，利用 SageMaker Studio 及其功能。

2023-05

AWS 部落格文章詳細介紹了使用 AWS 原生服務和 SigV4 驗證來保護 AWS 中的 MLflow，MLflow 1.30+ 整合了 SigV4 簽名功能。

2024-06

AWS 宣布 Amazon SageMaker 上全面託管 MLflow 正式可用。

2025-07

Amazon SageMaker 上全面託管 MLflow 3.0 推出，透過追蹤功能簡化 AI 實驗並加速生成式 AI 開發。

2025-09

AWS 深度學習容器與 Amazon SageMaker 託管 MLflow 整合，以增強模型註冊和生成式 AI 支援。

建立內嵌 Amazon SageMaker MLflow Apps 的自訂入口網站

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (29)

👉相關動態