盧干達語手機端語言模型推出

🔑 增強重點摘要

• •BULaMU 專案是由 Makerere AI Lab 與相關學術機構合作開發，旨在解決非洲低資源語言在數位化過程中的數據匱乏問題。
• •該模型採用了針對移動端優化的輕量化架構，特別針對盧干達語（Luganda）的形態複雜性進行了詞彙表（Vocabulary）的精簡與優化，以適應極小參數規模。
• •E.A.S.T.（Efficient Android-based Small-model Toolkit）框架不僅支援離線推論，還整合了針對低階處理器（CPU）的量化技術，確保在無專用 AI 加速器的舊款 Android 手機上也能維持流暢的響應速度。

🛠️ 技術深入

• •模型架構：基於 Transformer 的解碼器（Decoder-only）架構，針對移動端進行了深度剪枝與知識蒸餾。
• •量化技術：採用 4-bit 或 8-bit 整數量化（INT4/INT8），顯著降低了記憶體佔用與 CPU 計算負載。
• •訓練數據：利用盧干達語的網路爬蟲數據、新聞語料庫以及社區貢獻的對話數據進行從頭訓練（From scratch）。
• •推論引擎：E.A.S.T. 框架利用 Android NDK 進行底層優化，直接調用 CPU 指令集（如 NEON）進行矩陣運算，繞過對 GPU 或專用 NPU 的依賴。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線