LLM 在 1998 iMac G3 32MB RAM 上運行
開發者在 1998 年原裝 iMac G3（233 MHz PowerPC、32 MB RAM）上運行 Andrej Karpathy 的 260K TinyStories LLM。使用 Retro68 交叉編譯、字節序轉換，並修復記憶體與注意力 bug。輸出至檔案；提供 repo 供復古實驗。
Search
Tag: #low-resource5 results
Qwen 3.5-27B 在 512MB Raspberry Pi Zero 2W 上運行
Qwen3.5-27B 模型在僅 512MB RAM 的 15 美元 Raspberry Pi Zero 2W 上離線運行，每小時數令牌。自訂實作從 SD 卡串流權重、計算並清除記憶體，不依賴 mmap 或交換。此展示極端低資源本地推論。
合成人物如何擴展日本AI發展
這篇Hugging Face部落格探討使用合成人物來克服日本AI發展中的資料稀缺問題。它提出生成模擬日本使用者的多樣合成資料，以啟動模型訓練。此方法將低資源語言的AI從稀缺轉向可擴展進展。
Sarvam 將邊緣 AI 帶入手機、汽車、眼鏡
印度 Sarvam AI 計劃將其模型部署到功能手機、汽車和智慧眼鏡上。這些邊緣模型體積極小，僅佔用兆位元組空間，能在現有手機處理器上運行，並支援離線運作。
8GB RAM 機器人 LLM 優化建議
一位建造者為四肢癱瘓丈夫打造離線伴侶機器人，使用 8GB ThinkPad 運行 Mistral-7B-Instruct。整合 Jetson Nano 語音辨識與 Piper TTS。尋求 llama.cpp 優化建議，如量化與 zram。