描繪記憶與溝通的前沿
這項研究提出「記憶—訊號傳遞前沿」，描述受限代理應如何在保留歷史資訊與和其他代理溝通之間分配有限的資訊容量。初步指涉遊戲結果顯示，重複出現的目標可能促成更短的訊息，但隱藏循環規則所帶來的可預測性不一定會縮短訊息。
Search
Tag: #information-theory7 results
單一狀態表示下的脈絡性：適應智能信息論原理
適應性系統因資源限制而在多脈絡中重用固定內部狀態空間，在經典機率模型中不可避免產生脈絡性。本文證明再現脈絡結果統計需付出不可還原的信息論成本。非經典框架透過無單一全球聯合機率空間避免此問題，而無需量子力學。
Bennett 與 Brassard 獲圖靈獎表彰量子先驅
Charles Bennett 與 Gilles Brassard 是量子資訊理論的先驅，現獲電腦科學界最高榮譽圖靈獎。他們的基礎工作促成量子密碼學與傳送等關鍵技術。
不為產品付費時，你自己即售賣品
探討AI如何透過資訊理論及香農模型模擬人類思考，強調情感決策及親密關係限制。批判監視資本主義下用戶數據成AI平台產品。警告勿過度依賴AI預測，因噪音及不確定性。
🔬
評估關於深度學習統一理論的專著
Reddit 上的一場討論質疑了一本聲稱透過資訊理論提供深度學習統一理論的專著之可靠性。作者對該書在機械可解釋性方面的聲稱，以及其所提議的 Transformer 架構之表達能力有限表示擔憂。
🔬
無損標記器：無損失、無額外熵
資訊理論論證證明無損標記化不會限制語言模型的表達力，也不會引入不可避免的冗餘。標準標記分佈可精確匹配字串熵。在實務中，BPE-Dropout 引入噪音有助於泛化，儘管理論上最佳為集中標準標記。
香農的妻子是世界上第一個大語言模型嗎？
對 Claude Shannon 研究的歷史回顧表明，其妻子在早期通信實驗中的預測能力與現代大語言模型的邏輯不謀而合。這凸顯了 70 年前就已存在的端側個性化預測模型雛形。