The Hidden Risk: AI Replacing Its Own Human Teachers

•AI對初階職位的衝擊已導致科技業應屆畢業生錄取率大幅下降，美國前15大科技公司在2023年至2024年間的基層職缺招募量下滑25%，造成人才供應鏈斷裂，並推高資深人才的競爭成本。
•「人類回饋強化學習 (RLHF)」是大型語言模型 (LLM) 訓練的關鍵技術，它透過人類對模型輸出的偏好排序來訓練「獎勵模型」，使AI能與複雜的人類價值觀對齊，生成更自然、有用且無害的內容。
•「人類在環 (Human-in-the-Loop, HITL)」作為一種系統設計方法，將人類判斷融入AI工作流程，不僅用於訓練和評估，更在醫療診斷、自動駕駛等高風險領域提供道德監督和安全保障，確保AI系統的品質與可靠性。
•數據標註和「人類行為供應鏈」已形成一個高度分散、低門檻但規模龐大的全球勞動市場，許多工作外包給低成本地區的遠端工人，這些工人面臨低薪和心理壓力，為AI訓練提供基礎數據。

人類回饋強化學習 (RLHF)：
- 透過收集人類對AI模型輸出（例如語言模型生成的文本）的偏好排序，訓練一個獨立的「獎勵模型」。
- 這個獎勵模型隨後作為強化學習演算法（如近端策略最佳化，PPO）的獎勵函數，用於微調AI代理（agent）的策略，使其輸出更符合人類偏好。
- 訓練流程通常包含三個主要步驟：1) 預訓練一個大型語言模型 (LM)；2) 聚合人類偏好數據並訓練一個獎勵模型 (RM)；3) 使用強化學習方法，根據RM對LM進行微調。
- 該技術特別適用於模型輸出品質難以透過演算法明確定義，但人類可以輕鬆判斷的任務，例如生成引人入勝的故事或符合人類價值觀的回應。
人類在環 (Human-in-the-Loop, HITL)：
- 一種將人類判斷和專業知識整合到機器學習系統生命週期各階段（訓練、評估、決策）的合作方法。
- 人類參與方式包括為訓練數據提供標籤、評估模型效能、以及提供回饋以協助模型學習和改進。
- 關鍵機制包括「主動學習」（模型根據不確定性選擇最具分辨力的樣本供人類標註）和「強化學習」（人類對模型行為提供回饋以提高學習效率）。
- 旨在結合人類獨有的判斷力、脈絡理解能力與AI的效率，以提升系統的準確性、可靠性、透明度及適應性，尤其在高風險或複雜應用場景中。

未來十年內，缺乏初階職位將導致高階AI專家嚴重短缺，阻礙AI創新速度。

由於入門級職位被自動化，年輕人才無法累積必要的實踐經驗和判斷力，導致資深專家梯隊無法有效補充。

企業將被迫重新設計人才培養路徑，將AI輸出審查、提示工程和判斷力訓練納入新的入門級職位。

為了彌補知識傳承斷層，企業必須主動創造新的學習機會，讓新人透過與AI協作來發展專業技能。

AI系統的倫理偏見和安全風險將因人類回饋多樣性不足而加劇。

如果人類評估員的儲備減少或其背景缺乏多樣性，AI模型將難以學習和反映廣泛的人類價值觀，可能導致系統性偏見。

1980年代

人工智慧開始發展，但智慧水平較低，功能較單一。

2022-02

OpenAI與Sama結束合作，Sama退出涉及敏感內容的自然語言處理和內容審核工作，部分數據標註員因工作內容產生心理創傷。

2022-11

OpenAI推出ChatGPT，其成功部分歸因於「人類回饋強化學習 (RLHF)」技術，引發AI熱潮，同時也凸顯了人類回饋的重要性。

2023-2024

美國前15大科技公司基層職缺招募量下滑25%，應屆畢業生佔新進工程人才比率從32%降至7%，顯示AI對入門級職位的衝擊。

2025-10

Thinkers50管理思想家桑吉．喬德利指出，AI驅動的精實團隊可能導致知識傳承中斷、風險處理真空及新協調成本上升。

2026-03

Anthropic發布研究報告，指出程式設計師的「實測暴露度」達75%，顯示AI對高薪知識型工作的衝擊，進一步證實初階職位入口正在縮窄。

隱藏的風險：AI 正在取代它所需的訓練導師