Transformer 在 4 天預測問題上掙扎

🔑 增強重點摘要

• •Transformer模型在時間序列預測中常需移除長期趨勢並標準化數據，以提升預測穩定性[2]。
• •使用滑動窗口生成輸入-目標對，並以MinMaxScaler正規化數據，是常見的股票價格預測數據準備方法[3]。
• •Stockformer等專門模型利用小時級細粒度數據（如Polygon.io API提供），避免每日數據不足訓練Transformer[1]。

🛠️ 技術深入

• •Stockformer採用多變量到單變量時間序列預測架構，使用小時時間窗口捕捉市場波動，並以循環填充模式避免邊界效應[1]。
• •Transformer編碼器堆疊多層TransformerBlock，包括位置前饋網路、殘差連接、層正規化和dropout正規化[3]。
• •模型將原始價格投影到高維嵌入空間，經Transformer編碼器後扁平化，應用最終Dense層預測下一值，使用Adam優化器與MSE損失[3]。
• •預測前常移除長期趨勢，使用過去60交易日（約3個月）模式，d_model設為120，預測未來20交易日[2]。

🔮 前景展望AI analysis grounded in cited sources