Training Azerbaijani LLMs on Amazon SageMaker AI

•Azercell開發亞塞拜然語大型語言模型是其更廣泛數位轉型策略的一部分，該策略著重於AI、雲端技術、戰略合作夥伴關係以及創新驅動的舉措，特別關注自主、自我修復的網路管理。
•Azercell與AWS的合作不僅限於大型語言模型開發，還擴展到混合雲基礎設施、GPU技術、物聯網(IoT)分析、即時遊戲技術和邊緣運算能力，旨在加速亞塞拜然企業的數位轉型。
•Azercell在AI驅動的客戶服務方面擁有豐富經驗，曾於2022年推出亞塞拜然語虛擬助理「AiCell」，並於2024年推出「AI聊天機器人」，顯示其在AI客戶體驗方面的持續投入。
•AWS生成式AI創新中心於2023年6月成立，是一項全球性計畫，投資1億美元，旨在連結AWS專家與客戶，共同建構和部署生成式AI解決方案，許多專案能在短短45天內從概念階段推進到生產部署。
•為亞塞拜然語等形態複雜、資源稀缺的語言訓練大型語言模型面臨挑戰，原因在於其黏著語特性、靈活的詞序以及在多語言訓練數據中的代表性不足，通常需要採用持續預訓練和參數高效微調等策略。

亞塞拜然語作為黏著語，其形態複雜性、靈活的詞序以及在多語言訓練數據中的代表性不足，是開發大型語言模型的主要挑戰。
解決方案可能涉及持續預訓練（continual pre-training）和參數高效微調（parameter-efficient fine-tuning）等技術，以更好地捕捉語言的語法和形態特徵。
Amazon SageMaker AI平台提供多種工具支援大型語言模型訓練，包括：
- SageMaker HyperPod clusters：專為低資源語言的大型語言模型訓練設計。
- SageMaker Ground Truth Plus：用於生成高品質的人類回饋數據，支援強化學習人類回饋（RLHF）流程，以確保模型輸出符合人類偏好。
- Hugging Face Transformers整合：允許在SageMaker上進行大規模的Transformer模型微調，支援參數高效調優方法。
訓練流程通常包括監督式訓練（supervised training）、獎勵模型訓練（reward model training）以及利用人類參考數據進行強化學習訓練（RL training with human reference data）。
亞塞拜然語的現有NLP資源，如Azmorph和MorAz（形態分析器）、AzCorpus（包含190萬份文件的語料庫）以及TUMLU基準測試，對於數據準備和模型評估至關重要。

Azercell將透過其亞塞拜然語大型語言模型顯著提升客戶服務的個人化和效率。

該模型專為電信業聊天機器人客製化，並結合Azercell現有的AI客服經驗，將能提供更精準、即時且在地化的客戶支援，從而提高客戶滿意度並降低營運成本。

此專案的成功將鼓勵更多針對低資源語言的大型語言模型開發，特別是在突厥語系國家。

成功克服亞塞拜然語的形態複雜性和數據稀缺挑戰，為其他類似語言的AI發展樹立了重要的先例和方法論，有助於彌合數位語言鴻溝。

Azercell與AWS的合作將加速亞塞拜然的整體數位轉型和AI生態系統發展。

該合作不僅限於大型語言模型，還涵蓋混合雲、GPU技術和物聯網分析等廣泛領域，將為當地企業和新創公司帶來更多創新機會，並強化國家數位基礎設施。

2017

AWS推出Amazon SageMaker，為其機器學習服務奠定基礎。

2022-08

Azercell推出亞塞拜然語虛擬助理「AiCell」，成為亞塞拜然電信業首創。

2023-06

AWS成立生成式AI創新中心，投資1億美元以加速企業生成式AI解決方案的開發與部署。

2024-12

Azercell推出「AI聊天機器人」，整合至其行動應用程式中，提供24/7客戶協助。

2025-10

Azercell正式加入Amazon合作夥伴網路，並與AWS討論擴大合作，包括AI在地化解決方案。

2025-12

Azercell宣布與AWS擴大戰略合作，涵蓋AI、混合雲基礎設施、GPU技術等，旨在加速亞塞拜然的數位轉型。

在 Amazon SageMaker AI 上訓練亞塞拜然語大型語言模型