近日，阿裏雲機器學習平台PAI主導的論文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》，大模型參數高效稀疏訓練算法PST被IJCAI（International Joint Conference on Artificial Intelligence）2022錄取。論文通過減少模型稀疏訓練過程中需要更新的參數量，從而減少大模型稀疏訓練的時間以及資源開銷。

IJCAI（International Joint Conference on Artificial Intelligence）是星空人工智能領域的頂級國際會議之一，涉及機器學習，計算機視覺，自然語言處理等多個方向。本年度會議投稿超過4500篇，錄用率僅為15%，會議於7月在奧地利維也納召開。此次入選意味著阿裏雲機器學習平台PAI在大模型優化方向上的研究達到了全球業界先進水平，獲得了國際學者的認可，展現了中國深度學習91视频免费观看在國際上的競爭力。

首個大模型參數高效的稀疏訓練算法PST

論文核心內容是通過減少模型稀疏訓練過程中需要更新的參數量，從而減少大模型稀疏訓練的時間以及資源開銷。近幾年，越來越多的大模型被提出，這些模型的參數量從百億到千億甚至萬億，雖然它們可以達到很高的模型精度，但是過大的模型體積限製了這些大模型的實際落地應用。稀疏作為一個有效的模型壓縮手段，可以將大模型壓縮到較小的體積，使得它們能夠以較少的資源較快的速度運行起來。然而，稀疏訓練本身會引入額外的參數，從而使得大模型的稀疏訓練需要占用更多的訓練資源以及導致訓練速度更慢。

針對這一問題，PST提出了一種參數高效的稀疏訓練算法，通過分析權重的重要性指標，得出了其擁有兩個特性：低秩性和結構性。根據這一結論，PST算法引入了兩組小矩陣來計算權重的重要性，相比於原本需要與權重一樣大的矩陣來保存和更新重要性指標，稀疏訓練需要更新的參數量大大減少。對比常用的稀疏訓練算法，PST算法可以在僅更新1.5%的參數的情況下，達到相近的稀疏模型精度。

PST91视频免费观看已經集成在阿裏雲機器學習PAI的模型壓縮庫，以及Alicemind平台大模型稀疏訓練功能中。為阿裏巴巴集團內部落地使用大模型帶來了性能加速，在百億大模型PLUG上，PST相比於原本的稀疏訓練可以在模型精度不下降的情況下，加速2.5倍，內存占用減少10倍。目前，阿裏雲機器學習PAI已經被廣泛應用於各行各業，提供AI開發全鏈路服務，實現企業自主可控的AI方案，全麵提升機器學習工程效率。

論文名字：

Parameter-Efficient Sparsity for Large Language Models Fine-Tuning

論文作者：

李與超、羅福莉、譚傳奇、王夢娣、黃鬆芳、李深、白俊傑

論文鏈接：http://arxiv.org/pdf/2205.11005.pdf

繼續閱讀：

星空人工智能91视频免费观看網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com91视频免费播放將及時溝通與處理。！：首頁 > 新聞 » 阿裏雲機器學習平台PAI論文入選IJCAI 2022會議