蓋世汽車訊 據(jù)外媒報道，沙特阿拉伯阿卜杜拉國王科技大學(xué)（KAUST）的研究人員發(fā)現(xiàn)了一種能夠顯著提升訓(xùn)練速度的方法。通過觀察采用大型訓(xùn)練數(shù)據(jù)庫的分布式機(jī)器學(xué)習(xí)中產(chǎn)生結(jié)果零的頻率，可以顯著加快大型機(jī)器學(xué)習(xí)模型的訓(xùn)練速度。

計算機(jī)的1和0（圖片來源：techxplore.com）

AI模型通過在數(shù)據(jù)庫上進(jìn)行訓(xùn)練來開發(fā)“智能”，而此類數(shù)據(jù)庫都被事先標(biāo)記好，以告知模型如何區(qū)分不同輸入信息，然后再做出相應(yīng)的反應(yīng)。輸入的已標(biāo)記數(shù)據(jù)越多，該模型就越擅長完成分配給它的任務(wù)。對于自動駕駛汽車等復(fù)雜深度學(xué)習(xí)應(yīng)用而言，它們需要大量輸入的數(shù)據(jù)庫以及很長的訓(xùn)練時間，即使采用了強(qiáng)大且昂貴的高度并行超級計算平臺也是如此。

在訓(xùn)練期間，小型的學(xué)習(xí)任務(wù)被分配給數(shù)十或數(shù)百個計算節(jié)點，然后在運(yùn)行下一個任務(wù)之前，這些計算節(jié)點會通過通信網(wǎng)絡(luò)分享結(jié)果。在此種并行計算任務(wù)中，計算量消耗最大的來源之一是每個模型步驟中計算節(jié)點之間的通信。

KAUST的研究人員表示：“在分布式深度學(xué)習(xí)中，通信是主要的性能瓶頸。隨著模型規(guī)模的迅速增長，我們還看到在學(xué)習(xí)過程中產(chǎn)生零值的比例在增加，稱為稀疏性。我們的想法是利用此種稀疏性，通過只發(fā)送非零數(shù)據(jù)塊來盡可能提高有效帶寬的使用效率?！?/p>

基于KAUST早期研發(fā)的SwitchML方法，即通過在處理數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)交換機(jī)上運(yùn)行高效的聚合代碼來優(yōu)化節(jié)點間的通信，研究人員希望能夠通過識別結(jié)果零，并研發(fā)一種方法，以在不中斷并行計算過程中，同步減少傳輸，而進(jìn)一步優(yōu)化該方法。

研究人員表示：“確切地說，如何利用稀疏性來加速分布式訓(xùn)練是一個具有挑戰(zhàn)性的問題。所有的節(jié)點需要在同一時間內(nèi)處理同一個位置的數(shù)據(jù)塊，因此我們必須協(xié)調(diào)節(jié)點，以確保只聚合同一個位置的數(shù)據(jù)塊。為了克服這個問題，我們打造了一個聚合程序以協(xié)調(diào)此類工作者，指導(dǎo)它們接下來發(fā)送哪個數(shù)據(jù)塊?！?/p>

該團(tuán)隊在一個由一組圖形處理單元（GPU）構(gòu)成的測試臺上展示了其OmniReduce方法，并且在典型深度學(xué)習(xí)任務(wù)中速度加快了7倍。

返回第一電動網(wǎng)首頁 >