同意嗎？計(jì)算的未來(lái)是分布式！

譯文
作者：布加迪編譯 2020-03-04 08:00:00

新聞

人工智能

分布式 分布式應(yīng)用不是新鮮事。隨著ARPANET等計(jì)算機(jī)網(wǎng)絡(luò)的出現(xiàn)，第一批分布式應(yīng)用系統(tǒng)在50年前就開(kāi)發(fā)出來(lái)了。

目前創(chuàng)新互聯(lián)已為1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、湖州網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶(hù)導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶(hù)和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

【51CTO.com快譯】分布式應(yīng)用不是新鮮事。隨著ARPANET等計(jì)算機(jī)網(wǎng)絡(luò)的出現(xiàn)，第一批分布式應(yīng)用系統(tǒng)在50年前就開(kāi)發(fā)出來(lái)了。從那時(shí)起，開(kāi)發(fā)人員利用分布式系統(tǒng)來(lái)擴(kuò)展應(yīng)用和服務(wù)，包括大規(guī)模模擬、Web服務(wù)和大數(shù)據(jù)處理。我在這20多年的職業(yè)生涯中開(kāi)發(fā)過(guò)分布式系統(tǒng)，涉及互聯(lián)網(wǎng)、對(duì)等網(wǎng)絡(luò)、大數(shù)據(jù)和現(xiàn)在的機(jī)器學(xué)習(xí)等領(lǐng)域。

然而就在不久前，分布式應(yīng)用還是例外，而不是常態(tài)。即使在今天，大多數(shù)學(xué)校的本科生也很少搞涉及分布式應(yīng)用的項(xiàng)目（即便有的話），不過(guò)這種情況在迅速改變。

分布式應(yīng)用很快將成為常態(tài)，而不是例外

推動(dòng)這一轉(zhuǎn)變的兩大潮流是：摩爾定律終結(jié)和新的機(jī)器學(xué)習(xí)應(yīng)用對(duì)計(jì)算需求激增。這些潮流導(dǎo)致應(yīng)用需求和單節(jié)點(diǎn)性能之間的差距迅速拉大，這使得我們除了分發(fā)這些應(yīng)用外別無(wú)選擇。

摩爾定律已死

過(guò)去40年來(lái)推動(dòng)計(jì)算機(jī)行業(yè)空前發(fā)展的摩爾定律已走到頭。根據(jù)摩爾定律，處理器的性能每18個(gè)月翻番。而今天，它在同一時(shí)期僅以10%至20%的速度增長(zhǎng)。

雖然摩爾定律可能已死，但對(duì)增加計(jì)算資源的需求并未停止。為了應(yīng)對(duì)這一挑戰(zhàn)，計(jì)算機(jī)架構(gòu)師將注意力集中到制造以通用性換性能的針對(duì)特定領(lǐng)域的處理器上。

光有針對(duì)特定領(lǐng)域的硬件不夠

針對(duì)特定領(lǐng)域的處理器以犧牲通用性為代價(jià)，對(duì)特定工作負(fù)載進(jìn)行了優(yōu)化。這類(lèi)工作負(fù)載的典例是深度學(xué)習(xí)，深度學(xué)習(xí)徹底改變了幾乎每個(gè)應(yīng)用領(lǐng)域，包括金融服務(wù)、工業(yè)控制、醫(yī)療診斷、制造和系統(tǒng)優(yōu)化等。

為了支持深度學(xué)習(xí)工作負(fù)載，許多公司競(jìng)相制造專(zhuān)用處理器，比如英偉達(dá)的GPU和谷歌的TPU。然而，雖然GPU和TPU等加速器帶來(lái)了更強(qiáng)的計(jì)算能力，但它們實(shí)質(zhì)上有助于延長(zhǎng)摩爾定律的壽命，而不是從根本上提高改進(jìn)的速度。

深度學(xué)習(xí)應(yīng)用需求的三重打擊

機(jī)器學(xué)習(xí)應(yīng)用的需求正以驚人的速度增長(zhǎng)。下面是三種典型的重要工作負(fù)載。

1. 訓(xùn)練

據(jù)OpenAI的一篇著名博文（https://openai.com/blog/ai-and-compute）介紹，自2012年以來(lái)，獲得最機(jī)器學(xué)習(xí)結(jié)果所需的計(jì)算量大約每3.4個(gè)月翻番。這相當(dāng)于每18個(gè)月增加近40倍，比摩爾定律還要多20倍！因此，即使摩爾定律還沒(méi)有終結(jié)，它仍遠(yuǎn)遠(yuǎn)滿足不了這些應(yīng)用的要求。

這種爆炸性的增長(zhǎng)并非僅限于深?yuàn)W的機(jī)器學(xué)習(xí)應(yīng)用，比如AlphaGo。類(lèi)似的趨勢(shì)也適用于主流應(yīng)用領(lǐng)域，比如計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理。不妨考慮兩個(gè)最神經(jīng)機(jī)器翻譯（NMT）模型：2014年的seq2seq模型和2019年針對(duì)數(shù)百億個(gè)句子對(duì)的預(yù)訓(xùn)練方法。兩者所需的計(jì)算資源之比超過(guò)5000倍。這相當(dāng)于每年增加5.5倍。同樣不妨考慮ResNet 50與ResNeXt 101 Instagram模型，這兩個(gè)最對(duì)象識(shí)別模型分別于2015年和2018年發(fā)布。兩者的訓(xùn)練時(shí)間之比達(dá)到驚人的11000倍（ResNet 50使用16個(gè)英偉達(dá)V100 GPU用時(shí)58分鐘，ResNetXt 101使用336個(gè)GPU用時(shí)22天）。這相當(dāng)于每年增加22倍！這使摩爾定律相形見(jiàn)絀，摩爾定律每年增長(zhǎng)僅1.6倍。

這些需求與專(zhuān)用處理器的功能之間的差距日益拉大，系統(tǒng)架構(gòu)師除了分發(fā)這些計(jì)算別無(wú)選擇。最近，谷歌發(fā)布了TPU v2和v3 pod，含有多達(dá)1000個(gè)通過(guò)高速網(wǎng)狀網(wǎng)絡(luò)連接的TPU。值得關(guān)注的是，雖然TPU v3 pod的功能是TPU v2 pod的8倍，但其中只有2倍來(lái)自更快的處理器，其余的6倍來(lái)自TPU v3 pod變得更分布式，即使用的處理器比TPU v2 pod多4倍。同樣，英偉達(dá)發(fā)布了兩個(gè)分布式AI系統(tǒng)：分別是搭載8個(gè)GPU和16個(gè)GPU的DGX-1和DGX-2。此外，英偉達(dá)最近收購(gòu)了老牌網(wǎng)絡(luò)供應(yīng)商邁絡(luò)思，以增強(qiáng)其數(shù)據(jù)中心中GPU之間的連接性。

2. 調(diào)整

情況變得更糟。你不會(huì)只訓(xùn)練一次模型。通常，模型的質(zhì)量取決于各種超參數(shù)，比如層數(shù)、隱藏單元數(shù)量和批大小。找到最佳模型常常需要在各種超參數(shù)設(shè)置之間進(jìn)行搜索，這個(gè)過(guò)程就叫超參數(shù)調(diào)整，開(kāi)銷(xiāo)可能很大。比如說(shuō)，RoBERTa是用于預(yù)訓(xùn)練NLP模型的可靠技術(shù)，它使用的超參數(shù)多達(dá)17個(gè)。假設(shè)每個(gè)超參數(shù)至少有兩個(gè)值，搜索空間由13萬(wàn)多個(gè)配置組成，探索這些空間（哪怕是部分探索）可能需要大量的計(jì)算資源。

超參數(shù)調(diào)整任務(wù)的另一個(gè)例子是神經(jīng)架構(gòu)搜索，它嘗試不同的架構(gòu)，并選擇性能最佳的架構(gòu)，從而使人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)實(shí)現(xiàn)自動(dòng)化。研究人員聲稱(chēng)，即使設(shè)計(jì)一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)也可能需要數(shù)十萬(wàn)個(gè)GPU計(jì)算日。

3. 模擬

雖然深度神經(jīng)網(wǎng)絡(luò)模型常常可以利用專(zhuān)用硬件方面的進(jìn)步，但并非所有機(jī)器學(xué)習(xí)算法都可以。尤其是，強(qiáng)化學(xué)習(xí)算法涉及大量模擬。由于復(fù)雜的邏輯，這些模擬仍然在通用CPU上執(zhí)行最好（它們將GPU僅用于渲染），因此無(wú)法得益于硬件加速器的最新進(jìn)步。比如說(shuō)，OpenAI在最近的一篇博文（https://openai.com/blog/openai-five/）中聲稱(chēng)，使用128000個(gè)CPU核心和僅僅256個(gè)GPU（即CPU比GPU多500倍）來(lái)訓(xùn)練玩《Dota 2》游戲時(shí)能擊敗愛(ài)好者的模型。

雖然《Dota 2》只是個(gè)游戲，但我們看到模擬日益用在決策應(yīng)用領(lǐng)域中，這個(gè)領(lǐng)域出現(xiàn)了幾家新興公司，比如Pathmind、Prowler和Hash.ai。由于模擬器試圖更準(zhǔn)確地對(duì)環(huán)境建模，復(fù)雜性隨之增加。這又大大增強(qiáng)了強(qiáng)化學(xué)習(xí)的計(jì)算復(fù)雜性。

小結(jié)

大數(shù)據(jù)和AI在迅速改變我們所知道的世界。雖然任何技術(shù)革命都存在危險(xiǎn)，但我們看到這場(chǎng)革命大有潛力以十年前根本無(wú)法想象的方式改善我們的生活。然而要兌現(xiàn)這一承諾，我們需要克服這些應(yīng)用的需求與硬件功能之間迅速拉大的差距所帶來(lái)的巨大挑戰(zhàn)。為了縮小這個(gè)差距，我們只能分發(fā)這些應(yīng)用。這需要新的軟件工具、框架和課程來(lái)培訓(xùn)和幫助開(kāi)發(fā)人員構(gòu)建這類(lèi)應(yīng)用。這開(kāi)啟了一個(gè)新的、令人興奮的計(jì)算時(shí)代。

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】

分享文章：同意嗎？計(jì)算的未來(lái)是分布式！
本文URL：http://www.5511xx.com/article/ccisich.html