建站
咨詢
售后
建站咨詢
新聞中心
本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。
創(chuàng)新互聯(lián)長(zhǎng)期為近千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為象山企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)，象山網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。
麻省理工學(xué)院的研究人員最近推出了一種新的概率編程語(yǔ)言 Gen，這種語(yǔ)言讓研究人員在不需要處理方程式和手動(dòng)編寫高性能代碼的情況下，編寫應(yīng)用人工智能技術(shù)的多個(gè)領(lǐng)域的模型和算法。軟件科學(xué)家 Jesus Rodriguez 寫了一篇文章，文章介紹了 Gen 以及其他一些類似的工具，雷鋒網(wǎng) AI 科技評(píng)論將他的文章編譯整理如下。
概率編程語(yǔ)言（PPL）領(lǐng)域正經(jīng)歷著機(jī)器學(xué)習(xí)技術(shù)快速發(fā)展帶來(lái)的奇跡般的復(fù)興。在短短的幾年里，PPL 已經(jīng)從一個(gè)模糊的統(tǒng)計(jì)研究領(lǐng)域發(fā)展出十幾個(gè)活躍的開(kāi)源方案。最近，麻省理工學(xué)院（MIT）的研究人員推出了一種新的概率編程語(yǔ)言 Gen。這種新語(yǔ)言讓研究人員在不需要處理方程式和手動(dòng)編寫高性能代碼的情況下，編寫應(yīng)用人工智能技術(shù)的多個(gè)領(lǐng)域的模型和算法。
PPL 是機(jī)器學(xué)習(xí) pipeline 的常規(guī)組件，但其實(shí)現(xiàn)仍然具有挑戰(zhàn)性。雖然市場(chǎng)上的 PPL 顯著增加，但大多數(shù) PPL 仍局限于研究工作，不適用于實(shí)際的應(yīng)用。在 2015 年谷歌開(kāi)源 TensorFlow 之前，深度學(xué)習(xí)領(lǐng)域也經(jīng)歷了類似的挑戰(zhàn)。使用 TensorFlow，開(kāi)發(fā)人員能夠使用一致的框架構(gòu)建復(fù)雜但高效的深度學(xué)習(xí)模型。從某種意義來(lái)說(shuō)，Gen 正在尋找概率規(guī)劃的方法，正如 TensorFlow 為深度學(xué)習(xí)所做的那樣。然而，為了做到這一點(diǎn)，Gen 需要在 PPL 的兩個(gè)關(guān)鍵特征上進(jìn)行精細(xì)平衡。
表達(dá)性與效率
現(xiàn)代 PPL 最大的挑戰(zhàn)是在建模表達(dá)性和推理效率之間取得平衡。雖然許多 PPL 在語(yǔ)法上都很豐富，可以用來(lái)表示幾乎任何模型，但它們往往支持有限的推理算法，這些算法的收斂速度非常慢。其他 PPL 有豐富的推理算法，但仍然局限于特定的領(lǐng)域，使其不適用于一般的應(yīng)用。
通用 PPL 應(yīng)能實(shí)現(xiàn)兩個(gè)基本效率向量：
1）推理算法效率：一個(gè)通用的 PPL 應(yīng)該允許開(kāi)發(fā)人員在不犧牲底層組件性能的情況下創(chuàng)建定制的、高度復(fù)雜的模型。PPL 語(yǔ)法的表達(dá)性越強(qiáng)，優(yōu)化過(guò)程就越具有挑戰(zhàn)性。
2）實(shí)現(xiàn)效率：通用 PPL 要求系統(tǒng)運(yùn)行超越算法本身的推理算法。實(shí)現(xiàn)效率由存儲(chǔ)算法狀態(tài)的數(shù)據(jù)結(jié)構(gòu)、系統(tǒng)是否利用緩存和增量計(jì)算等因素決定。
Gen
Gen 通過(guò)利用一種新的體系結(jié)構(gòu)來(lái)解決前面提到的一些挑戰(zhàn)，該體系結(jié)構(gòu)改進(jìn)了一些傳統(tǒng)的 PPL 技術(shù)?；?Julia 編程語(yǔ)言，Gen 引入了一種體系結(jié)構(gòu)，該體系結(jié)構(gòu)將模型表示為圖靈完整建模語(yǔ)言中的程序代碼，而不是黑盒，它公開(kāi)了通過(guò)公共接口進(jìn)行推理的功能。這些黑盒稱為生成函數(shù)，包括具有以下功能的接口：
1.構(gòu)建模型的工具：Gen 提供多種可交互操作的建模語(yǔ)言，每種語(yǔ)言的靈活性/效率權(quán)衡都不一樣。單個(gè)模型可以組合來(lái)自多個(gè)建模語(yǔ)言的代碼。生成函數(shù)利用了非常適合模型和增量計(jì)算的數(shù)據(jù)結(jié)構(gòu)。
2.裁剪推理的工具：Gen 為推理編程提供了一個(gè)高級(jí)庫(kù)，僅通過(guò)生成函數(shù)與模型交互，它實(shí)現(xiàn)了推理算法模塊的構(gòu)建。
3.評(píng)估：Gen 提供了一個(gè)經(jīng)驗(yàn)?zāi)Ｐ?，用以評(píng)估其在已知推理問(wèn)題中對(duì)備選方案的性能。
下圖說(shuō)明了 Gen 的體系結(jié)構(gòu)?？梢钥吹?，框架支持差異推理算法，以及基于生成函數(shù)概念的抽象層。
使用 Gen
開(kāi)始使用 Gen 是很簡(jiǎn)單的事情?？梢允褂?Julia 軟件包管理器安裝該語(yǔ)言工具。
- pkg> add https://github.com/probcomp/Gen
在 Gen 中編寫生成函數(shù)和編寫帶有幾個(gè)擴(kuò)展名的 julian 函數(shù)一樣簡(jiǎn)單。
- @gen function foo(prob::Float64)
- z1 = @trace(bernoulli(prob), :a)
- z2 = @trace(bernoulli(prob), :b)
- return z1 || z2
- end
Gen 還包含一個(gè)可視化框架，可以用來(lái)繪制推理模型并評(píng)估其效率。
- # Start a visualization server on port 8000
- server = VizServer(8000)
- # Initialize a visualization with some parameters
- viz = Viz(server, joinpath(@__DIR__, "vue/dist"),
- Dict("xs" => xs, "ys" => ys, "num" => length(xs), "xlim" => [minimum(xs), maximum(xs)], "ylim" => [minimum(ys), maximum(ys)])) # Open the visualization in a browser
- openInBrowser(viz)
類似工具推薦
Gen 并不是唯一一種試圖解決可編程推理挑戰(zhàn)的語(yǔ)言。近年來(lái)，PPL 有了許多強(qiáng)大的替代方案：
-
Edward
Edward 是一種用 Python 編寫的圖靈完全概率編程語(yǔ)言（PPL）。Edward 最初是由 Google Brain 團(tuán)隊(duì)支持的，但現(xiàn)在有了很多的貢獻(xiàn)者。Edward 的原始研究論文發(fā)表于 2017 年 3 月，自那時(shí)起，Stack 在機(jī)器學(xué)習(xí)社區(qū)內(nèi)得到了廣泛的采用。Edward 融合了三個(gè)領(lǐng)域：貝葉斯統(tǒng)計(jì)和機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、概率編程。該庫(kù)與 Keras 和 TensorFlow 等深入學(xué)習(xí)框架無(wú)縫集成。
-
Pyro
Pyro 是 Uber 人工智能實(shí)驗(yàn)室發(fā)布的一種深層概率編程語(yǔ)言（PPL）。Pyro 建立在 PyTorch 之上，基于四個(gè)基本原則：
-
通用：Pyro 是一個(gè)通用的 PPL，它可以表示任何可計(jì)算的概率分布。怎樣表示？從具有迭代和遞歸（任意 Python 代碼）的通用語(yǔ)言開(kāi)始，然后添加隨機(jī)抽樣、觀察和推理。
-
可擴(kuò)展：Pyro 可以擴(kuò)展到大型數(shù)據(jù)集，手寫代碼的開(kāi)銷很小。如何做到？通過(guò)建立現(xiàn)代黑盒優(yōu)化技術(shù)，利用小批量的數(shù)據(jù)進(jìn)行近似推理。
-
最?。篜yro 靈活且可維護(hù)。如何做到？Pyro 是用一個(gè)強(qiáng)大的、可組合的抽象內(nèi)核實(shí)現(xiàn)的。在可能的情況下，可以使用 PyTorch 和其他庫(kù)。
-
靈活：Pyro 的目標(biāo)是在你需要的時(shí)候?qū)崿F(xiàn)自動(dòng)化和控制。如何做到？Pyro 使用高級(jí)抽象來(lái)表示生成和推理模型，同時(shí)允許研究人員輕松自定義推理。
-
Infer.Net
微軟最近開(kāi)放了一個(gè)為.NET 開(kāi)發(fā)者簡(jiǎn)化概率編程的框架。微軟研究院從 2004 年開(kāi)始致力于 Infer.net，但直到最近，隨著深度學(xué)習(xí)的出現(xiàn)，該框架才真正流行起來(lái)。Infer.net 的強(qiáng)大優(yōu)勢(shì)，使得它成為開(kāi)發(fā)人員冒險(xiǎn)進(jìn)入深度 PPL 領(lǐng)域的有力選擇。
Gen 是 PPL 中最新但也是最有趣的一個(gè)添加項(xiàng)。統(tǒng)計(jì)與深度學(xué)習(xí)相結(jié)合是人工智能未來(lái)發(fā)展的關(guān)鍵要素。像 Gen 這樣的嘗試正努力試圖使 PPL 通用化，就像 TensorFlow 對(duì)深度學(xué)習(xí)所做的那樣。
本文標(biāo)題：MIT推出編程語(yǔ)言，從方程式和手寫代碼上解放工程師
網(wǎng)站URL：http://www.5511xx.com/article/coopjdi.html
