建站
咨詢
售后
建站咨詢
新聞中心
11月9日，阿里巴巴宣布將開源一站式超大規(guī)模分布式圖計算平臺GraphScope。GraphScope項目組告訴DeepTech，12月將開源1.0版本，希望在易編程、高性能和一站式三個方面，解決全球圖計算領域主要研發(fā)瓶頸。
阿里巴巴以自有超大規(guī)模商業(yè)場景，和達摩院智能計算研究為基礎，自研了交互式圖查詢引擎、高性能圖分析引擎和圖深度學習引擎及相關開發(fā)者生態(tài)工具和集成。各個引擎的核心能力由GraphScope整合。
同日，中國科協、中國科學院、中國工程院主辦的世界科技與發(fā)展論壇上，GraphScope被列為重要科技發(fā)布之一。正在進行的雙11中，以GraphScope為底層框架的圖計算網絡，也正在搜索推薦、智能風控等核心場景發(fā)揮作用。
今年疫情期間，基于GraphScope的大規(guī)模因果圖推理，還幫助自動識別和預測了影響航線價格浮動及機場中轉變化的關鍵因素，克服了傳統深度學習的黑盒缺點，讓AI知其然、更知其所以然。
GraphScope項目總負責人、阿里巴巴集團資深副總裁周靖人認為，圖結構數據是各種實體關聯關系的一種自然表達，只有高效理解這些實體概念之間的廣泛聯系，才能讓數字智能技術進一步賦能實體產業(yè)。
圖計算仍然面臨三大挑戰(zhàn)
1735年瑞士數學家萊昂哈德·歐拉面對的柯尼斯堡七橋問題，可能是最早的圖計算命題。而現代圖計算問題則復雜數千倍，圖計算性能近年來已經進步的數10倍，但仍然存在三個大規(guī)模應用挑戰(zhàn)：一是相關領域問題復雜，計算模式多樣，大量解決方案碎片化；二是學習難度大，對于非專業(yè)編程人士門檻很高；三是跨域數據量大、計算效率仍然偏低。
傳統的機器學習計算框架在解決時間序列數據、非結構化數據（如視頻）已經比較高效。但對于相對比較稀疏、高維度的關聯數據，則需要圖計算性能、架構和平臺的持續(xù)進步。
若把中國484.65萬公里的公路組成一個巨大的迷宮，運用GraphScope可在一毫秒內跑完所有的岔路。
“GraphScope提供了一站式的友好的編程環(huán)境 ，它不僅支持多種核心的圖計算范式和它們之間高效的數據交換，提供了面向Python接口的單機抽象，從而屏蔽了大規(guī)模分布式計算的系統復雜性。”阿里巴巴資深專家、GraphScope團隊成員錢正平告訴DeepTech。
通俗來說，圖是一個由點和邊構成的數學模型，能夠非常容易地表達實體和數據之間的復雜關聯。與阿里巴巴諸多技術開源項目類似，GraphScope來源于阿里巴巴集團內豐富的圖場景與真實應用對于大規(guī)模圖計算提出的需求。比如電商的知識圖譜構建、風險控制、阿里云網絡安全、商品的搜索推薦和廣告等。正在進行的雙11中，圖計算也在商品推薦、智能物流和網絡安全等方面發(fā)揮著重要作用。
“圖模型可以很自然表達這些領域中數據間的復雜關聯與結構特征。利用這些特征往往可以增強大數據分析的效果，為用戶提供更精準和可靠的信息?！卞X正平告訴DeepTech。
三大引擎支撐GraphScope
DeepTech獨家獲得資料顯示，GraphScope開源項目的核心引擎主要有三駕馬車：實時交互式圖查詢引擎、高性能圖分析引擎、可擴展的圖深度學習引擎。
1）交互式圖查詢引擎：實時圖計算賦能行業(yè)革新
“深入理解圖數據”是在多樣化場景中有效利用圖計算，挖掘深層洞察和創(chuàng)造新數據價值的必要前提。為此，商業(yè)用戶及領域專家往往需要在交互式環(huán)境中，高效的探索和展現圖數據。
GraphScope利用了高層聲明式圖查詢語言—Gremlin，讓領域專家和非計算機專業(yè)用戶都可以簡潔的表達復雜圖遍歷模式。同時，還提供了“業(yè)界第一個自動并行化Gremlin執(zhí)行引擎”，讓大規(guī)模、分布式環(huán)境中對圖的復雜遍歷所涉及的內存管理與動態(tài)策略優(yōu)化等系統難題得以向用戶隱藏。
GraphScope能夠降低使用門檻，促使圖計算人人可用，這方面具體體現在能夠促進與更多行業(yè)領域專家的深度合作，讓他們能夠其領域知識跟圖計算本身系統能力結合起來，在更多行業(yè)實現技術革新。
錢正平告訴DeepTech：“在海量數據的計算上，相比已有圖上的交互式分析工具，我們希望GraphScope能提供至少一個數量級的性能（即查詢延時）優(yōu)勢，讓很多大規(guī)模的應用從不可能變成可能，而這種性能的量變能夠觸發(fā)業(yè)務效果的質變?！?/p>
2）高性能圖分析引擎：讓大規(guī)模圖計算人人可用
除了交互式的圖計算場景，圖分析也是大數據圖計算的重要一環(huán)?，F實世界中的各種實體間關系、線上線下的各種交互場景，如社交媒體網絡，化學結構，蛋白質相互作用網絡、知識圖譜、交通網絡、通信網絡、供應鏈與交易網絡等，都廣泛用到了大規(guī)模圖分析。
GraphScope團隊研發(fā)了一個基于不動點計算的大規(guī)模分布式圖計算引擎。它擴展自局部計算-增量計算的不動點計算理論。在分布式環(huán)境中，各計算節(jié)點在初始輪根據自身持有的數據進行局部計算，之后通過幾輪信息交換，每一輪都將來自別的計算節(jié)點信息作為更新，觸發(fā)增量計算，一直到系統穩(wěn)定時計算結束。該過程經過嚴謹的理論證明，保證在前提條件滿足下，該分析引擎具有終止性和準確性。
該引擎支持了阿里巴巴內部20多種業(yè)務，相對原有方案體現了十分顯著的性能提升效果，在一些業(yè)務上獲得2-3個數量級的性能提升。此外，該分析引擎還支撐了雙十一智能風控、新春五福紅包發(fā)放等重點場景，經受了海量數據和瞬時峰值的實戰(zhàn)考驗。
3）高性能、可擴展的圖深度學習
圖引擎的應用已經延伸到了人工智能領域，融合了圖計算和深度學習的圖神經網絡（GNN）更是成為了當下AI領域中非常熱門的子領域，被研究者給予了很高的期待。圖結構可以表達人類知識體系和現實生產生活中的復雜關系，從而在一切皆向量的深度學習中融入了知識和結構，使得深度學習由感知學習邁向認知學習。
GNN算法從開發(fā)到工業(yè)化落地，仍然處在快速發(fā)展和迭代的階段。應用場景的拓寬、算法理論的變化、編程范式的變化都可能帶來平臺的變化甚至顛覆。
GraphScope通過整合上述三個核心組件，提供了一站式圖計算的處理能力。同時，GraphScope通過生態(tài)豐富、語義靈活的Python編程接口，將多樣化的圖操作無縫集成。通過開發(fā)者本地的一個Python腳本，就可以實現對集群中海量圖數據的Gremlin交互查詢、圖分析算法調用和進行圖神經網絡訓練等等。此外，GraphScope還利用阿里已經開源的Vineyard項目，實現了上述操作之間高效的全內存中間結果數據交換，進一度提高應用流水線端到端的效率。
在世界科技與發(fā)展論壇上，阿里巴巴認為，隨著GraphScope開源多個提升智能技術底層能力的突破，未來可對標以TensorFlow和Hadoop為代表的人工智能底層計算架構，助益全球數字經濟加快發(fā)展。
錢正平預計，“GraphScope與TensorFlow等框架，在系統上會有一個協同關系，即將深度學習和傳統的圖模型做更緊密的結合，取得更好的效果。”
本文標題：阿里巴巴開源GraphScope，有望解決全球圖計算研發(fā)瓶頸
網址分享：http://www.5511xx.com/article/cojspis.html
