建站
咨詢
售后
建站咨詢
新聞中心
在大數(shù)據(jù)和數(shù)據(jù)科學的新時代，對企業(yè)而言，一定要有與業(yè)務流程保持一致的中心化數(shù)據(jù)架構，該架構能隨業(yè)務增長而擴展，并隨技術進步而發(fā)展。
10年積累的成都網(wǎng)站建設、網(wǎng)站制作經(jīng)驗，可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你，你也不認識我。但先建設網(wǎng)站后付款的網(wǎng)站建設流程，更有睢寧縣免費網(wǎng)站建設讓你可以放心的選擇與我們合作。
一個成功的數(shù)據(jù)架構可以使數(shù)據(jù)的各個方面清晰明了，從而使數(shù)據(jù)科學家能夠高效地處理可信的數(shù)據(jù)并解決復雜的業(yè)務問題。
架構還能幫助組織做好必要的準備，以利用新興技術迅速抓住新的商機，并通過管理整個企業(yè)中的復雜數(shù)據(jù)和信息交付來提高運營效率。
與信息架構、系統(tǒng)架構和軟件架構相比，數(shù)據(jù)架構相對較新。數(shù)據(jù)架構師的角色也很模糊，落在了高級業(yè)務分析師，ETL開發(fā)人員和數(shù)據(jù)科學家的肩膀上。盡管如此，在本文中，作者將用“數(shù)據(jù)架構師”(Data Architect)來指代那些為組織設計數(shù)據(jù)架構的專業(yè)數(shù)據(jù)管理人員。
說到架構，我們經(jīng)常會想到與建筑架構做類比。傳統(tǒng)的建筑架構師會規(guī)劃、設計和審查建筑物的建造。設計過程包括與客戶充分溝通收集需求，了解當?shù)氐姆珊铜h(huán)境限制，并與工程師、測量師及其他專家合作，以確保設計在預算之內可行。
這項工作的復雜性實際上與數(shù)據(jù)架構師的角色非常相似。但是，兩個架構師角色之間存在一些基本差異：
- 建筑物架構是自上而下的設計，而數(shù)據(jù)架構通常是將已存在的組件或系統(tǒng)集成。
- 建筑設計師在建造建筑物之前必須了解全部建筑要求并規(guī)劃建筑范圍。數(shù)據(jù)架構的范圍更為廣泛且易更改。因此，成功的數(shù)據(jù)架構設計應該是靈活的且有預見性的。
- 建筑架構師具有嚴格的教育和專業(yè)要求，并且應該在商業(yè)、藝術、結構物理和建筑材料方面有深入研究。而大多數(shù)數(shù)據(jù)架構師來自IT背景，在幾家公司或行業(yè)中具有專業(yè)經(jīng)驗，并且對業(yè)務的接觸不多。因此，他們應該意識到自己的設計可能存在偏差，需要根據(jù)組織中業(yè)務和技術專家的反饋來調整設計。
- 建筑設計幾乎都是針對從頭開始建造的新建筑物的。因此，建筑架構師可以完全根據(jù)新要求和新材料進行規(guī)劃和設計。數(shù)據(jù)架構師沒有這種優(yōu)勢。他們很少能從頭開始，但是在為未來進行設計時需要了解現(xiàn)有的平臺和數(shù)據(jù)庫。
雖然存在這些差異，但數(shù)據(jù)架構師仍然可以向建筑架構師學習，尤其是采用自上而下的方法來改進數(shù)據(jù)架構設計方面。很多機構都缺乏系統(tǒng)、集中的端到端的數(shù)據(jù)架構設計。下面列出了一些主要原因：
- 一個公司有多個IT部門，他們各自使用各自的數(shù)據(jù)標準和架構工作。
- 應用程序和流程是根據(jù)單個業(yè)務需求構建的，沒有可遵循的數(shù)據(jù)架構標準。
- 數(shù)據(jù)架構師的角色僅關注有限的技術領域，并且對數(shù)據(jù)業(yè)務知識的了解也有限。
- 管理IT項目時，在設計階段不考慮數(shù)據(jù)架構，數(shù)據(jù)科學家和工程師無需遵循一致的數(shù)據(jù)管理流程即可編寫代碼。
由于存在這些不足，所以我們經(jīng)常會看到一家公司的數(shù)據(jù)系統(tǒng)脫節(jié)，并且團隊和部門之間存在差距。這些差異導致系統(tǒng)性能低下，需要進行大量交接工作，在生產(chǎn)數(shù)據(jù)出現(xiàn)問題時要花很長時間才能排除故障，缺乏在整個系統(tǒng)中找到正確解決方案的責任感，并且缺乏評估產(chǎn)品變化影響的能力。
最后，在遷移脫節(jié)的系統(tǒng)或重新設計下一代平臺時，可能要花費大量精力進行分析和研究。
考慮到所有這些因素，一個成功的企業(yè)需要具有以業(yè)務流程和運營設計為基礎的自上而下一致的數(shù)據(jù)架構。特別是，就像建筑架構師所做的那樣，企業(yè)數(shù)據(jù)架構師需要先在概念級和邏輯級構建藍圖，然后再將技術應用于詳細的應用程序設計和實現(xiàn)。
1.基于業(yè)務流程和運營的概念級數(shù)據(jù)架構設計
在現(xiàn)代IT中，業(yè)務流程是由數(shù)據(jù)實體，數(shù)據(jù)流和應用于數(shù)據(jù)的業(yè)務規(guī)則共同支持和驅動的。因此，數(shù)據(jù)架構師需要具有深入的業(yè)務知識，其中包括財務、市場營銷、產(chǎn)品以及業(yè)務流程(例如健康、保險、制造商和零售商)等特定行業(yè)的專業(yè)知識。
然后，他才能夠通過設計代表每個業(yè)務域的數(shù)據(jù)實體和分類法以及業(yè)務流程下的數(shù)據(jù)流，從而構建正確的企業(yè)級數(shù)據(jù)藍圖。在此概念階段尤其需要考慮和計劃以下幾個方面：
- 核心數(shù)據(jù)實體和數(shù)據(jù)元素，例如關于客戶、產(chǎn)品、銷售的數(shù)據(jù)。
- 客戶和顧客所需的輸出數(shù)據(jù)。
- 要收集、轉換或引用的源數(shù)據(jù)以生成輸出數(shù)據(jù)。
- 每個數(shù)據(jù)實體的所有權以及如何根據(jù)業(yè)務用例使用和分配它。
- 要應用于每個數(shù)據(jù)實體的安全策略。
- 數(shù)據(jù)實體之間的關系，例如參考完整性、業(yè)務規(guī)則、執(zhí)行順序。
- 標準數(shù)據(jù)分類和分類法。
- 數(shù)據(jù)質量、操作和服務水平協(xié)議(SLA)的標準。
設計的概念級別由支持每個業(yè)務功能的基礎數(shù)據(jù)實體組成。藍圖對于成功設計和實施企業(yè)和系統(tǒng)架構及其未來的擴展或升級至關重要。
在很多機構中，這種概念設計通常被嵌入到由單個項目驅動的業(yè)務分析當中，而沒有從企業(yè)端到端解決方案和標準的角度進行指導的方法。
2.邏輯級數(shù)據(jù)架構設計
由于要考慮使用哪種類型的數(shù)據(jù)庫或數(shù)據(jù)格式，這種設計有時稱為數(shù)據(jù)建模。它將業(yè)務需求與基礎技術平臺和系統(tǒng)聯(lián)系到一起。但是，考慮到數(shù)據(jù)建模者的角色，大多數(shù)機構僅在特定數(shù)據(jù)庫或系統(tǒng)中設計數(shù)據(jù)建模。
通過考慮適用于每個數(shù)據(jù)庫或系統(tǒng)的標準以及這些數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)流，應采用集成方法開發(fā)成功的數(shù)據(jù)體系結構。特別是，以下五個領域需要以協(xié)同方式進行設計：
（1）命名約定和數(shù)據(jù)完整性
數(shù)據(jù)實體和元素的命名約定應一致地應用于所有數(shù)據(jù)庫。同樣，如果相同數(shù)據(jù)須駐留在多個數(shù)據(jù)庫中，則應加強數(shù)據(jù)源及其引用之間的完整性。最終，這些數(shù)據(jù)元素應屬于數(shù)據(jù)架構中概念設計中的數(shù)據(jù)實體，然后可以根據(jù)業(yè)務需求協(xié)同準確地對其進行更新或修改。
（2）數(shù)據(jù)歸檔/保留策略
如果在生產(chǎn)的最后階段才經(jīng)?？紤]或建立數(shù)據(jù)歸檔和保留策略的話，將會導致資源浪費，不同數(shù)據(jù)庫之間的數(shù)據(jù)狀態(tài)不一致，以及數(shù)據(jù)查詢和更新的表現(xiàn)不佳。為了加強數(shù)據(jù)完整性，數(shù)據(jù)架構師在以操作標準為基礎的數(shù)據(jù)架構中定義數(shù)據(jù)歸檔和保留策略。
（3）隱私和安全信息
隱私性和安全性成為了邏輯數(shù)據(jù)庫設計的重要考慮因素。雖然概念設計已經(jīng)定義了哪個數(shù)據(jù)成分屬于敏感信息，但邏輯設計應在具有受限訪問權限、受限數(shù)據(jù)復制、特定數(shù)據(jù)類型和安全數(shù)據(jù)流的數(shù)據(jù)庫中保護機密信息，以保護信息安全。
（4）資料復制
數(shù)據(jù)復制是要顧及三個目標的關鍵因素：
1)高可用性。
2)避免通過網(wǎng)絡傳輸數(shù)據(jù)的性能。
3)低耦合性以最小化下游影響。
但是，過多的數(shù)據(jù)復制會導致混亂、數(shù)據(jù)質量差和性能下降的結果。任何數(shù)據(jù)復制都應由數(shù)據(jù)架構師檢查，并應遵循一定原則和紀律。
（5）數(shù)據(jù)流和管道
在此級別上，應明確定義數(shù)據(jù)在不同數(shù)據(jù)庫系統(tǒng)和應用程序之間的流動方式。同樣，此流程與業(yè)務流程和數(shù)據(jù)架構師概念級別中提到的流程一致。此外，應在邏輯設計的集成視圖中考慮數(shù)據(jù)攝取的頻率、流水線中的數(shù)據(jù)轉換以及針對輸出數(shù)據(jù)的數(shù)據(jù)訪問模式。例如，如果上游數(shù)據(jù)源是實時的，而下游系統(tǒng)主要被用于具有重索引的聚合信息的數(shù)據(jù)訪問(例如，對于頻繁更新和插入來說成本很高)，則需要在兩者之間設計數(shù)據(jù)管道，以優(yōu)化性能。
持續(xù)治理是數(shù)據(jù)架構成功的關鍵
由于數(shù)據(jù)架構反映并支持著業(yè)務流程，因此當業(yè)務流程發(fā)生更改時，數(shù)據(jù)架構就可能會發(fā)生改變。隨著基礎數(shù)據(jù)庫系統(tǒng)的更改，數(shù)據(jù)架構也需要進行調整。因此，數(shù)據(jù)架構不是靜態(tài)的，而是需要進行連續(xù)管理、增強和審核的。因此，應采用數(shù)據(jù)治理來確保在啟動每個新項目時正確設計和實現(xiàn)企業(yè)數(shù)據(jù)架構。
結論
在成功的數(shù)據(jù)架構中，以業(yè)務流程為基礎的概念設計是最關鍵的要素，其次是邏輯設計，該邏輯設計強調所有數(shù)據(jù)庫和數(shù)據(jù)管道之間的一致性、完整性和效率。在建立起數(shù)據(jù)架構后，機構可以查看哪些數(shù)據(jù)駐留在何處，并確保數(shù)據(jù)的安全、有效存儲和正確處理。
同樣，當一個數(shù)據(jù)庫或組件發(fā)生更改時，數(shù)據(jù)架構可以幫助機構快速評估影響并指導所有相關團隊進行設計和實施。最后，數(shù)據(jù)架構是企業(yè)系統(tǒng)的實時文檔，要保證它是很新的，并提供清晰的端到端圖畫。
綜上所述，反映端到端業(yè)務流程和操作的整體數(shù)據(jù)架構對于保障公司在經(jīng)歷重大變化(如收購、數(shù)字轉換或向下一代平臺遷移)時快速高效地前進至關重要。
當前文章：我們需要什么樣的數(shù)據(jù)架構？
分享鏈接：http://www.5511xx.com/article/dhecpgs.html
