但首先，重要的是要了解到底什么是外部數(shù)據(jù)產(chǎn)品或數(shù)據(jù)應(yīng)用，以及開發(fā)出來的應(yīng)用類型將如何指導(dǎo)做出決策。

什么是外部數(shù)據(jù)產(chǎn)品？有哪些數(shù)據(jù)應(yīng)用實(shí)例？它們?nèi)绾斡绊懩愕臎Q策？

外部數(shù)據(jù)產(chǎn)品是面向或影響客戶的任何數(shù)據(jù)資產(chǎn)。范圍可以從用于客戶計(jì)費(fèi)流程的數(shù)據(jù)集到完全獨(dú)立的數(shù)據(jù)密集型應(yīng)用，并有自己的用戶界面提供給客戶操作。

目前數(shù)據(jù)領(lǐng)域最熱門的趨勢(shì)之一是，公司在其SaaS產(chǎn)品中創(chuàng)建數(shù)據(jù)應(yīng)用程序或添加額外層，以幫助客戶分析數(shù)據(jù) ，就像前面提到的Toast公司一樣。

Snowflake有一個(gè)有用的列表，列出了五種常見類型的數(shù)據(jù)應(yīng)用類型（完整的參考架構(gòu)）：

• 客戶360：營(yíng)銷或銷售自動(dòng)化，需要對(duì)客戶關(guān)系有一個(gè)完整的看法。
• 物聯(lián)網(wǎng)：對(duì)來自物聯(lián)網(wǎng)設(shè)備和傳感器的大量時(shí)間序列數(shù)據(jù)進(jìn)行近乎實(shí)時(shí)的分析。
• 應(yīng)用健康和安全分析：通過分析大量的日志數(shù)據(jù)，識(shí)別潛在的安全威脅和監(jiān)測(cè)應(yīng)用程序的運(yùn)行狀況。
• 機(jī)器學(xué)習(xí)（ML）和數(shù)據(jù)科學(xué)：訓(xùn)練和部署機(jī)器學(xué)習(xí)模型，以構(gòu)建預(yù)測(cè)性應(yīng)用，如推薦引擎。
• 嵌入式分析：在應(yīng)用程序中提供的品牌分析和可視化。

然而，外部數(shù)據(jù)產(chǎn)品不需要是完全內(nèi)置的應(yīng)用程序，也不需要集成在主要的SaaS產(chǎn)品中。例如，Monte Carlo公司的做法就不是這樣。

我們是一個(gè)數(shù)據(jù)密集型的SaaS應(yīng)用，可以在用戶界面中進(jìn)行監(jiān)控、報(bào)警和提供線索。還可以在用戶界面中向客戶提供洞察力報(bào)告，并為他們提供選擇，使用Snowflake數(shù)據(jù)共享集成在他們自己的Snowflake環(huán)境中。

在后一種情況下，我們只是為客戶提供構(gòu)件，使其能夠進(jìn)一步定制他們想要的可視化方式或與其他數(shù)據(jù)相結(jié)合。

對(duì)什么是數(shù)據(jù)應(yīng)用或外部數(shù)據(jù)產(chǎn)品有一個(gè)全面的認(rèn)識(shí)是很重要的，因?yàn)檫@能促使團(tuán)隊(duì)確保給予更高的嚴(yán)謹(jǐn)性，最好是在工程之外出錯(cuò)。

下面這些問題很重要：

• 我們有哪些外部數(shù)據(jù)產(chǎn)品，它們有哪些類型？
• 他們?cè)跒檎l(shuí)服務(wù)？有哪些使用案例？
• 他們是否滿足這些期望？我們?nèi)绾魏饬磕兀?/li>
• 我們是否擁有合適的工具和流程？

從后續(xù)五個(gè)維度評(píng)估外部數(shù)據(jù)產(chǎn)品也很重要。

架構(gòu)

與內(nèi)部產(chǎn)品一樣，外部數(shù)據(jù)產(chǎn)品可以利用各種數(shù)據(jù)云服務(wù)作為其平臺(tái)的基礎(chǔ)，包括數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)。

然而，許多人會(huì)利用像 Snowflake這樣的解決方案，因?yàn)樗軆?yōu)化大規(guī)模存儲(chǔ)和查詢關(guān)系型數(shù)據(jù)的方式。這可能是你的團(tuán)隊(duì)第一次討論多租戶架構(gòu)。在為外部客戶服務(wù)時(shí)，這是一個(gè)很大的變化和決策點(diǎn)。

當(dāng)利用數(shù)據(jù)倉(cāng)庫(kù)作為產(chǎn)品的基礎(chǔ)時(shí)，Snowflake描述了三種多租戶設(shè)計(jì)選項(xiàng)：

• 多租戶表：將租戶集中在單個(gè)共享對(duì)象中，使租戶能夠有效地共享計(jì)算和其他資源。
• 每個(gè)租戶的對(duì)象：將租戶隔離到同一賬戶中的單獨(dú)表、模式、數(shù)據(jù)庫(kù)和倉(cāng)庫(kù)中。
• 每個(gè)租戶的賬戶：將租戶隔離到單獨(dú)的Snowflake賬戶中。

每個(gè)選項(xiàng)都有優(yōu)點(diǎn)和缺點(diǎn)，但總的來說，選擇取決于什么需要更有效地伸縮—共享計(jì)算/存儲(chǔ)還是基于角色的數(shù)據(jù)訪問 。

大多數(shù)內(nèi)部產(chǎn)品都是在同一公司交付的，要遵守同樣的公司內(nèi)部政策和法規(guī)。例如，如果營(yíng)銷團(tuán)隊(duì)的數(shù)據(jù)資產(chǎn)與法律團(tuán)隊(duì)的數(shù)據(jù)資產(chǎn)在同一個(gè)倉(cāng)庫(kù)中，他們不會(huì)感到不安。但外部客戶可能會(huì)更關(guān)心。

當(dāng)然，你可以在你的堆棧中做出其他的架構(gòu)選擇來減輕這些權(quán)衡。例如，Monte Carlo利用Snowflake的MTT多租戶架構(gòu)，使用行業(yè)的最佳實(shí)踐，如標(biāo)記化，從邏輯上分離客戶數(shù)據(jù)。此外，我們使用一個(gè)混合架構(gòu)，將數(shù)據(jù)收集器嵌入客戶的環(huán)境中（但通常不總是作為自己的虛擬私有云）。

這意味著數(shù)據(jù)永遠(yuǎn)不會(huì)離開其環(huán)境。PII和敏感數(shù)據(jù)被抽象化，我們提取的是非敏感日志和評(píng)估其數(shù)據(jù)系統(tǒng)健康狀況所需的指標(biāo)聚合。

架構(gòu)決策過程的另一部分，類似于內(nèi)部數(shù)據(jù)產(chǎn)品，是了解用例和工作負(fù)載。頻率、規(guī)模和所需的時(shí)間表是多少？客戶會(huì)在設(shè)定的時(shí)間接收數(shù)據(jù)、能夠按需查詢數(shù)據(jù)、實(shí)時(shí)訪問數(shù)據(jù)，還是三者兼而有之？正如我們之前提到的，了解工作負(fù)載對(duì)于做出具有成本效益的架構(gòu)選擇非常有幫助。然而，與外部產(chǎn)品不同的是，可能有更多種類的用例需要支持。

在構(gòu)建Monte Carlo時(shí)，我們不僅要考慮我們的關(guān)鍵任務(wù)生產(chǎn)的工作負(fù)載，還要考慮我們的內(nèi)部團(tuán)隊(duì)如何訪問這些面向外部的數(shù)據(jù)。在這種情況下，進(jìn)行內(nèi)部分析和數(shù)據(jù)科學(xué)研究，作為開發(fā)我們的機(jī)器學(xué)習(xí)驅(qū)動(dòng)的異常監(jiān)視器的一部分。

用戶期望

假設(shè)你有一個(gè)數(shù)據(jù)產(chǎn)品，你的用戶通常可以信任它來幫助回答他們的一些問題。數(shù)據(jù)每天都會(huì)刷新，儀表板有一些可點(diǎn)擊的元素，他們可以在其中深入了解詳細(xì)信息。

這對(duì)一些內(nèi)部用戶來說可能已經(jīng)足夠了。他們可以完成他們的工作，表現(xiàn)要比沒有儀表板時(shí)更好。另一方面，你的外部用戶卻很生氣。他們想信任你的產(chǎn)品，想讓它實(shí)時(shí)地回答他們所有的問題。

他們憑什么不該生氣呢？畢竟，他們是為你的產(chǎn)品買單的，他們本可以選擇競(jìng)爭(zhēng)對(duì)手的產(chǎn)品。

當(dāng)數(shù)據(jù)是產(chǎn)品時(shí)，數(shù)據(jù)質(zhì)量就是產(chǎn)品質(zhì)量。這個(gè)簡(jiǎn)單的事實(shí)就是為什么一些最熱衷于采用我們的數(shù)據(jù)觀察型平臺(tái)的人正在利用它來支持他們的數(shù)據(jù)應(yīng)用。例如，多渠道數(shù)字廣告供應(yīng)商Choozle，在推出大規(guī)模平臺(tái)升級(jí)到一流的數(shù)據(jù)可靠性時(shí)，采用了數(shù)據(jù)觀察能力。

Choozle公司首席技術(shù)官亞當(dāng)-伍茲說：“如果沒有這樣的工具，我們可能會(huì)對(duì)最終結(jié)果的表格進(jìn)行監(jiān)控，但這可能會(huì)隱藏很多問題?！?/strong>你可能看不到與表格中成千上萬(wàn)的廣告活動(dòng)中的一小部分相關(guān)的內(nèi)容，但運(yùn)行該活動(dòng)的廣告商將會(huì)看到它。有了[數(shù)據(jù)可觀察性]，我們就無(wú)需妥協(xié)。我們可以對(duì)所有的3500個(gè)表進(jìn)行監(jiān)測(cè)。

當(dāng)數(shù)據(jù)面向客戶或?yàn)槊嫦蚩蛻舻膽?yīng)用程序提供動(dòng)力時(shí)，質(zhì)量差甚至?xí)p壞產(chǎn)品。例如，創(chuàng)建具有相同主鍵的重復(fù)對(duì)象的數(shù)據(jù)問題實(shí)際上導(dǎo)致了Netflix的中斷。

在規(guī)模和速度方面，外部客戶從不想等待數(shù)據(jù)，他們想要更多的數(shù)據(jù)維度，以便他們可以切分和拼接到他們心中的內(nèi)容。例如，我們的一位金融服務(wù)客戶不僅關(guān)注數(shù)據(jù)新鮮度，還關(guān)注數(shù)據(jù)延遲，換句話說，即在支持查詢的同時(shí)近乎實(shí)時(shí)地加載和更新數(shù)據(jù)的能力。

Snowflake數(shù)據(jù)共享和Snowpipe可以幫助減少數(shù)據(jù)延遲。Blackboard通過使用Snowpipe連續(xù)加載數(shù)據(jù)并從S3批量加載，解決了他們的延遲挑戰(zhàn)，并使ETL工作負(fù)載的運(yùn)行速度比以前快400倍。

縮放數(shù)據(jù)維度也有助于區(qū)分。再次以Choozle為例，根據(jù)Adam的升級(jí)平臺(tái)：Snowflake使我們能夠?qū)⑺行畔⑻峁┙o我們的用戶。例如，我們可以顯示前20個(gè)郵政編碼的廣告活動(dòng)效果，現(xiàn)在廣告商可以根據(jù)需要訪問美國(guó)所有 30,000個(gè)郵政編碼的數(shù)據(jù)。

最后，在數(shù)據(jù)安全和隱私方面，你的外部數(shù)據(jù)產(chǎn)品可能不僅需要在理論上考慮 PII，還需要通過SOC II等行業(yè)標(biāo)準(zhǔn)來實(shí)際證明有效的安全控制。

投資回報(bào)率