建站
咨詢
售后
建站咨詢
新聞中心
大數(shù)據(jù)究竟是什么？大數(shù)據(jù)有哪些技術(shù)呢？
這是我通常與想要了解大數(shù)據(jù)的人進(jìn)行對話：
成都創(chuàng)新互聯(lián)公司專注于開江網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供開江營銷型網(wǎng)站建設(shè)，開江網(wǎng)站制作、開江網(wǎng)頁設(shè)計(jì)、開江網(wǎng)站官網(wǎng)定制、微信小程序開發(fā)服務(wù)，打造開江網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供開江網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
問：什么是大數(shù)據(jù)？
答：大數(shù)據(jù)是描述龐大數(shù)據(jù)的術(shù)語。
問：現(xiàn)在，大數(shù)據(jù)有多大？
答：如此龐大，以至于無法用常規(guī)工具處理？
問：通常的工具是什么意思？
答：普通文件系統(tǒng)，數(shù)據(jù)庫等工具。
所有這些大數(shù)據(jù)工具都有一個共同的特性：分布式計(jì)算。
因此，大數(shù)據(jù)是一個通常只能通過分布式的工具才能解決的問題。我知道這些天，每個人都在嘗試將他們的BI（商業(yè)情報）工具描繪成大數(shù)據(jù)工具，但不要被喧鬧聲所欺騙。
問：哪些典型的大數(shù)據(jù)問題？
大數(shù)據(jù)是對海量數(shù)據(jù)進(jìn)行存儲、計(jì)算、統(tǒng)計(jì)、分析處理的一系列處理手段，處理的數(shù)據(jù)量通常是TB級，甚至是PB或EB級的數(shù)據(jù)，這是傳統(tǒng)數(shù)據(jù)處理手段所無法完成的，其涉及的技術(shù)有分布式計(jì)算、高并發(fā)處理、高可用處理、集群、實(shí)時性計(jì)算等，匯集了當(dāng)前IT領(lǐng)域熱門流行的IT技術(shù)。
我有幸做了有五六七八年的大數(shù)據(jù)吧，談?wù)勛约旱目捶?。簡單來說，就是現(xiàn)在各個APP，網(wǎng)站產(chǎn)生的數(shù)據(jù)越來越多，越來越大，傳統(tǒng)的數(shù)據(jù)庫比如MySQL Oracle之類的，已經(jīng)處理不過來了。所以就產(chǎn)生了大數(shù)據(jù)相關(guān)的技術(shù)來處理這些龐大的數(shù)據(jù)。
第一，首先要把這些大數(shù)據(jù)都可靠的存儲起來，經(jīng)過多年的發(fā)展，hdfs已經(jīng)成了一個數(shù)據(jù)存儲的標(biāo)準(zhǔn)。
第二，既然有了這么多的數(shù)據(jù)，我們可以開始基于這些數(shù)據(jù)做計(jì)算了，于是從最早的MapReduce到后來的hive，spark，都是做批處理的。
第三， 由于像hive這些基于MapReduce的引擎處理速度過慢，于是有了基于內(nèi)存的olap查詢引擎，比如impala，presto。
第四，由于批處理一般都是天級別或者小時級別的，為了更快的處理數(shù)據(jù)，于是有了spark streaming或者flink這樣的流處理引擎。
第五，由于沒有一個軟件能覆蓋住所有場景。所以針對不同的領(lǐng)域，有了一些特有的軟件，來解決特定場景下的問題，比如基于時間序列的聚合分析查詢數(shù)據(jù)庫，inflexdb opentsdb等。采用預(yù)聚合數(shù)據(jù)以提高查詢的druid或者kylin等，
第六，還有其他用于數(shù)據(jù)削峰和消費(fèi)訂閱的消息隊(duì)列，比如kafka和其他各種mq
第七，還有一些其他的組件，比如用于資源管理的yarn，協(xié)調(diào)一致性的zookeeper等。
第八，由于hdfs 處理小文件問題不太好，還有為了解決大數(shù)據(jù)update和insert等問題，引入了數(shù)據(jù)湖的概念，比如hudi，iceberg等等。
第九，業(yè)務(wù)方面，我們基于大數(shù)據(jù)做一些計(jì)算，給公司的運(yùn)營提供數(shù)據(jù)支撐。做一些推薦，給用戶做個性化推薦。機(jī)器學(xué)習(xí)，報警監(jiān)控等等。
大數(shù)據(jù)技術(shù)可以定義為一種軟件應(yīng)用程序，旨在分析，處理和提取來自極其復(fù)雜的大型數(shù)據(jù)信息，而傳統(tǒng)數(shù)據(jù)處理軟件則無法處理。
我們需要大數(shù)據(jù)處理技術(shù)來分析大量實(shí)時數(shù)據(jù)，并提出預(yù)測和方案以減少未來的風(fēng)險。
在類別中的大數(shù)據(jù)技術(shù)分為兩大類型：
1.運(yùn)營大數(shù)據(jù)技術(shù)
2.分析大數(shù)據(jù)技術(shù)
首先，運(yùn)營大數(shù)據(jù)與我們生成的常規(guī)日常數(shù)據(jù)有關(guān)。這可能是在線交易，社交媒體或特定 組織的數(shù)據(jù)等。
運(yùn)營大數(shù)據(jù)技術(shù)的一些示例如下：
·網(wǎng)上訂票，其中包括您的火車票，飛機(jī)票，電影票等。
·在線購物是您的淘寶，京東交易等等。
·來自社交媒體網(wǎng)站（如微信，QQ等）的數(shù)據(jù)。
·任何跨國公司的員工詳細(xì)信息。
到此，以上就是小編對于mongodb單條數(shù)據(jù)大小128m的問題就介紹到這了，希望這1點(diǎn)解答對大家有用。
當(dāng)前文章：mongodb單條數(shù)據(jù)如何限制大小
文章轉(zhuǎn)載：http://www.5511xx.com/article/cdeehpj.html
