KSQL，用于Apache Kafka的流數(shù)據(jù)SQL引擎

作者：佚名 2017-09-06 16:49:43
大數(shù)據(jù)
SQL Server
Kafka Apache Kafka是一個(gè)分布式的、分區(qū)的、多復(fù)本的日志提交服務(wù)，使用Scala編寫，以可水平擴(kuò)展和高吞吐率而被廣泛使用。

公司主營業(yè)務(wù)：成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出富縣免費(fèi)做網(wǎng)站回饋大家。

Apache Kafka是一個(gè)分布式的、分區(qū)的、多復(fù)本的日志提交服務(wù)，使用Scala編寫，以可水平擴(kuò)展和高吞吐率而被廣泛使用。Kafka最初是由LinkedIn開發(fā)，并于2011年初開源，目標(biāo)是為實(shí)時(shí)數(shù)據(jù)處理提供一個(gè)統(tǒng)一、高通量、低等待的平臺(tái)。目前，越來越多的開源分布式處理系統(tǒng)如Cloudera、Apache Storm、Spark都支持與Kafka集成。

Kafka拓?fù)浣Y(jié)構(gòu)

Kafka的設(shè)計(jì)可以幫助用戶解決很多架構(gòu)上的問題，其具備的高性能、低耦合、高可靠性、數(shù)據(jù)不丟失等特性，結(jié)合實(shí)際的應(yīng)用系統(tǒng)使用場景，能夠非常滿足用戶的需求。

8月28日，Kafka Summit大會(huì)在舊金山召開，同一天Confluent宣布Kafka新的里程碑：KSQL——用于Apache Kafka的流數(shù)據(jù)SQL引擎。KSQL(點(diǎn)擊查看demo)是分布式、可擴(kuò)展、可靠的和實(shí)時(shí)的，支持多種流式操作，包括聚合(aggregate)、連接(join)、時(shí)間窗口(window)、會(huì)話(session)等等。它為Kafka的流處理提供了一個(gè)簡單而完整的SQL界面，而不需要再用編程語言(如Java或Python)編寫代碼。

KSQL的兩個(gè)核心概念是流(Stream)和表(Table)，集成流和表，允許將代表當(dāng)前狀態(tài)的表與代表當(dāng)前發(fā)生事件的流連接在一起。

KSQL項(xiàng)目架構(gòu)

事實(shí)上，KSQL與關(guān)系型數(shù)據(jù)庫中的SQL還是有很大不同的。傳統(tǒng)的SQL都是即時(shí)的一次性操作，不管是查詢還是更新都是在當(dāng)前的數(shù)據(jù)集上進(jìn)行。KSQL的查詢和更新是持續(xù)進(jìn)行的，而且數(shù)據(jù)集可以源源不斷地增加。簡言之，KSQL所做的其實(shí)是轉(zhuǎn)換操作，也就是流式處理。

雖然項(xiàng)目基于Apache 2.0協(xié)議開源，但目前還處于開發(fā)者預(yù)覽階段，不建議用于生產(chǎn)集群中。在可預(yù)料的條件下，KSQL在實(shí)時(shí)監(jiān)控、安全檢測、在線數(shù)據(jù)集成、應(yīng)用開發(fā)等場景擁有極大的潛力。

實(shí)時(shí)監(jiān)控：通過KSQL自定義業(yè)務(wù)層面的度量指標(biāo)，可以實(shí)時(shí)獲得。底層的度量指標(biāo)無法告訴用戶應(yīng)用程序的實(shí)際行為，所以基于應(yīng)用程序生成的原始事件來自定義度量指標(biāo)可以更好地了解應(yīng)用程序的運(yùn)行狀況。另外，可以通過KSQL為應(yīng)用程序定義某種標(biāo)準(zhǔn)，用于檢查應(yīng)用程序在生產(chǎn)環(huán)境中的行為是否達(dá)到預(yù)期;

安全檢測：KSQL把事件流轉(zhuǎn)換成包含數(shù)值的時(shí)間序列數(shù)據(jù)，通過可視化工具把這些數(shù)據(jù)展示在UI上，可以檢測到很多威脅安全的行為，比如欺詐、入侵等等;

在線數(shù)據(jù)集成：大部分的數(shù)據(jù)處理都會(huì)經(jīng)歷ETL過程，而這樣的系統(tǒng)通常都是通過定時(shí)的批次作業(yè)來完成數(shù)據(jù)處理的，但批次作業(yè)所帶來的延時(shí)在很多時(shí)候是無法被接受的。通過使用KSQL和Kafka連接器，可以將批次數(shù)據(jù)集成轉(zhuǎn)變成在線數(shù)據(jù)集成;

應(yīng)用開發(fā)：對(duì)于復(fù)雜應(yīng)用來說，使用Kafka的原生Streams API或許更合適。不過對(duì)于簡單應(yīng)用，或者對(duì)于不喜歡Java編程的人來說，KSQL會(huì)是更好的選擇。

未來，項(xiàng)目計(jì)劃增加更多的特性，包括支持更豐富的SQL語法，讓KSQL成為生產(chǎn)就緒的系統(tǒng)。相信KSQL為處理Kafka數(shù)據(jù)而提供的簡單完整的可交互式SQL接口，能夠降低流式處理的門檻。

當(dāng)前名稱：KSQL，用于ApacheKafka的流數(shù)據(jù)SQL引擎
本文URL：http://www.5511xx.com/article/dhsoeop.html