建站
咨詢
售后
建站咨詢
新聞中心
本篇要評(píng)測(cè)的NoSQL產(chǎn)品是Tokyo Cabinet和Tokyo Tyrant，Tokyo Cabinet是一個(gè)性能優(yōu)秀的數(shù)據(jù)存儲(chǔ)引擎，而Tokyo Tyrant則提供了訪問(wèn)Tokyo Cabinet數(shù)據(jù)的網(wǎng)絡(luò)接口。這是一個(gè)很成熟的產(chǎn)品，在國(guó)內(nèi)外也有眾多的成功案例。
一、Tokyo Cabinet和Tokyo Tyrant簡(jiǎn)介
Tokyo Cabinet(簡(jiǎn)稱TC)和Tokyo Tyrant(簡(jiǎn)稱TT)，顧名思義，是源自日本的開(kāi)源項(xiàng)目。由FAL Labs維護(hù)，主要的開(kāi)發(fā)人員是Mikio Hirabayashi。最早應(yīng)用在日本最大的SNS網(wǎng)站mixi.jp上成功后而聲名鵲起。
TC是一個(gè)用C寫(xiě)的數(shù)據(jù)存儲(chǔ)引擎，以key-value的方式存儲(chǔ)數(shù)據(jù)，支持Hash、B+ tree、Hash Table等多種數(shù)據(jù)結(jié)構(gòu)。同時(shí)提供了C、 Perl、 Ruby、Java和Lua等多種語(yǔ)言的API支持，但是如果通過(guò)網(wǎng)絡(luò)來(lái)訪問(wèn)，就需要用TT。TT同樣是用C寫(xiě)的，支持從網(wǎng)絡(luò)端高并發(fā)、多線程的訪問(wèn)TC。另外TC/TT支持master/slave架構(gòu)，可以通過(guò)配置實(shí)現(xiàn)高可用性，這也是很不錯(cuò)的一個(gè)特性。
TC因?yàn)橹С朱`活的數(shù)據(jù)結(jié)構(gòu)而倍受歡迎，特別是Hash Table類型，很像傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，只是每條存儲(chǔ)記錄的列是自由定義的，可以通過(guò)列作為條件來(lái)查詢，十分方便。這是很多key-value結(jié)構(gòu)的NoSQL產(chǎn)品所不具備的特性。當(dāng)然，Hash Table類型和Hash、B+ tree相比存取效率會(huì)低一些，任何事物都是有兩面性的，在帶來(lái)高度靈活度的同時(shí)，必然要犧牲部分的效率。
TC/TT是一個(gè)久經(jīng)考驗(yàn)的很穩(wěn)定的產(chǎn)品，在千萬(wàn)及以下數(shù)據(jù)量級(jí)別表現(xiàn)出色。但是開(kāi)發(fā)者由于種種原因，已經(jīng)很長(zhǎng)時(shí)間沒(méi)有更新版本了，而是推出了對(duì)應(yīng)升級(jí)產(chǎn)品，叫做Kyoto Cabinet和Kyoto Tycoon，這也給TC/TT的前景帶來(lái)了不明朗的因素，很明顯作者是鼓勵(lì)人們使用升級(jí)的產(chǎn)品，但是由于新產(chǎn)品沒(méi)有更多的成功案例，在業(yè)界的影響力反而不如TC/TT，因此在現(xiàn)階段，TC/TT仍然是一個(gè)不錯(cuò)的NoSQL選擇。
二、測(cè)試說(shuō)明
1、測(cè)試環(huán)境
TC/TT部署在一臺(tái)PC 服務(wù)器上，配置如下：
CPU為Xeon 2.80GHz *4
內(nèi)存為4G
硬盤為一塊400G SATA盤
操作系統(tǒng)為64位CentOS 5.3版本
2、測(cè)試方法
這里仍然采用第三方實(shí)現(xiàn)的PHP客戶端進(jìn)行測(cè)試，網(wǎng)址為http://pecl.php.net/package/tokyo_tyrant，這是一個(gè)標(biāo)準(zhǔn)的PHP擴(kuò)展程序，可以編譯到PHP運(yùn)行環(huán)境中。要說(shuō)明的是，這個(gè)PHP客戶端實(shí)現(xiàn)的是TT接口，肯定比使TT自帶的tcrtest效率要低一些，但是我們的測(cè)試要盡量模擬實(shí)際的生產(chǎn)環(huán)境，所以這里使用了第三方的PHP客戶端。
為了不對(duì)測(cè)試服務(wù)器產(chǎn)生額外的影響，測(cè)試客戶端部署在另外一臺(tái)獨(dú)立的服務(wù)器上，運(yùn)行的PHP的版本是5.3.5，web server是Nginx 0.8.54，通過(guò)fastcgi的方式調(diào)用PHP服務(wù)。使用apache ab工具實(shí)現(xiàn)多個(gè)請(qǐng)求和并發(fā)操作。
為了更全面的反應(yīng)TC/TT的性能，我對(duì)B+ tree和Hash Table兩種數(shù)據(jù)庫(kù)類型分別進(jìn)行了測(cè)試，就使用上文提到的ttserver示例語(yǔ)句來(lái)建立測(cè)試數(shù)據(jù)庫(kù)，每個(gè)類型的測(cè)試又分為兩個(gè)步驟，首先是寫(xiě)操作，通過(guò)500個(gè)請(qǐng)求，每個(gè)請(qǐng)求寫(xiě)入10000條記錄，并發(fā)度為2來(lái)共寫(xiě)入500萬(wàn)條數(shù)據(jù)，數(shù)據(jù)的key為數(shù)字1到5000000，value大小為100個(gè)字節(jié)。然后是讀操作，也是用500個(gè)請(qǐng)求，每個(gè)請(qǐng)求隨機(jī)根據(jù)key值讀出10000條記錄，并發(fā)度為10共讀出500萬(wàn)條記錄，評(píng)測(cè)的重點(diǎn)是寫(xiě)入和讀出數(shù)據(jù)的時(shí)間，以及在此過(guò)程中服務(wù)器的資源使用情況。
三、安裝和使用
1、下載相關(guān)軟件的最新版本(TC、TT和TC的lua擴(kuò)展)：
- [root@localhost tctt]# wget http://fallabs.com/tokyocabinet/tokyocabinet-1.4.47.tar.gz
- [root@localhost tctt]# wget http://fallabs.com/tokyotyrant/tokyotyrant-1.1.41.tar.gz
- [root@localhost tctt]# wget http://fallabs.com/tokyocabinet/luapkg/tokyocabinet-lua-1.9.tar.gz
注意這里的lua擴(kuò)展是可選的，如果不需要使用lua接口，可以不必安裝。
2、安裝lua腳本，注意這里不能通過(guò)yum的方式安裝，否則后面裝tt時(shí)會(huì)提示找不到lua.h文件：
- wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
- make linux
- make install
安裝過(guò)程中一般會(huì)報(bào)錯(cuò)如下：
- luaconf.h:275:31: error: readline/readline.h: No such file or directory
- luaconf.h:276:30: error: readline/history.h: No such file or directory
通過(guò)yum安裝readline-devel即可：
- yum install readline-devel
3、安裝TC、TT和TC的lua擴(kuò)展，注意的是如果要使用LUA接口，那么編譯TT的時(shí)候要加--enable-lua參數(shù)：
- [root@localhost tctt]# tar zxvf tokyocabinet-1.4.47.tar.gz
- [root@localhost tctt]# cd tokyocabinet-1.4.47
- [root@localhost tokyocabinet-1.4.47]# ./configure
- [root@localhost tokyocabinet-1.4.47]# make
- [root@localhost tokyocabinet-1.4.47]# make install
- [root@localhost tctt]# tar zxvf tokyocabinet-lua-1.9.tar.gz
- [root@localhost tokyocabinet-lua-1.9]# make
- [root@localhost tokyocabinet-lua-1.9]# make install
- [root@localhost tctt]# tar zxvf tokyotyrant-1.1.41.tar.gz
- [root@localhost tctt]# cd tokyotyrant-1.1.41
- [root@localhost tokyotyrant-1.1.41]# ./configure --enable-lua
- [root@localhost tokyotyrant-1.1.41]# make
- [root@localhost tokyotyrant-1.1.41]# make install
至此就安裝完成了，整個(gè)過(guò)程很簡(jiǎn)單，當(dāng)然安裝過(guò)程可能需要一些其他的程序包，可以根據(jù)提示進(jìn)行安裝即可。
TT提供了很多命令行工具來(lái)管理數(shù)據(jù)庫(kù)，比較常用的兩個(gè)是ttserver和tcrmgr。
Ttserver的用法如下：
- ttserver [-host name] [-port num] [-thnum num] [-tout num]
- [-dmn] [-pid path] [-kl] [-log path] [-ld|-le] [-ulog path]
- [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num]
- [-rts path] [-rcc] [-skel name] [-mul num] [-ext path]
- [-extpc name period] [-mask expr] [-unmask expr] [dbname]
各個(gè)參數(shù)的說(shuō)明可查看官方文檔，這里就不一一列舉了。我們可以建立一個(gè)hash table類型和一個(gè)B+ tree類型的數(shù)據(jù)庫(kù)：
- ttserver -host 192.168.0.35 -port 11301 -thnum 8 -dmn
- -pid /home/tc/test_data/test_data_b.pid
- -log /home/tc/test_data/test_data_b.log -le
- -ulog /home/tc/test_data/ -ulim 128m -sid 1 -rts /home/tc/test_data/test_data_b.rts /home/tc/test_data/test_data.tcb
- ttserver -host 192.168.0.35 -port 11302 -thnum 8 -dmn
- -pid /home/tc/test_data/test_data_t.pid
- -log /home/tc/test_data/test_data_t.log -le
- -ulog /home/tc/test_data/ -ulim 128m -sid 1 -rts /home/tc/test_data/test_data_t.rts /home/tc/test_data/test_data.tct
注意最后一個(gè)參數(shù)的擴(kuò)展名tcb和tct決定了數(shù)據(jù)庫(kù)的類型分別是B+ tree和table。
通過(guò)tcrmgr命令行工具可以管理遠(yuǎn)程數(shù)據(jù)庫(kù)，比如我們要查看key為1的記錄可以這樣操作：
- [root@localhost tc]# tcrmgr get -port 11301 192.168.0.35 1
要了解更詳細(xì)的信息，讀者可以參看官方文檔。
#p#
四、測(cè)試結(jié)果
1、B+tree類型寫(xiě)操作
成功寫(xiě)入500萬(wàn)條記錄，共耗時(shí)739秒，平均每秒寫(xiě)入數(shù)據(jù)6766筆。數(shù)據(jù)文件大小137M。寫(xiě)入過(guò)程中，服務(wù)器內(nèi)存、CPU和磁盤等資源使用情況如下圖所示：
可見(jiàn)，CPU使用率平穩(wěn)，Idle值穩(wěn)定在73到83之間，wait值穩(wěn)定在7到12之間。內(nèi)存分配上的變化較大，主要用來(lái)緩存數(shù)據(jù)，cache部分上升了1.1G，但是沒(méi)有交換區(qū)到內(nèi)存的換入換出。磁盤IO表現(xiàn)有周期性的上下波動(dòng)，估計(jì)和TC的實(shí)現(xiàn)機(jī)制有關(guān)，數(shù)據(jù)先寫(xiě)入內(nèi)存緩沖區(qū)，然后定期的刷新到磁盤。
2、B+tree類型讀操作
成功讀出500萬(wàn)條記錄，共耗時(shí)1171秒，平均每秒讀出數(shù)據(jù)4270筆。
讀數(shù)據(jù)過(guò)程中沒(méi)有發(fā)生磁盤IO。CPU較繁忙，Idle值穩(wěn)定在38左右，等待CPU資源的進(jìn)程一直在1到6個(gè)之間。內(nèi)存表現(xiàn)平穩(wěn)沒(méi)有波動(dòng)。
3、Hash Table類型寫(xiě)操作
成功寫(xiě)入445萬(wàn)條記錄，寫(xiě)入失敗55萬(wàn)條記錄，共耗時(shí)1560秒，平均每秒寫(xiě)入數(shù)據(jù)2853筆。數(shù)據(jù)文件大小538M。寫(xiě)入過(guò)程中，服務(wù)器內(nèi)存、CPU和磁盤等資源使用情況如下圖所示：
CPU使用率較平穩(wěn)，Idle值穩(wěn)定在60到80之間，wait值最高在50左右，穩(wěn)定在20到40之間。內(nèi)存cache部分上升了0.7G用于緩存數(shù)據(jù)。磁盤IO表現(xiàn)有呈階梯狀的上升，最后達(dá)到100%，導(dǎo)致無(wú)法成功寫(xiě)入數(shù)據(jù)。
4、Hash Table類型讀操作
成功讀出500萬(wàn)條記錄，共耗時(shí)175秒，平均每秒讀出數(shù)據(jù)28571筆。
讀數(shù)據(jù)過(guò)程中沒(méi)有發(fā)生磁盤IO。CPU較繁忙，Idle值穩(wěn)定在37到41之間，等待CPU資源的進(jìn)程一直在1到9個(gè)之間。內(nèi)存表現(xiàn)平穩(wěn)沒(méi)有波動(dòng)。
五、總結(jié)
通過(guò)以上測(cè)試結(jié)果可以說(shuō)明，TC/TT寫(xiě)入的數(shù)據(jù)的時(shí)候，先緩沖到內(nèi)存中，然后通過(guò)一定的機(jī)制寫(xiě)入磁盤，這也是寫(xiě)的效率較高的原因，但是由此帶來(lái)了周期性的磁盤繁忙，也可能有丟失數(shù)據(jù)的風(fēng)險(xiǎn)。寫(xiě)入的數(shù)據(jù)完全緩存到了文件系統(tǒng)中，所以cache部分占用的內(nèi)存大量增加，這也是讀取數(shù)據(jù)的時(shí)候沒(méi)有發(fā)生磁盤IO的原因。B+ tree類型寫(xiě)入性能十分優(yōu)異，令人驚訝的是讀出的速度反而慢于寫(xiě)入的速度。Hash Table類型寫(xiě)入性能一般，但讀取性能良好?？傮w上來(lái)說(shuō)TC/TT在非海量數(shù)據(jù)的情況下表現(xiàn)不錯(cuò)，服務(wù)器資源占用穩(wěn)定，讀寫(xiě)效率較高。
本文名稱：主流NoSQL數(shù)據(jù)庫(kù)評(píng)測(cè)之TokyoCabinet
標(biāo)題路徑：http://www.5511xx.com/article/ccdjjic.html
