日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢(xún)
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案
緩存大量小文件？Redis是首選！

現(xiàn)在有3KW的數(shù)據(jù)，單條數(shù)據(jù)都很小的，如果按key-value來(lái)看的話，key就是32位的MD5字符串，value按平均算大概是100字節(jié)左右。

創(chuàng)新互聯(lián)公司專(zhuān)注為客戶(hù)提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、安居網(wǎng)絡(luò)推廣、小程序設(shè)計(jì)、安居網(wǎng)絡(luò)營(yíng)銷(xiāo)、安居企業(yè)策劃、安居品牌公關(guān)、搜索引擎seo、人物專(zhuān)訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供安居建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18980820575，官方網(wǎng)址：www.cdcxhl.com

現(xiàn)在需要將這些數(shù)據(jù)做緩存以在高并發(fā)的時(shí)候依然可以快速響應(yīng)。

因?yàn)檫@些數(shù)據(jù)基本沒(méi)有冷熱數(shù)據(jù)之分，所以需要將全部數(shù)據(jù)都放到緩存中。

1、直接生成靜態(tài)文件，利用nginx對(duì)靜態(tài)文件的高效做靜態(tài)緩存。

  • 當(dāng)時(shí)服務(wù)器硬件資源有限，所以就采用這種方式，一直源用至今。
  • 服務(wù)器間通過(guò)NFS來(lái)共享
  • 太多小文件，不方便管理
  • NFS不方便運(yùn)維與擴(kuò)展
  • 文件內(nèi)容很小(100字節(jié)左右)，3KW大概就是2.5G大小左右
    • 不過(guò)文件存儲(chǔ)的時(shí)候和硬盤(pán)分區(qū)的族大小有關(guān)，在這里磁盤(pán)分區(qū)的族大小為8K，所以盡管文件內(nèi)容只有100字節(jié)，但是實(shí)際存儲(chǔ)到磁盤(pán)上的時(shí)候單個(gè)文件其實(shí)是8K
    • 所以3KW的文件世界占的磁盤(pán)空間大約為：200G左右（嚴(yán)重浪費(fèi)空間啊）

2、Redis(V2.2.11)【KV數(shù)據(jù)庫(kù)】

  • 聽(tīng)同事說(shuō)開(kāi)啟VM會(huì)使性能急劇下降，所以基本無(wú)視VM，數(shù)據(jù)全放內(nèi)存。
  • key為32位MD5字符串
  • 測(cè)試數(shù)據(jù)：10W數(shù)據(jù)大概占內(nèi)存20M
  • 測(cè)試數(shù)據(jù)：500W數(shù)據(jù)大概占內(nèi)存1G，持久化的rdb數(shù)據(jù)文件大概350M
  • 推算3KW數(shù)據(jù)：內(nèi)存6G，持久化的rdb數(shù)據(jù)文件大概為2G(壓縮了？)
  • 因?yàn)镽edis在持久化的時(shí)候內(nèi)存會(huì)加倍，和考慮到數(shù)據(jù)的增長(zhǎng)，所以需要1臺(tái)20G內(nèi)存的機(jī)器基本就沒(méi)問(wèn)題了（容災(zāi)啥的另算）。
  • Redis非?？?，如果硬件條件沒(méi)問(wèn)題，基本選這個(gè)***了。

3、Moosefs(MFS)【分布式文件存儲(chǔ)系統(tǒng)】

  • mfs支持NFS的方式mount到本地直接操作（如使用mfs，則現(xiàn)在的架構(gòu)基本不用改）
  • 最基本的需要一臺(tái)主控服務(wù)器(Master Server)、一臺(tái)數(shù)據(jù)服務(wù)器(Chunk Server)
  • 文件和目錄的索引需要全部加載到主控服務(wù)器的內(nèi)存中，所以對(duì)主控服務(wù)器的內(nèi)存有一定的要求
  • 寫(xiě)入30W文件，到20W的時(shí)候?qū)懭刖烷_(kāi)始下降得厲害了（我的5400轉(zhuǎn)的筆記本硬盤(pán)）
  • 30W文件，4W目錄，主控服務(wù)器占用大概120M內(nèi)存
  • 文件存儲(chǔ)方式貌似和普遍的文件一樣單個(gè)存儲(chǔ)的（不確定），30W文件大概占了2.4G的磁盤(pán)空間（同樣是8K一個(gè)文件）。
  • 小文件一樣很多，不方便維護(hù)與遷移(不知是否我設(shè)置不對(duì)？)。
  • 內(nèi)存、硬盤(pán)都占用得比較多，而且性能相對(duì)來(lái)說(shuō)不是很出眾。
  • 所以這個(gè)基本不考慮了。

作者：QLeelulu  出處：http://QLeelulu.cnblogs.com/

【編輯推薦】

  1. 主流NoSQL數(shù)據(jù)庫(kù)之Redis全面評(píng)測(cè)
  2. 5款實(shí)用又免費(fèi)Linux緩存系統(tǒng)
  3. SQLite做為本地緩存應(yīng)注意的幾大方面

當(dāng)前文章：緩存大量小文件？Redis是首選！
文章URL：http://www.5511xx.com/article/ccoicip.html