建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
mysql表太大怎么解決？
解決方法如下：
第一優(yōu)化你的sql和索引；
第二加緩存，memcached,redis；
第三以上都做了后，還是慢，就做主從復(fù)制或主主復(fù)制，讀寫(xiě)分離，可以在應(yīng)用層做，效率高，也可以用三方工具，第三方工具推薦360的atlas,其它的要么效率不高，要么沒(méi)人維護(hù)；
第四如果以上都做了還是慢，不要想著去做切分，mysql自帶分區(qū)表，先試試這個(gè)，對(duì)你的應(yīng)用是透明的，無(wú)需更改代碼,但是sql語(yǔ)句是需要針對(duì)分區(qū)表做優(yōu)化的，sql條件中要帶上分區(qū)條件的列，從而使查詢(xún)定位到少量的分區(qū)上，否則就會(huì)掃描全部分區(qū)，另外分區(qū)表還有一些坑，在這里就不多說(shuō)了；
第五如果以上都做了，那就先做垂直拆分，其實(shí)就是根據(jù)你模塊的耦合度，將一個(gè)大的系統(tǒng)分為多個(gè)小的系統(tǒng)，也就是分布式系統(tǒng)；
第六才是水平切分，針對(duì)數(shù)據(jù)量大的表，這一步最麻煩，最能考驗(yàn)技術(shù)水平，要選擇一個(gè)合理的sharding key,為了有好的查詢(xún)效率，表結(jié)構(gòu)也要改動(dòng)，做一定的冗余，應(yīng)用也要改，sql中盡量帶sharding key，將數(shù)據(jù)定位到限定的表上去查，而不是掃描全部的表；
怎么把mysql的數(shù)據(jù)緩存進(jìn)redis？
1，redis是一種內(nèi)存性的數(shù)據(jù)存儲(chǔ)服務(wù)，所以它的速度要比mysql快。
2，redis只支持String,hashmap,set,sortedset等基本數(shù)據(jù)類(lèi)型，但是不支持聯(lián)合查詢(xún)，所以它適合做緩存。
3，有時(shí)候緩存的數(shù)據(jù)量非常大，如果這個(gè)時(shí)候服務(wù)宕機(jī)了，且開(kāi)啟了redis的持久化功能，重新啟動(dòng)服務(wù)，數(shù)據(jù)基本上不會(huì)丟。
4，redis可以做內(nèi)存共享，因?yàn)樗梢员欢鄠€(gè)不同的客戶(hù)端連接。
5，做為mysql等數(shù)據(jù)庫(kù)的緩存，是把部分熱點(diǎn)數(shù)據(jù)先存儲(chǔ)到redis中，或第一次用的時(shí)候加載到redis中，下次再用的時(shí)候，直接從redis中取。
6，redis中的數(shù)據(jù)可以設(shè)置過(guò)期時(shí)間expire，如果這個(gè)數(shù)據(jù)在一定時(shí)間內(nèi)沒(méi)有被延長(zhǎng)這個(gè)時(shí)間，那個(gè)一定時(shí)間之后這個(gè)數(shù)據(jù)就會(huì)從redis清除。所以，redis只是用來(lái)緩存數(shù)據(jù)庫(kù)中經(jīng)常被訪(fǎng)問(wèn)的數(shù)據(jù)，可以增加訪(fǎng)問(wèn)速度和并發(fā)量。而mysql只是提供一種數(shù)據(jù)備份和數(shù)據(jù)源的作用。
redis怎么實(shí)現(xiàn)數(shù)據(jù)庫(kù)的緩存？
大致為兩種措施：
一、腳本同步：1、自己寫(xiě)腳本將數(shù)據(jù)庫(kù)數(shù)據(jù)寫(xiě)入到redis/memcached。2、這就涉及到實(shí)時(shí)數(shù)據(jù)變更的問(wèn)題（mysql row binlog的實(shí)時(shí)分析），binlog增量訂閱Alibaba 的canal ，以及緩存層數(shù)據(jù) 丟失/失效 后的數(shù)據(jù)同步恢復(fù)問(wèn)題。
二、業(yè)務(wù)層實(shí)現(xiàn)：1、先讀取nosql緩存層，沒(méi)有數(shù)據(jù)再讀取mysql層，并寫(xiě)入數(shù)據(jù)到nosql。2、nosql層做好多節(jié)點(diǎn)分布式（一致性hash），以及節(jié)點(diǎn)失效后替代方案（多層hash尋找相鄰替代節(jié)點(diǎn)），和數(shù)據(jù)震蕩恢復(fù)了。
redis實(shí)現(xiàn)數(shù)據(jù)庫(kù)緩存的分析：
對(duì)于變化頻率非?？斓臄?shù)據(jù)來(lái)說(shuō)，如果還選擇傳統(tǒng)的靜態(tài)緩存方式（Memocached、File System等）展示數(shù)據(jù)，可能在緩存的存取上會(huì)有很大的開(kāi)銷(xiāo)，并不能很好的滿(mǎn)足需要，而Redis這樣基于內(nèi)存的NoSQL數(shù)據(jù)庫(kù)，就非常適合擔(dān)任實(shí)時(shí)數(shù)據(jù)的容器。
但是往往又有數(shù)據(jù)可靠性的需求，采用MySQL作為數(shù)據(jù)存儲(chǔ)，不會(huì)因?yàn)閮?nèi)存問(wèn)題而引起數(shù)據(jù)丟失，同時(shí)也可以利用關(guān)系數(shù)據(jù)庫(kù)的特性實(shí)現(xiàn)很多功能。所以就會(huì)很自然的想到是否可以采用MySQL作為數(shù)據(jù)存儲(chǔ)引擎，Redis則作為Cache。
MySQL到Redis數(shù)據(jù)復(fù)制方案，無(wú)論MySQL還是Redis，自身都帶有數(shù)據(jù)同步的機(jī)制，比較常用的MySQL的Master/Slave模式，就是由Slave端分析Master的binlog來(lái)實(shí)現(xiàn)的，這樣的數(shù)據(jù)復(fù)制其實(shí)還是一個(gè)異步過(guò)程，只不過(guò)當(dāng)服務(wù)器都在同一內(nèi)網(wǎng)時(shí)，異步的延遲幾乎可以忽略。那么理論上也可用同樣方式，分析MySQL的binlog文件并將數(shù)據(jù)插入Redis。
因此這里選擇了一種開(kāi)發(fā)成本更加低廉的方式，借用已經(jīng)比較成熟的MySQL UDF，將MySQL數(shù)據(jù)首先放入Gearman中，然后通過(guò)一個(gè)自己編寫(xiě)的PHP Gearman Worker，將數(shù)據(jù)同步到Redis。比分析binlog的方式增加了不少流程，但是實(shí)現(xiàn)成本更低，更容易操作。
到此，以上就是小編對(duì)于怎么清除mysql主機(jī)緩存數(shù)據(jù)的問(wèn)題就介紹到這了，希望這3點(diǎn)解答對(duì)大家有用。
標(biāo)題名稱(chēng)：mysql表太大怎么解決？（怎么清除mysql主機(jī)緩存）
URL分享：http://www.5511xx.com/article/djsgeeh.html
