新聞中心
隨著互聯(lián)網(wǎng)的快速發(fā)展和應(yīng)用程序的繁多,日復(fù)一日地產(chǎn)生了大量的數(shù)據(jù)量,導(dǎo)致數(shù)據(jù)庫(kù)過(guò)載和性能問(wèn)題成為了大數(shù)據(jù)領(lǐng)域常見(jiàn)的挑戰(zhàn)和問(wèn)題。許多開(kāi)發(fā)人員發(fā)現(xiàn)他們的應(yīng)用程序在查詢和檢索大數(shù)據(jù)時(shí)非常緩慢,甚至崩潰。為了解決這些問(wèn)題,大數(shù)據(jù)優(yōu)化技巧日益成為了熱門(mén)話題,其中之一就是高效無(wú)效數(shù)據(jù)庫(kù)過(guò)濾。

網(wǎng)站的建設(shè)成都創(chuàng)新互聯(lián)專(zhuān)注網(wǎng)站定制,經(jīng)驗(yàn)豐富,不做模板,主營(yíng)網(wǎng)站定制開(kāi)發(fā).小程序定制開(kāi)發(fā),H5頁(yè)面制作!給你煥然一新的設(shè)計(jì)體驗(yàn)!已為PE包裝袋等企業(yè)提供專(zhuān)業(yè)服務(wù)。
什么是無(wú)效數(shù)據(jù)庫(kù)過(guò)濾?
無(wú)效數(shù)據(jù)庫(kù)過(guò)濾是指在數(shù)據(jù)庫(kù)查詢過(guò)程中剔除掉不必要的數(shù)據(jù),以提高查詢效率。這些無(wú)效數(shù)據(jù)可能是過(guò)時(shí)的、不完整的、不相關(guān)的數(shù)據(jù)、重復(fù)數(shù)據(jù)、格式錯(cuò)誤等。
高效無(wú)效數(shù)據(jù)庫(kù)過(guò)濾技巧
下面列出了一些高效的無(wú)效數(shù)據(jù)庫(kù)過(guò)濾技巧:
1.使用索引
通過(guò)創(chuàng)建數(shù)據(jù)庫(kù)索引,可以大大減少查詢所需的時(shí)間。索引使得查詢變得更快,因?yàn)樗鼈儨p少了必須讀取和比較的數(shù)據(jù)行的數(shù)量。在實(shí)施索引時(shí)應(yīng)該考慮查詢的質(zhì)量、頻率和規(guī)模,以及查詢所需的排序、分組和連接操作。
2.使用視圖
視圖是一種虛擬的表,是從一個(gè)或多個(gè)數(shù)據(jù)庫(kù)表中導(dǎo)出的結(jié)果集。使用視圖建立查詢可以顯著提高查詢效率,特別是當(dāng)查詢需要訪問(wèn)多個(gè)表時(shí)。使用視圖可以將相關(guān)數(shù)據(jù)組合在一起,以便用戶可以用更少的時(shí)間來(lái)查找需要的數(shù)據(jù)。
3.使用緩存
緩存是一種將最近使用的數(shù)據(jù)存儲(chǔ)在臨時(shí)存儲(chǔ)器中的方法,以便下一次訪問(wèn)這些數(shù)據(jù)時(shí)可以更快地讀取。在處理大量數(shù)據(jù)時(shí),緩存技術(shù)可幫助您解決性能問(wèn)題。人們可以使用存在于內(nèi)存中的緩存,而不是從硬盤(pán)中讀取數(shù)據(jù),這會(huì)使查詢速度大大加快。
4.使用分頁(yè)
對(duì)于大量查詢結(jié)果和連續(xù)數(shù)據(jù)之間的查詢,可以使用分頁(yè)操作來(lái)減少查詢時(shí)間。這種操作將查詢結(jié)果分為一串連續(xù)的子集,這些子集可以被立即選擇,而無(wú)需等待整個(gè)結(jié)果集。
5.使用批量操作
批量操作是指一次將多行數(shù)據(jù)插入到數(shù)據(jù)庫(kù)中。當(dāng)與單個(gè)插入操作相比,批量操作可以更快地插入大量數(shù)據(jù),并且不會(huì)占用太多的系統(tǒng)資源。它還可以避免頻繁的數(shù)據(jù)庫(kù)連接,從而提高性能。
6.使用分布式數(shù)據(jù)庫(kù)
分布式數(shù)據(jù)庫(kù)是指將數(shù)據(jù)存儲(chǔ)在多個(gè)服務(wù)器集群上,以實(shí)現(xiàn)高可用性和高性能。當(dāng)分布式數(shù)據(jù)庫(kù)被正確設(shè)計(jì)和實(shí)現(xiàn)時(shí),系統(tǒng)可以在添加更多的機(jī)器時(shí)增加查詢速度,而不會(huì)破壞整個(gè)系統(tǒng)。
優(yōu)化技巧的效果和方法
數(shù)據(jù)庫(kù)優(yōu)化技巧的效果很大程度上取決于數(shù)據(jù)庫(kù)本身的大小和結(jié)構(gòu)。適當(dāng)?shù)貞?yīng)用這些技術(shù)可以縮短查詢時(shí)間和提高數(shù)據(jù)庫(kù)性能,從而提高系統(tǒng)的性能。建議在實(shí)施這些技術(shù)時(shí),應(yīng)該遵循一些基本的步驟,如評(píng)估數(shù)據(jù)庫(kù),了解數(shù)據(jù)結(jié)構(gòu),并進(jìn)行適當(dāng)?shù)臏y(cè)試和評(píng)估。使用性能工具和數(shù)據(jù)庫(kù)工具來(lái)確定問(wèn)題所在,可以幫助開(kāi)發(fā)者更好地了解數(shù)據(jù)庫(kù)性能問(wèn)題的根源,并找出更佳解決方案。
隨著大數(shù)據(jù)的不斷增長(zhǎng),高效的無(wú)效數(shù)據(jù)庫(kù)過(guò)濾技術(shù)在處理這些數(shù)據(jù)時(shí)變得越來(lái)越重要。為了更快地查詢和處理大數(shù)據(jù),開(kāi)發(fā)人員需要了解和實(shí)施一些高效的無(wú)效數(shù)據(jù)庫(kù)過(guò)濾技術(shù),如使用索引和視圖、緩存、批量操作和分頁(yè),以提高系統(tǒng)性能和可用性。這些技術(shù)可以簡(jiǎn)化數(shù)據(jù)庫(kù)中存儲(chǔ)和檢索數(shù)據(jù)的過(guò)程,并顯著降低查詢的時(shí)間和開(kāi)銷(xiāo)。
相關(guān)問(wèn)題拓展閱讀:
- 如何快速刪除大數(shù)據(jù)表的重復(fù)數(shù)據(jù)
- mysql 大數(shù)據(jù)量查詢?nèi)绾蝺?yōu)化,沒(méi)辦法去掉和like
(1) 選擇最有效率的表名順序(只在基于規(guī)則的優(yōu)化器中有效):
ORACLE 的解析器按照從右到左的順序處理FROM子句中的表名,F(xiàn)ROM子句中寫(xiě)在最后的表(基礎(chǔ)表 driving table)將被更先處理,在FROM子句中包含多個(gè)表的情況下,你必須選擇記錄條數(shù)最少的表作為基礎(chǔ)表。如果有3個(gè)以上的表連接查詢, 那就需要選擇交叉表(intersection table)作為基礎(chǔ)表, 交叉表是指那個(gè)被其他表所引用的表.
(2) WHERE子句中的連接順序.:
ORACLE采用自下而上的順序解析WHERE子句,根據(jù)這個(gè)原理,表之間的連接必須寫(xiě)在其他WHERE條件之前, 那些可以過(guò)濾掉更大數(shù)量記錄的條件必須寫(xiě)在WHERE子句的末尾.
(3) SELECT子句中避免使用 ‘ * ‘:
ORACLE在解析的過(guò)程中, 會(huì)將’*’ 依次轉(zhuǎn)換成所有的列名, 這個(gè)工作是通過(guò)查詢數(shù)據(jù)字典完成的, 這意味著將耗費(fèi)更多的時(shí)間
(4) 減少訪問(wèn)數(shù)據(jù)庫(kù)的次數(shù):
ORACLE在內(nèi)部執(zhí)行了許多工作: 解析SQL語(yǔ)句, 估算索引的利用率, 綁定變量 , 讀數(shù)據(jù)塊等;
(5) 在SQL*Plus , SQL*Forms和Pro*C中重新設(shè)置ARRAYSIZE參數(shù), 可以增加每次數(shù)據(jù)庫(kù)訪問(wèn)的檢索數(shù)據(jù)量 ,建議值為200
(6) 使用DECODE函數(shù)來(lái)減少處理時(shí)間:
使用DECODE函數(shù)可以避免重復(fù)掃描相同記錄或重復(fù)連接相同的表.
(7) 整合簡(jiǎn)單,無(wú)關(guān)聯(lián)的數(shù)據(jù)庫(kù)訪問(wèn):
如果你有幾個(gè)簡(jiǎn)單的數(shù)據(jù)庫(kù)查詢語(yǔ)句,你可以把它們整合到一個(gè)查詢中(即使它們之間沒(méi)有關(guān)系)
(8) 刪蔽喊除重復(fù)記錄:
更高效的刪除重復(fù)記錄方法 ( 因?yàn)槭褂昧薘OWID)例子:
DELETE FROM EMP E WHERE E.ROWID > (SELECT MIN(X.ROWID)
FROM EMP X WHERE X.EMP_NO = E.EMP_NO);
(9) 用TRUNCATE替代DELETE:
當(dāng)刪除表中的記錄時(shí),在通常情況下, 回滾段(rollback segments ) 用來(lái)存放可以被恢復(fù)的信息. 如果你沒(méi)有COMMIT事務(wù),ORACLE會(huì)將數(shù)據(jù)恢復(fù)到刪除之前的狀態(tài)(準(zhǔn)確地說(shuō)是恢復(fù)到執(zhí)行刪除命令之前的狀況) 而當(dāng)運(yùn)用TRUNCATE時(shí), 回滾段不再存放任何可被恢復(fù)的信息.當(dāng)命令運(yùn)行后,數(shù)據(jù)不能被恢復(fù).因此很少的資源被調(diào)用,執(zhí)行時(shí)間也會(huì)很短. (譯者按: TRUNCATE只在刪除全表適用,TRUNCATE是DDL不是DML)
(10) 盡量多使用COMMIT:
只要有可能,在程序中指并罩盡量多使用COMMIT, 這樣程序的性能得到提高,需求也會(huì)因?yàn)镃OMMIT所釋放的資源而減少:
COMMIT所釋放的資源:
a. 回滾段上用于恢復(fù)數(shù)據(jù)的信息.
b. 被程序語(yǔ)句獲得的鎖
c. redo log buffer 中的空間
d. ORACLE為管理上述3種資源中的內(nèi)部花費(fèi)
(11) 用Where子句替換HAVING子句:
避免使用HAVING子句, HAVING 只會(huì)在檢索出所有記錄之后才對(duì)結(jié)果集進(jìn)行過(guò)濾. 這個(gè)處理需要排序,總計(jì)等操作. 如果能通過(guò)WHERE子句限制記錄的數(shù)目,那就能減少這方面的開(kāi)銷(xiāo). (非oracle中)on、where、having這三個(gè)都可以唯鬧加條件的子句中,on是更先執(zhí)行,where次之,having最后,因?yàn)閛n是先把不 符合條件的記錄過(guò)濾后才進(jìn)行統(tǒng)計(jì),它就可以減少中間運(yùn)算要處理的數(shù)據(jù),按理說(shuō)應(yīng)該速度是最快的,where也應(yīng)該比having快點(diǎn)的,因?yàn)樗^(guò)濾數(shù)據(jù)后 才進(jìn)行sum,在兩個(gè)表聯(lián)接時(shí)才用on的,所以在一個(gè)表的時(shí)候,就剩下where跟having比較了。在這單表查詢統(tǒng)計(jì)的情況下,如果要過(guò)濾的條件沒(méi)有涉及到要計(jì)算字段,那它們的結(jié)果是一樣的,只是where可以使用rushmore技術(shù),而having就不能,在速度上后者要慢如果要涉及到計(jì)算的字 段,就表示在沒(méi)計(jì)算之前,這個(gè)字段的值是不確定的,根據(jù)上篇寫(xiě)的工作流程,where的作用時(shí)間是在計(jì)算之前就完成的,而having就是在計(jì)算后才起作 用的,所以在這種情況下,兩者的結(jié)果會(huì)不同。在多表聯(lián)接查詢時(shí),on比where更早起作用。系統(tǒng)首先根據(jù)各個(gè)表之間的聯(lián)接條件,把多個(gè)表合成一個(gè)臨時(shí)表 后,再由where進(jìn)行過(guò)濾,然后再計(jì)算,計(jì)算完后再由having進(jìn)行過(guò)濾。由此可見(jiàn),要想過(guò)濾條件起到正確的作用,首先要明白這個(gè)條件應(yīng)該在什么時(shí)候起作用,然后再?zèng)Q定放在那里
(12) 減少對(duì)表的查詢:
在含有子查詢的SQL語(yǔ)句中,要特別注意減少對(duì)表的查詢.例子:
SELECT TAB_NAME FROM TABLES WHERE (TAB_NAME,DB_VER) = ( SELECT
TAB_NAME,DB_VER FROM TAB_COLUMNS WHERE VERSION = 604)
(13) 通過(guò)內(nèi)部函數(shù)提高SQL效率.:
復(fù)雜的SQL往往犧牲了執(zhí)行效率. 能夠掌握上面的運(yùn)用函數(shù)解決問(wèn)題的方法在實(shí)際工作中是非常有意義的
(14) 使用表的別名(Alias):
當(dāng)在SQL語(yǔ)句中連接多個(gè)表時(shí), 請(qǐng)使用表的別名并把別名前綴于每個(gè)Column上.這樣一來(lái),就可以減少解析的時(shí)間并減少那些由Column歧義引起的語(yǔ)法錯(cuò)誤.
(15) 用EXISTS替代IN、用NOT EXISTS替代NOT IN:
在許多基于基礎(chǔ)表的查詢中,為了滿足一個(gè)條件,往往需要對(duì)另一個(gè)表進(jìn)行聯(lián)接.在這種情況下, 使用EXISTS(或NOT EXISTS)通常將提高查詢的效率. 在子查詢中,NOT IN子句將執(zhí)行一個(gè)內(nèi)部的排序和合并. 無(wú)論在哪種情況下,NOT IN都是更低效的 (因?yàn)樗鼘?duì)子查詢中的表執(zhí)行了一個(gè)全表遍歷). 為了避免使用NOT IN ,我們可以把它改寫(xiě)成外連接(Outer Joins)或NOT EXISTS.
例子:
(高效)SELECT * FROM EMP (基礎(chǔ)表) WHERE EMPNO > 0 AND EXISTS (SELECT ‘X’ FROM DEPT WHERE DEPT.DEPTNO = EMP.DEPTNO AND LOC = ‘MELB’)
(低效)SELECT * FROM EMP (基礎(chǔ)表) WHERE EMPNO > 0 AND DEPTNO IN(SELECT DEPTNO FROM DEPT WHERE LOC = ‘MELB’)
(16) 識(shí)別’低效執(zhí)行’的SQL語(yǔ)句:
雖然目前各種關(guān)于SQL優(yōu)化的圖形化工具層出不窮,但是寫(xiě)出自己的SQL工具來(lái)解決問(wèn)題始終是一個(gè)更好的方法:
SELECT EXECUTIONS , DISK_READS, BUFFER_GETS,
ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2) Hit_radio,
ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run,
SQL_TEXT
FROM V$SQLAREA
WHERE EXECUTIONS>0
AND BUFFER_GETS > 0
AND (BUFFER_GETS-DISK_READS)/BUFFER_GETS REBUILD
18) 用EXISTS替換DISTINCT:
當(dāng)提交一個(gè)包含一對(duì)多表信息(比如部門(mén)表和雇員表)的查詢時(shí),避免在SELECT子句中使用DISTINCT. 一般可以考慮用EXIST替換, EXISTS 使查詢更為迅速,因?yàn)镽DBMS核心模塊將在子查詢的條件一旦滿足后,立刻返回結(jié)果. 例子:
(低效):
SELECT DISTINCT DEPT_NO,DEPT_NAME FROM DEPT D , EMP E
WHERE D.DEPT_NO = E.DEPT_NO
(高效):
SELECT DEPT_NO,DEPT_NAME FROM DEPT D WHERE EXISTS ( SELECT ‘X’
FROM EMP E WHERE E.DEPT_NO = D.DEPT_NO);
(19) sql語(yǔ)句用大寫(xiě)的;因?yàn)閛racle總是先解析sql語(yǔ)句,把小寫(xiě)的字母轉(zhuǎn)換成大寫(xiě)的再執(zhí)行
(20) 在java代碼中盡量少用連接符“+”連接字符串!
(21) 避免在索引列上使用NOT 通常,
我們要避免在索引列上使用NOT, NOT會(huì)產(chǎn)生在和在索引列上使用函數(shù)相同的影響. 當(dāng)ORACLE”遇到”NOT,他就會(huì)停止使用索引轉(zhuǎn)而執(zhí)行全表掃描.
(22) 避免在索引列上使用計(jì)算.
WHERE子句中,如果索引列是函數(shù)的一部分.優(yōu)化器將不使用索引而使用全表掃描.
舉例:
低效:
SELECT … FROM DEPT WHERE SAL * 12 > 25000;
高效:
SELECT … FROM DEPT WHERE SAL > 25000/12;
(23) 用>=替代>
高效:
SELECT * FROM EMP WHERE DEPTNO >=4
低效:
SELECT * FROM EMP WHERE DEPTNO >3
兩者的區(qū)別在于, 前者DBMS將直接跳到之一個(gè)DEPT等于4的記錄而后者將首先定位到DEPTNO=3的記錄并且向前掃描到之一個(gè)DEPT大于3的記錄.
(24) 用UNION替換OR (適用于索引列)
通常情況下, 用UNION替換WHERE子句中的OR將會(huì)起到較好的效果. 對(duì)索引列使用OR將造成全表掃描. 注意, 以上規(guī)則只針對(duì)多個(gè)索引列有效. 如果有column沒(méi)有被索引, 查詢效率可能會(huì)因?yàn)槟銢](méi)有選擇OR而降低. 在下面的例子中, LOC_ID 和REGION上都建有索引.
高效:
SELECT LOC_ID , LOC_DESC , REGION
FROM LOCATION
WHERE LOC_ID = 10
UNION
SELECT LOC_ID , LOC_DESC , REGION
FROM LOCATION
WHERE REGION = “MELBOURNE”
低效:
SELECT LOC_ID , LOC_DESC , REGION
FROM LOCATION
WHERE LOC_ID = 10 OR REGION = “MELBOURNE”
如果你堅(jiān)持要用OR, 那就需要返回記錄最少的索引列寫(xiě)在最前面.
(25) 用IN來(lái)替換OR
這是一條簡(jiǎn)單易記的規(guī)則,但是實(shí)際的執(zhí)行效果還須檢驗(yàn),在ORACLE8i下,兩者的執(zhí)行路徑似乎是相同的.
低效:
SELECT…. FROM LOCATION WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30
高效
SELECT… FROM LOCATION WHERE LOC_IN IN (10,20,30);
(26) 避免在索引列上使用IS NULL和IS NOT NULL
避免在索引中使用任何可以為空的列,ORACLE將無(wú)法使用該索引.對(duì)于單列索引,如果列包含空值,索引中將不存在此記錄. 對(duì)于復(fù)合索引,如果每個(gè)列都為空,索引中同樣不存在此記錄. 如果至少有一個(gè)列不為空,則記錄存在于索引中.舉例: 如果唯一性索引建立在表的A列和B列上, 并且表中存在一條記錄的A,B值為(123,null) , ORACLE將不接受下一條具有相同A,B值(123,null)的記錄(插入). 然而如果所有的索引列都為空,ORACLE將認(rèn)為整個(gè)鍵值為空而空不等于空. 因此你可以插入1000 條具有相同鍵值的記錄,當(dāng)然它們都是空! 因?yàn)榭罩挡淮嬖谟谒饕兄?所以WHERE子句中對(duì)索引列進(jìn)行空值比較將使ORACLE停用該索引.
低效: (索引失效)
SELECT … FROM DEPARTMENT WHERE DEPT_CODE IS NOT NULL;
高效: (索引有效)
SELECT … FROM DEPARTMENT WHERE DEPT_CODE >=0;
(27) 總是使用索引的之一個(gè)列:
如果索引是建立在多個(gè)列上, 只有在它的之一個(gè)列(leading column)被where子句引用時(shí),優(yōu)化器才會(huì)選擇使用該索引. 這也是一條簡(jiǎn)單而重要的規(guī)則,當(dāng)僅引用索引的第二個(gè)列時(shí),優(yōu)化器使用了全表掃描而忽略了索引
28) 用UNION-ALL 替換UNION ( 如果有可能的話):
當(dāng)SQL 語(yǔ)句需要UNION兩個(gè)查詢結(jié)果時(shí),這兩個(gè)結(jié)果會(huì)以UNION-ALL的方式被合并, 然后在輸出最終結(jié)果前進(jìn)行排序. 如果用UNION ALL替代UNION, 這樣排序就不是必要了. 效率就會(huì)因此得到提高. 需要注意的是,UNION ALL 將重復(fù)輸出兩個(gè)結(jié)果中相同記錄. 因此各位還是要從業(yè)務(wù)需求分析使用UNION ALL的可行性. UNION 將對(duì)結(jié)果排序,這個(gè)操作會(huì)使用到SORT_AREA_SIZE這塊內(nèi)存. 對(duì)于這塊內(nèi)存的優(yōu)化也是相當(dāng)重要的. 下面的SQL可以用來(lái)查詢排序的消耗量
低效:
SELECT ACCT_NUM, BALANCE_AMT
FROM DEBIT_TRANSACTIONS
WHERE TRAN_DATE = ’31-DEC-95′
UNION
SELECT ACCT_NUM, BALANCE_AMT
FROM DEBIT_TRANSACTIONS
WHERE TRAN_DATE = ’31-DEC-95′
高效:
SELECT ACCT_NUM, BALANCE_AMT
FROM DEBIT_TRANSACTIONS
WHERE TRAN_DATE = ’31-DEC-95′
UNION ALL
SELECT ACCT_NUM, BALANCE_AMT
FROM DEBIT_TRANSACTIONS
WHERE TRAN_DATE = ’31-DEC-95′
(29) 用WHERE替代ORDER BY:
ORDER BY 子句只在兩種嚴(yán)格的條件下使用索引.
ORDER BY中所有的列必須包含在相同的索引中并保持在索引中的排列順序.
ORDER BY中所有的列必須定義為非空.
WHERE子句使用的索引和ORDER BY子句中所使用的索引不能并列.
例如:
表DEPT包含以下列:
DEPT_CODE PK NOT NULL
DEPT_DESC NOT NULL
DEPT_TYPE NULL
低效: (索引不被使用)
SELECT DEPT_CODE FROM DEPT ORDER BY DEPT_TYPE
高效: (使用索引)
SELECT DEPT_CODE FROM DEPT WHERE DEPT_TYPE > 0
(30) 避免改變索引列的類(lèi)型.:
當(dāng)比較不同數(shù)據(jù)類(lèi)型的數(shù)據(jù)時(shí), ORACLE自動(dòng)對(duì)列進(jìn)行簡(jiǎn)單的類(lèi)型轉(zhuǎn)換.
假設(shè) EMPNO是一個(gè)數(shù)值類(lèi)型的索引列.
SELECT … FROM EMP WHERE EMPNO = ‘123′
實(shí)際上,經(jīng)過(guò)ORACLE類(lèi)型轉(zhuǎn)換, 語(yǔ)句轉(zhuǎn)化為:
SELECT … FROM EMP WHERE EMPNO = TO_NUMBER(‘123′)
幸運(yùn)的是,類(lèi)型轉(zhuǎn)換沒(méi)有發(fā)生在索引列上,索引的用途沒(méi)有被改變.
現(xiàn)在,假設(shè)EMP_TYPE是一個(gè)字符類(lèi)型的索引列.
SELECT … FROM EMP WHERE EMP_TYPE = 123
這個(gè)語(yǔ)句被ORACLE轉(zhuǎn)換為:
SELECT … FROM EMP WHERETO_NUMBER(EMP_TYPE)=123
因?yàn)閮?nèi)部發(fā)生的類(lèi)型轉(zhuǎn)換, 這個(gè)索引將不會(huì)被用到! 為了避免ORACLE對(duì)你的SQL進(jìn)行隱式的類(lèi)型轉(zhuǎn)換, 更好把類(lèi)型轉(zhuǎn)換用顯式表現(xiàn)出來(lái). 注意當(dāng)字符和數(shù)值比較時(shí), ORACLE會(huì)優(yōu)先轉(zhuǎn)換數(shù)值類(lèi)型到字符類(lèi)型
(31) 需要當(dāng)心的WHERE子句:
某些SELECT 語(yǔ)句中的WHERE子句不使用索引. 這里有一些例子.
在下面的例子里, (1)‘!=’ 將不使用索引. 記住, 索引只能告訴你什么存在于表中, 而不能告訴你什么不存在于表中. (2) ‘ | |’是字符連接函數(shù). 就象其他函數(shù)那樣, 停用了索引. (3) ‘+’是數(shù)學(xué)函數(shù). 就象其他數(shù)學(xué)函數(shù)那樣, 停用了索引. (4)相同的索引列不能互相比較,這將會(huì)啟用全表掃描.
(32) a. 如果檢索數(shù)據(jù)量超過(guò)30%的表中記錄數(shù).使用索引將沒(méi)有顯著的效率提高.
b. 在特定情況下, 使用索引也許會(huì)比全表掃描慢, 但這是同一個(gè)數(shù)量級(jí)上的區(qū)別. 而通常情況下,使用索引比全表掃描要塊幾倍乃至幾千倍!
(33) 避免使用耗費(fèi)資源的操作:
帶有DISTINCT,UNION,MINUS,INTERSECT,ORDER BY的SQL語(yǔ)句會(huì)啟動(dòng)SQL引擎
執(zhí)行耗費(fèi)資源的排序(SORT)功能. DISTINCT需要一次排序操作, 而其他的至少需要執(zhí)行兩次排序. 通常, 帶有UNION, MINUS , INTERSECT的SQL語(yǔ)句都可以用其他方式重寫(xiě). 如果你的數(shù)據(jù)庫(kù)的SORT_AREA_SIZE調(diào)配得好, 使用UNION , MINUS, INTERSECT也是可以考慮的, 畢竟它們的可讀性很強(qiáng)
(34) 優(yōu)化GROUP BY:
提高GROUP BY 語(yǔ)句的效率, 可以通過(guò)將不需要的記錄在GROUP BY 之前過(guò)濾掉.下面兩個(gè)查詢返回相同結(jié)果但第二個(gè)明顯就快了許多.
低效:
SELECT JOB , AVG(SAL)
FROM EMP
GROUP by JOB
HAVING JOB = ‘PRESIDENT’
OR JOB = ‘MANAGER’
高效:
SELECT JOB , AVG(SAL)
FROM EMP
WHERE JOB = ‘PRESIDENT’
OR JOB = ‘MANAGER’
GROUP by JOB
其實(shí)你這個(gè)需要程序和數(shù)據(jù)庫(kù)有一致的設(shè)計(jì)??煽紤]分區(qū)。
通過(guò)前綴來(lái)分區(qū),以下只是一個(gè)形式,不推薦用中文命名,
這樣,賣(mài)肢只要用戶不填寫(xiě),那么前三字符就是xxx,自動(dòng)會(huì)放入 ZFU區(qū)。
CREATE TABLE Customer
(
ID INT NOT NULL,
Mobile_PerNO CHAR(3) DEFAULT ‘xxx’,
Mobile VARCHAR(30)
)
PARTITION BY LIST(Mobile_PerNO)
PARTITION 聯(lián)通186 VALUES IN (133),
PARTITION 移動(dòng)139 VALUES IN (139),
PARTITION 電信133 VALUES IN (133),
PARTITION ZFU VALUES IN (xxx)
);
其次你過(guò)于依賴數(shù)據(jù)庫(kù)而成形的程序,用點(diǎn)不客耐段氣的話說(shuō),那就是耦合極高的設(shè)計(jì)。
你其實(shí)完全可以在注冊(cè)時(shí),寫(xiě)入驗(yàn)證,一個(gè)手機(jī)號(hào)就能注冊(cè)一次。左右打掉空格,這樣手機(jī)上就能建立唯一索引。 使用LIKE ‘133%’ 至少性能上有一定的飛躍。
至于你的第二個(gè)SQL, 在時(shí)間和發(fā)送號(hào)碼上可以建立索引,然后條件上寫(xiě)入中畝世時(shí)間。
也可以使用hash方式按照年季度分區(qū)。
理論上 性能提升百倍還是一點(diǎn)問(wèn)題都沒(méi)有的。
分區(qū)資料 看官方文檔。
字段消仿散phone會(huì)存大渣多個(gè)號(hào)碼嗎?不會(huì)的話可以用LENGTH(str)來(lái)判斷。
否則可以考慮用is not null過(guò)濾非空、拿氏用POSITION(substr IN str)>0或者INSTR(str,substr)>0來(lái)替換like通配。
關(guān)于大數(shù)據(jù)怎么過(guò)濾無(wú)效數(shù)據(jù)庫(kù)的介紹到此就結(jié)束了,不知道你從中找到你需要的信息了嗎 ?如果你還想了解更多這方面的信息,記得收藏關(guān)注本站。
香港服務(wù)器選創(chuàng)新互聯(lián),2H2G首月10元開(kāi)通。
創(chuàng)新互聯(lián)(www.cdcxhl.com)互聯(lián)網(wǎng)服務(wù)提供商,擁有超過(guò)10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)。專(zhuān)業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊(cè)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
名稱欄目:深度解析:大數(shù)據(jù)優(yōu)化技巧——高效無(wú)效數(shù)據(jù)庫(kù)過(guò)濾(大數(shù)據(jù)怎么過(guò)濾無(wú)效數(shù)據(jù)庫(kù))
文章出自:http://www.5511xx.com/article/cdoeceo.html


咨詢
建站咨詢
