新聞中心
數(shù)據(jù)庫管理系統(tǒng)(DBMS)是當(dāng)今企業(yè)架構(gòu)中不可或缺的一部分。DBMS的重要性在于它是企業(yè)的數(shù)據(jù)存儲庫,是企業(yè)決策制定的核心。因此,數(shù)據(jù)庫系統(tǒng)的運(yùn)行方面必須得到特別關(guān)注,因為在任何時候如果出現(xiàn)了性能問題就可能對企業(yè)的生產(chǎn)力和效率產(chǎn)生負(fù)面影響。本文將深入探討如何解決數(shù)據(jù)庫系統(tǒng)瓶頸問題。

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù),包含不限于成都網(wǎng)站設(shè)計、成都做網(wǎng)站、永登網(wǎng)絡(luò)推廣、重慶小程序開發(fā)、永登網(wǎng)絡(luò)營銷、永登企業(yè)策劃、永登品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等,從售前售中售后,我們都將竭誠為您服務(wù),您的肯定,是我們最大的嘉獎;成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供永登建站搭建服務(wù),24小時服務(wù)熱線:18980820575,官方網(wǎng)址:www.cdcxhl.com
一、增加內(nèi)存
在數(shù)據(jù)庫系統(tǒng)中,內(nèi)存是非常重要的組成部分。利用內(nèi)存可以大大提高數(shù)據(jù)庫的性能,減輕磁盤訪問的負(fù)擔(dān),因為內(nèi)存的訪問速度比硬盤快得多。通過安裝更多的內(nèi)存,可以使系統(tǒng)更快速地響應(yīng)請求并處理更多的數(shù)據(jù)。
二、合理設(shè)置索引
索引是將表分割成小的段,使數(shù)據(jù)庫能夠快速查找特定行的對象。索引的不正確使用可能會導(dǎo)致系統(tǒng)瓶頸,因為它會影響數(shù)據(jù)庫的性能。正確的索引設(shè)置可以顯著提高查詢性能,減少不必要的查詢時間。
三、優(yōu)化查詢語句
優(yōu)化查詢語句可以提高數(shù)據(jù)庫的性能。對查詢語句進(jìn)行分析并適當(dāng)調(diào)整這些語句能夠減少對系統(tǒng)的負(fù)擔(dān)和訪問數(shù)據(jù)庫的時間,進(jìn)而提高數(shù)據(jù)查詢的速度。
四、重構(gòu)表結(jié)構(gòu)
重構(gòu)表結(jié)構(gòu)可以有效的減少表的大小和提高查詢效率,因此可以提高數(shù)據(jù)庫的整體性能。在重構(gòu)表結(jié)構(gòu)的過程中,可以考慮將大型表進(jìn)行拆分、合并或部分拆分,這可以降低查詢時間和增加執(zhí)行效率。
五、定期清理緩存
定期清理緩存可以幫助懸掛在數(shù)據(jù)庫系統(tǒng)中的資源得到釋放,以便他們能夠用于其他應(yīng)用程序。當(dāng)緩存池被清空時,這些資源將再次被重新加載。這樣的操作可以提高數(shù)據(jù)庫的性能,尤其對于那些長時間運(yùn)行的服務(wù)器而言。
六、升級硬件
如果在進(jìn)行以上操作后仍然遇到瓶頸,就可以考慮升級硬件,如更快的磁盤、更好的CPU、更多的RAM等。這些技術(shù)可以幫助數(shù)據(jù)庫系統(tǒng)實現(xiàn)更好的性能,但是它們的價格相對較高。
七、監(jiān)控數(shù)據(jù)庫
對數(shù)據(jù)庫進(jìn)行定期監(jiān)控是提高數(shù)據(jù)庫系統(tǒng)性能的重要手段。通過監(jiān)控數(shù)據(jù)庫,可以發(fā)現(xiàn)哪些操作導(dǎo)致瓶頸,為優(yōu)化鋪平道路。此外,定期監(jiān)控可以幫助發(fā)現(xiàn)數(shù)據(jù)庫故障,有助于及早修復(fù)以避免數(shù)據(jù)丟失。
結(jié)論
通過上述方法可以較好的解決數(shù)據(jù)庫系統(tǒng)瓶頸問題,提高系統(tǒng)性能,減少等待時間,避免數(shù)據(jù)丟失及系統(tǒng)故障。對于那些面臨開銷增加的效益糾葛的企業(yè),這些方法不一定適用于所有情況??梢愿鶕?jù)不同的“瓶頸”問題的性質(zhì)選擇最為適合的方法。無論是增加內(nèi)存、優(yōu)化查詢語句、重構(gòu)表結(jié)構(gòu)等,甚至是升級硬件,在整個措施中,都需要綜合考慮并進(jìn)行實證評估來獲得更佳效果。
成都網(wǎng)站建設(shè)公司-創(chuàng)新互聯(lián)為您提供網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)頁設(shè)計及定制高端網(wǎng)站建設(shè)服務(wù)!
50種方法巧妙優(yōu)化你的SQLServer數(shù)據(jù)庫(一)
查詢速度慢的原因很多,常見如下幾種:
、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是程序設(shè)計的缺陷)
2、I/O吞吐量小,形成了瓶頸效應(yīng)。
3、沒有創(chuàng)建計算列導(dǎo)致查詢不優(yōu)化。
4、內(nèi)存不足
5、網(wǎng)絡(luò)速度慢
6、查詢出的數(shù)據(jù)量過大(可以采用多次查詢,其他的方法降低數(shù)據(jù)量)
7、鎖或者死鎖(這也是查詢慢最常見的問題,是程序設(shè)計的缺陷)
8、sp_lock,sp_who,活動的用戶查看,原因是讀寫競爭資源。
9、返回了不必要的行和列
、查詢語句不好,沒有優(yōu)化
可以通過如下方法來優(yōu)化查詢 :
1、把數(shù)據(jù)、日志、索引放到不同的I/O設(shè)備上,增加讀取速度,以前可以將Tempdb應(yīng)放在RAID0上,SQL2023不在支持。數(shù)據(jù)量(尺寸)越大,提高I/O越重要.
2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)
3、升級硬件
4、根據(jù)查詢條件,建立索引,優(yōu)化索引、優(yōu)化訪問方式,限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(dāng)(是使用默認(rèn)值0)。索引應(yīng)該盡量小,使用字節(jié)數(shù)小的列建索引好(參照索引的創(chuàng)建),不要對有限的幾個值的字段建單一索引如性別字段
5、提高網(wǎng)速;
6、擴(kuò)大服務(wù)器的內(nèi)存,Windows 2023和SQL server 2023能支持4-8G的內(nèi)存。配置虛擬內(nèi)存:虛擬內(nèi)存大小應(yīng)基于計算機(jī)上并發(fā)運(yùn)行的服務(wù)進(jìn)行配置。運(yùn)行 Microsoft SQL Server? 2023 時,可考慮將虛擬內(nèi)存大小設(shè)置為計算機(jī)中安裝的物理內(nèi)存的 1.5 倍。如果另外安裝了全文檢索功能,并打算運(yùn)行 Microsoft 搜索服務(wù)以便執(zhí)行全文索引和查詢,可考慮:將虛擬內(nèi)存大小配置為至少是計算機(jī)中安裝的物理內(nèi)存的 3 倍。將 SQL Server max server memory 服務(wù)器配置選項配置為物理內(nèi)存的 1.5 倍(虛擬內(nèi)存大小設(shè)置的一半)。
7、增加服務(wù)器CPU個戚鎮(zhèn)陵數(shù);但是必須明白并行處理串行處理更需要資源例如內(nèi)存。使用并行還是串行程是MsSQL自動評估選擇的。單個任務(wù)分解成多個任務(wù),就可以在處理器上運(yùn)行。例如耽擱查詢的排序、連接、掃描和GROUP BY字句同時執(zhí)行,SQL SERVER根據(jù)系統(tǒng)的負(fù)載情況決定的并行等級,復(fù)雜的需要消耗大量的CPU的查詢最適合并行處理。但是更新操作UPDATE,INSERT,DELETE還不能并行處理。
8、如果是使用like進(jìn)行查詢的話,簡單的使用index是不行的,但是全旅手文索引,耗空間。 like ‘a(chǎn)%’ 使用索引 like ‘%a’ 不使用索引用 like ‘%a%’ 查詢時,查詢耗時和字段值總長度成正比,所以不能用CHAR類型,而是VARCHAR。對于字段的值很長的建全文索引。
9、DB Server 和APPLication Server 分離;OLTP和OLAP分離
、分布式分區(qū)視圖可用于實現(xiàn)數(shù)據(jù)庫服務(wù)器聯(lián)合體。聯(lián)合體是一組分開管理的服務(wù)器,但它們相互協(xié)作分擔(dān)系統(tǒng)的處理負(fù)荷。這種通過分區(qū)數(shù)據(jù)形成數(shù)據(jù)庫服務(wù)器聯(lián)合體的機(jī)制能夠擴(kuò)大一組服務(wù)器,以支持大型的多層 Web 站點的處理需要。有關(guān)更多信息,參見設(shè)計聯(lián)合數(shù)據(jù)庫服務(wù)器。(參照SQL幫助文件’分區(qū)視圖’)
a、在實現(xiàn)分區(qū)視圖之前,必須先水平分區(qū)表
b、在創(chuàng)建成員表后,在每個成員服務(wù)器上定義一個分布式分區(qū)視圖,并且每個視圖具有相同的名稱。這樣,引用分布式分區(qū)視圖名的查詢可以在任何一個成員服務(wù)器上運(yùn)行。系統(tǒng)操作如同每個成員服務(wù)器上都有一個原始表的復(fù)本一樣,但其實每個服務(wù)器上只有一個成員表和一個分布式分區(qū)視圖。數(shù)據(jù)的位置對應(yīng)用程高戚序是透明的。
、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數(shù)據(jù)和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 設(shè)置自動收縮日志.對于大的數(shù)據(jù)庫不要設(shè)置數(shù)據(jù)庫自動增長,它會降低服務(wù)器的性能。 在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的:
1、 查詢語句的詞法、語法檢查
2、 將語句提交給DBMS的查詢優(yōu)化器
3、 優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化
4、 由預(yù)編譯模塊生成查詢規(guī)劃
5、 然后在合適的時間提交給系統(tǒng)處理執(zhí)行
6、 最后將執(zhí)行結(jié)果返回給用戶其次,看一下SQL SERVER的數(shù)據(jù)存放的結(jié)構(gòu):一個頁面的大小為8K(8060)字節(jié),8個頁面為一個盤區(qū),按照B樹存放。
、Commit和rollback的區(qū)別 Rollback:回滾所有的事物。 Commit:提交當(dāng)前的事物. 沒有必要在動態(tài)SQL里寫事物,如果要寫請寫在外面如: begin tran exec(@s) commit trans 或者將動態(tài)SQL 寫成函數(shù)或者存儲過程。
、在查詢Select語句中用Where字句限制返回的行數(shù),避免表掃描,如果返回不必要的數(shù)據(jù),浪費(fèi)了服務(wù)器的I/O資源,加重了網(wǎng)絡(luò)的負(fù)擔(dān)降低性能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯(lián)接訪問表,后果嚴(yán)重。
、SQL的注釋申明對執(zhí)行沒有任何影響
數(shù)據(jù)庫架構(gòu)選型與落地,看這篇就夠了
隨著時間和業(yè)務(wù)的發(fā)展,數(shù)據(jù)庫中的數(shù)據(jù)量增長是不可控的,庫和表中的數(shù)據(jù)會越來越大,隨之帶來的是更高的
磁盤
、
IO
、
系統(tǒng)開銷
,甚至
性能
上的瓶頸,而單臺服務(wù)器的
資源終究是有限
的。
因此在面對業(yè)務(wù)擴(kuò)張過程中,應(yīng)用程序?qū)?shù)據(jù)庫系統(tǒng)的
健壯性
,
安全性
,
擴(kuò)展性
提出了更高的要求。
以下,我從數(shù)據(jù)庫架構(gòu)、選型與落地來讓大家入門。
數(shù)據(jù)庫會面臨什么樣的挑戰(zhàn)呢?
業(yè)務(wù)剛開始我們只用單機(jī)數(shù)據(jù)庫就夠了,但隨著業(yè)務(wù)增長,數(shù)據(jù)規(guī)模和用戶規(guī)模上升,這個時候數(shù)據(jù)庫會面臨IO瓶頸、存儲瓶頸、可用性、安全性問題。
為了解決上述的各種問題,數(shù)據(jù)庫衍生了出不同的架構(gòu)來解決不同的場景需求。
將數(shù)據(jù)庫的寫操作和讀操作分離,主庫接收寫請求,使用多個從庫副本負(fù)責(zé)讀請求,從庫和主庫同步更新數(shù)據(jù)保持?jǐn)?shù)據(jù)一致性,從庫可以水平擴(kuò)展,用于面對讀請求的增加。
這個模式也就是常說的讀寫分離,針對的是小規(guī)模數(shù)據(jù),而且存在大量讀操作的場景。
因為主從的數(shù)據(jù)是相同的,一旦主庫宕機(jī)的時候,從庫可以
切換為主庫提供寫入
,所以這個架構(gòu)也可以提高數(shù)據(jù)庫系統(tǒng)的
安全性
和
可用性
;
優(yōu)點:
缺點:
在數(shù)據(jù)庫遇到
IO瓶頸
過程中,如果IO集中在某一塊的業(yè)務(wù)中,這個時候可以考慮的就是垂直分庫,將熱點業(yè)務(wù)拆分出去,避免由
熱點業(yè)務(wù)
的
密集IO請求
影響了其他正常業(yè)務(wù),所以垂直分庫也叫
業(yè)務(wù)分庫
。
優(yōu)點:
缺點:
在數(shù)據(jù)庫遇到存儲瓶頸的時候,由于數(shù)據(jù)量過大造成索引性能下降。
這個時候可以考慮將數(shù)據(jù)做水平拆分,針對數(shù)據(jù)量巨大的單張表,按照某種規(guī)則,切分到多張表里面去。
但是這些表還是在同一個庫中,所以庫級別的數(shù)據(jù)庫操作還是有IO瓶頸(單個服務(wù)器的IO有上限)。
所以水平分嘩槐尺表主要還是針對
數(shù)據(jù)量較大
,整體業(yè)務(wù)
請求量較低
的場景。
優(yōu)點:
缺點:
四、分庫分表
在數(shù)據(jù)庫遇到存儲瓶頸和IO瓶頸的時候,數(shù)據(jù)量過大造成索引性能下降,加上同一時間需要處理大規(guī)模的業(yè)務(wù)請求,這個時候單庫的IO上限會限制處理效率。
所以需要將單張表的數(shù)據(jù)切分到多個服務(wù)器上去,每個服務(wù)器具有相應(yīng)的庫與表,只是表中數(shù)據(jù)不同。
分庫分表能夠有效地緩解單機(jī)和單庫的
性能瓶頸和壓力
,突破IO、連接數(shù)、硬件資源等的瓶頸。
優(yōu)點:
缺點:
注:分庫還是分表核心關(guān)鍵是有沒有IO瓶頸
。
分片方式都有什么呢?
RANGE(范圍分片)
將業(yè)務(wù)表中的某個
關(guān)鍵字段排序
后,按照順序從0到10000一個表,10001到20230一個表。最常見的就是
按照時間切分
(月表、年表)。
比如將6個月前,甚至一年前的數(shù)據(jù)切出去放到另外的一張表,因為隨著時間流明睜逝,這些表的數(shù)據(jù)被查詢的概率變小,銀行的交易記錄多數(shù)是采用這種方式。
優(yōu)點:
缺點:
HASH(哈希分片)
將訂單作為主表,然后將其相關(guān)的業(yè)務(wù)表作為附表,取用戶id然后
hash取模
,分配到不同的數(shù)據(jù)表或者數(shù)據(jù)庫上。
優(yōu)點:
缺點:
講到這里,我們已經(jīng)知道數(shù)據(jù)庫有哪些架構(gòu),解決的是哪些問題,因此,
我們在日常設(shè)計中需要根據(jù)數(shù)據(jù)的特點,數(shù)據(jù)的傾向性,數(shù)據(jù)的安全性等來選擇不同的架構(gòu)
。
那么,我們應(yīng)該如何選擇數(shù)據(jù)庫架構(gòu)呢?
雖然把上面的架構(gòu)全部組合在一起可以形成一個強(qiáng)大的高可用,高負(fù)載的數(shù)據(jù)庫系統(tǒng),但是架構(gòu)選擇合適才是最重要的。
混合架構(gòu)雖然能夠解決所有的場景的問題,但是也會面臨更多的挑戰(zhàn),你以為的完美架構(gòu),背后其實有著更多的坑。
1、對事務(wù)支持
分庫分表后(無論是垂直還是水平拆分亂高),就成了分布式事務(wù)了,如果依賴數(shù)據(jù)庫本身的分布式事務(wù)管理功能去執(zhí)行事務(wù),將付出高昂的性能代價(XA事務(wù));如果由應(yīng)用程序去協(xié)助控制,形成程序邏輯上的事務(wù),又會造成編程方面的負(fù)擔(dān)(TCC、SAGA)。
2、多庫結(jié)果并
(group by,order by)
由于數(shù)據(jù)分布于不同的數(shù)據(jù)庫中,無法直接對其做分頁、分組、排序等操作,一般應(yīng)對這種多庫結(jié)果并的查詢業(yè)務(wù)都需要采用數(shù)據(jù)清洗、同步等其他手段處理(TIDB、KUDU等)。
3、數(shù)據(jù)延遲
主從架構(gòu)下的多副本機(jī)制和水平分庫后的聚合庫都會存在主數(shù)據(jù)和副本數(shù)據(jù)之間的延遲問題。
4、跨庫join
分庫分表后表之間的關(guān)聯(lián)操作將受到限制,我們無法join位于不同分庫的表(垂直),也無法join分表粒度不同的表(水平), 結(jié)果原本一次查詢就能夠完成的業(yè)務(wù),可能需要多次查詢才能完成。
5、分片擴(kuò)容
水平分片之后,一旦需要做擴(kuò)容時。需要將對應(yīng)的數(shù)據(jù)做一次遷移,成本代價都極高的。
6、ID生成
分庫分表后由于數(shù)據(jù)庫獨(dú)立,原有的基于數(shù)據(jù)庫自增ID將無法再使用,這個時候需要采用其他外部的ID生成方案。
一、應(yīng)用層依賴類(JDBC)
這類分庫分表中間件的特點就是和應(yīng)用強(qiáng)耦合,需要應(yīng)用顯示依賴相應(yīng)的jar包(以Java為例),比如知名的TDDL、當(dāng)當(dāng)開源的
sharding-jdbc
、蘑菇街的TSharding等。
此類中間件的基本思路就是重新實現(xiàn)JDBC的API,通過重新實現(xiàn)
DataSource
、
PrepareStatement
等操作數(shù)據(jù)庫的接口,讓應(yīng)用層在
基本
不改變業(yè)務(wù)代碼的情況下透明地實現(xiàn)分庫分表的能力。
中間件給上層應(yīng)用提供熟悉的JDBC API,內(nèi)部通過
sql解析
、
sql重寫
、
sql路由
等一系列的準(zhǔn)備工作獲取真正可執(zhí)行的sql,然后底層再按照傳統(tǒng)的方法(比如數(shù)據(jù)庫連接池)獲取物理連接來執(zhí)行sql,最后把數(shù)據(jù)
結(jié)果合并
處理成ResultSet返回給應(yīng)用層。
優(yōu)點
缺點
二、中間層代理類(Proxy)
這類分庫分表中間件的核心原理是在應(yīng)用和數(shù)據(jù)庫的連接之間搭起一個
代理層
,上層應(yīng)用以
標(biāo)準(zhǔn)的MySQL協(xié)議
來連接代理層,然后代理層負(fù)責(zé)
轉(zhuǎn)發(fā)請求
到底層的MySQL物理實例,這種方式對應(yīng)用只有一個要求,就是只要用MySQL協(xié)議來通信即可。
所以用MySQL Navicat這種純的客戶端都可以直接連接你的分布式數(shù)據(jù)庫,自然也天然
支持所有的編程語言
。
在技術(shù)實現(xiàn)上除了和應(yīng)用層依賴類中間件基本相似外,代理類的分庫分表產(chǎn)品必須實現(xiàn)標(biāo)準(zhǔn)的MySQL協(xié)議,某種意義上講數(shù)據(jù)庫代理層轉(zhuǎn)發(fā)的就是MySQL協(xié)議請求,就像Nginx轉(zhuǎn)發(fā)的是Http協(xié)議請求。
比較有代表性的產(chǎn)品有開創(chuàng)性質(zhì)的Amoeba、阿里開源的Cobar、社區(qū)發(fā)展比較好的
Mycat
(基于Cobar開發(fā))等。
優(yōu)點
缺點
JDBC方案
:無中心化架構(gòu),兼容市面上大多數(shù)關(guān)系型數(shù)據(jù)庫,適用于開發(fā)高性能的輕量級 OLTP 應(yīng)用(面向前臺)。
Proxy方案
:提供靜態(tài)入口以及異構(gòu)語言的支持,適用于 OLAP 應(yīng)用(面向后臺)以及對分片數(shù)據(jù)庫進(jìn)行管理和運(yùn)維的場景。
混合方案
:在大型復(fù)雜系統(tǒng)中存在面向C端用戶的前臺應(yīng)用,也有面向企業(yè)分析的后臺應(yīng)用,這個時候就可以采用混合模式。
JDBC 采用無中心化架構(gòu),適用于 Java 開發(fā)的高性能的輕量級 OLTP 應(yīng)用;Proxy 提供靜態(tài)入口以及異構(gòu)語言的支持,適用于 OLAP 應(yīng)用以及對分片數(shù)據(jù)庫進(jìn)行管理和運(yùn)維的場景。
ShardingSphere是一套開源的分布式數(shù)據(jù)庫中間件解決方案組成的生態(tài)圈,它由
Sharding-JDBC
、
Sharding-Proxy
和
Sharding-Sidecar
(計劃中)這3款相互獨(dú)立的產(chǎn)品組成,他們均提供標(biāo)準(zhǔn)化的數(shù)據(jù)分片、分布式事務(wù)和數(shù)據(jù)庫治理功能,可適用于如Java同構(gòu)、異構(gòu)語言、容器、云原生等各種多樣化的應(yīng)用場景。
ShardingSphere提供的核心功能:
Sharding-Proxy
定位為透明化的
數(shù)據(jù)庫代理端
,提供封裝了
數(shù)據(jù)庫二進(jìn)制協(xié)議的服務(wù)端版本
,用于完成對
異構(gòu)語言的支持
。
目前已提供MySQL版本,它可以使用
任何兼容MySQL協(xié)議的訪問客戶端
(如:MySQL Command Client, MySQL Workbench, Navicat等)操作數(shù)據(jù),對DBA更加友好。
向
應(yīng)用程序完全透明
,可直接當(dāng)做MySQL使用。
適用于任何兼容MySQL協(xié)議的客戶端。
Sharding-JDBC
定位為
輕量級Java框架
,在Java的JDBC層提供的額外服務(wù)。 它使用客戶端直連數(shù)據(jù)庫,以jar包形式提供服務(wù),無需額外部署和依賴,可理解為
增強(qiáng)版的JDBC驅(qū)動,完全兼容JDBC和各種ORM框架
。
以電商SaaS系統(tǒng)為例,前臺應(yīng)用采用Sharding-JDBC,根據(jù)業(yè)務(wù)場景的差異主要分為三種方案。
分庫(用戶)
問題解析:頭部企業(yè)日活高并發(fā)高,單獨(dú)分庫避免干擾其他企業(yè)用戶,用戶數(shù)據(jù)的增長緩慢可以不分表。
拆分維度:企業(yè)ID分庫
拆分策略:頭部企業(yè)單獨(dú)庫、非頭部企業(yè)一個庫
分庫分表(訂單)
問題解析:訂單數(shù)據(jù)增長速度較快,在分庫之余需要分表。
拆分維度:企業(yè)ID分庫、用戶ID分表
拆分策略:頭部企業(yè)單獨(dú)庫、非頭部企業(yè)一個庫,分庫之后用戶ID取模拆分表
單庫分表(附件)
問題解析:附件數(shù)據(jù)特點是并發(fā)量不大,只需要解決數(shù)據(jù)增長問題,所以單庫IO足以支撐的情況下分表即可。
拆分維度:用戶ID分表
拆分策略:用戶ID取模分表
問題一:分布式事務(wù)
分布式事務(wù)過于復(fù)雜也是分布式系統(tǒng)最難處理的問題,由于篇幅有限,后續(xù)會開篇專講這一塊內(nèi)容。
問題二:分布式ID
問題三:跨片查詢
舉個例子,以用戶id分片之后,需要根據(jù)企業(yè)id查詢企業(yè)所有用戶信息。
sharding針對跨片查詢也是能夠支持的,本質(zhì)上sharding的跨片查詢是采用同時查詢多個分片的數(shù)據(jù),然后聚合結(jié)果返回,這個方式對資源耗費(fèi)比較大,特別是對數(shù)據(jù)庫連接資源的消耗。
假設(shè)分4個數(shù)據(jù)庫,8個表,則sharding會同時發(fā)出32個SQL去查詢。一下子消耗掉了32個連接;
特別是針對單庫分表的情況要注意,假設(shè)單庫分64個表,則要消耗64個連接。如果我們部署了2個節(jié)點,這個時候兩個節(jié)點同時查詢的話,就會遇到數(shù)據(jù)庫連接數(shù)上限問題(mysql默認(rèn)100連接數(shù))
問題四:分片擴(kuò)容
隨著數(shù)據(jù)增長,每個片區(qū)的數(shù)據(jù)也會達(dá)到瓶頸,這個時候需要將原有的分片數(shù)量進(jìn)行增加。由于增加了片區(qū),原先的hash規(guī)則也跟著變化,造成了需要將舊數(shù)據(jù)做遷移。
假設(shè)原先1個億的數(shù)據(jù),hash分64個表,現(xiàn)在增長到50億的數(shù)據(jù),需要擴(kuò)容到128個表,一旦擴(kuò)容就需要將這50億的數(shù)據(jù)做一次遷移,遷移成本是無法想象的。
問題五:一致性哈希
首先,求出每個
服務(wù)器的hash值
,將其配置到一個
0~2^n 的圓環(huán)上
(n通常取32)
其次,用同樣的方法求出待
存儲對象的主鍵 hash值
,也將其配置到這個圓環(huán)上。
然后,從數(shù)據(jù)映射到的位置開始順時針查找,將數(shù)據(jù)分布到找到的之一個服務(wù)器節(jié)點上。
一致性hash的優(yōu)點在于加入和刪除節(jié)點時只會影響到在哈希環(huán)中相鄰的節(jié)點,而對其他節(jié)點沒有影響。
所以使用一致性哈希在集群擴(kuò)容過程中可以減少數(shù)據(jù)的遷移。
好了,這次分享到這里,我們?nèi)粘5膶嵺`可能只會用到其中一種方案,但它不是數(shù)據(jù)庫架構(gòu)的全貌,打開技術(shù)視野,才能更好地把存儲工具利用起來。
老規(guī)矩,一鍵三連,日入兩千,點贊在看,年薪百萬!
本文作者:Jensen
7年Java老兵,小米主題設(shè)計師,手機(jī)輸入法設(shè)計師,ProcessOn特邀講師。
曾涉獵航空、電信、IoT、垂直電商產(chǎn)品研發(fā),現(xiàn)就職于某知名電商企業(yè)。
技術(shù)公眾號
【架構(gòu)師修行錄】
號主,專注于分享日常架構(gòu)、技術(shù)、職場干貨,Java Goals:架構(gòu)師。
交個朋友,一起成長!
數(shù)據(jù)庫系統(tǒng)瓶頸的介紹就聊到這里吧,感謝你花時間閱讀本站內(nèi)容,更多關(guān)于數(shù)據(jù)庫系統(tǒng)瓶頸,如何解決數(shù)據(jù)庫系統(tǒng)瓶頸問題?,50種方法巧妙優(yōu)化你的SQLServer數(shù)據(jù)庫(一),數(shù)據(jù)庫架構(gòu)選型與落地,看這篇就夠了的信息別忘了在本站進(jìn)行查找喔。
創(chuàng)新互聯(lián)(cdcxhl.com)提供穩(wěn)定的云服務(wù)器,香港云服務(wù)器,BGP云服務(wù)器,雙線云服務(wù)器,高防云服務(wù)器,成都云服務(wù)器,服務(wù)器托管。精選鉅惠,歡迎咨詢:028-86922220。
網(wǎng)站名稱:如何解決數(shù)據(jù)庫系統(tǒng)瓶頸問題?(數(shù)據(jù)庫系統(tǒng)瓶頸)
網(wǎng)站URL:http://www.5511xx.com/article/dpggohi.html


咨詢
建站咨詢
