日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間:8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
2022上半年盤點:20+主流數(shù)據(jù)庫重大更新及技術(shù)要點匯總

數(shù)據(jù)庫行業(yè)半年度回顧

“多元化+差異化”的齊頭并進

2022年上半年,各數(shù)據(jù)庫廠商及產(chǎn)品都取得了長足的進步,在某些重點技術(shù)領(lǐng)域的突破,無論是產(chǎn)品還是市場方面都得到了不錯的反饋,特別是以國產(chǎn)化、云為代表的廠商及產(chǎn)品表現(xiàn)突出。

創(chuàng)新互聯(lián)公司是一家網(wǎng)站建設(shè)、成都網(wǎng)站制作,提供網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,網(wǎng)站制作,建網(wǎng)站,定制制作,網(wǎng)站開發(fā)公司,成立與2013年是互聯(lián)行業(yè)建設(shè)者,服務(wù)者。以提升客戶品牌價值為核心業(yè)務(wù),全程參與項目的網(wǎng)站策劃設(shè)計制作,前端開發(fā),后臺程序制作以及后期項目運營并提出專業(yè)建議和思路。

從技術(shù)方向上看,以分布式、云原生、多模異構(gòu)、HTAP、AI自治、安全為代表的技術(shù),成為了各個產(chǎn)品發(fā)展的重點。在過去數(shù)年,分布式數(shù)據(jù)庫發(fā)展迅速,是面對海量規(guī)模及高并發(fā)等場景的利器。通過數(shù)年實踐,產(chǎn)品的基本功能、穩(wěn)定性、性能等方面已趨于成熟,各家產(chǎn)品開始在易用性、可觀察性、診斷能力、生態(tài)兼容等方向發(fā)力,并陸續(xù)開始有成果落地。相信分布式數(shù)據(jù)庫的不斷發(fā)展,會在未來得到更大范圍的使用。

另一個熱點方向則是HTAP,特別是分布式能力的引入,為AP方向的能力提供了更多算力,也為HTAP帶來更多想象空間。從用戶視角來看,HTAP簡化了原有技術(shù)棧,統(tǒng)一訪問方式,為用戶帶來更優(yōu)質(zhì)的體驗。從發(fā)展來看,各家產(chǎn)品從HTAP能力的初步具備,逐步過渡到更精準的資源控制、更高效的執(zhí)行效率等階段,改善用戶使用體驗。未來對數(shù)據(jù)庫,特別是分布式數(shù)據(jù)庫而言,HTAP能力將成為廠商競爭的主要方向之一。

在云數(shù)據(jù)庫領(lǐng)域,云原生數(shù)據(jù)庫成為焦點,各廠商已從傳統(tǒng)數(shù)據(jù)庫托管類產(chǎn)品的競爭,過渡到自有云原生數(shù)據(jù)庫產(chǎn)品的較量,承載規(guī)模、彈性能力、極致性價比等成為了發(fā)展要點,特別是Serverless方向,已成為后續(xù)發(fā)展的主流方向之一。雖然目前尚處于較早期的階段,但其現(xiàn)有能力已非常誘人,未來發(fā)展空間巨大,甚至有可能成為各家發(fā)展的分水嶺,帶來彎道超車的契機。

在NoSQL領(lǐng)域,以圖、時序為代表的產(chǎn)品成為了發(fā)展熱點,一大批初創(chuàng)企業(yè)及產(chǎn)品受到了更多關(guān)注。在產(chǎn)品能力上,紛紛從兼容生態(tài)、突出核心、提升易用性等角度切入,并在更多場景上得到使用驗證,大大擴展了原有的使用空間。此外,AI與數(shù)據(jù)庫的結(jié)合、新型硬件的使用、安全能力也是各家發(fā)展的方向之一。

從數(shù)據(jù)庫廠商對產(chǎn)品研發(fā)的角度上看,大廠重點落在智能化、新硬件、數(shù)據(jù)流轉(zhuǎn)等方向;云廠商在構(gòu)建新一代云原生、Serverless等方向發(fā)力,希望找到突破口實現(xiàn)產(chǎn)品升級;新興廠商則在某些垂直領(lǐng)域,如HTAP、NoSQL、高兼容等方向著手,尋找差異化競爭路線;而開源產(chǎn)品,則更多在企業(yè)級能力、安全性等方面不斷提升。

數(shù)據(jù)庫產(chǎn)品半年度盤點

主流數(shù)據(jù)庫的版本升級與更新亮點

在如此百花爭鳴的2022上半年,dbaplus社群攜手一眾數(shù)據(jù)庫行業(yè)專家,匯總、梳理并提煉出主流數(shù)據(jù)庫近半年的版本更迭、性能優(yōu)化、功能提升等關(guān)鍵信息,希望對大家了解數(shù)據(jù)庫發(fā)展趨勢,以及數(shù)據(jù)庫選型工作有所幫助和啟發(fā)。

本期要點

DB-Engines數(shù)據(jù)庫排行榜

一、RDBMS

  • Oracle Exadata X9M-2和X9M-8新特性
  • MySQL發(fā)布8.0.28和8.0.29版本
  • MariaDB 10.8新特性
  • PostgreSQL發(fā)布15 beta 1和14.4版本
  • OceanBase企業(yè)版及社區(qū)版共迭代9個版本

二、NoSQL

  • Redis發(fā)布7.0版本

三、NewSQL

  • TiDB共發(fā)布3個大版本

四、時序數(shù)據(jù)庫

  • MatrixDB發(fā)布4.4及4.5版本

五、大數(shù)據(jù)生態(tài)圈

  • Elastic共發(fā)布4個大版本
  • Greenplum共發(fā)布3個大版本
  • Flink發(fā)布1.15.0版本
  • ClickHouse共發(fā)布6個版本

六、國產(chǎn)數(shù)據(jù)庫

  • ?SequoiaDB發(fā)布3.6及5.0.3版本?
  • 達夢數(shù)據(jù)庫發(fā)布DM 8.1.2.116版本
  • QianBase?發(fā)布1.6.6SP6_1~SP6_3
  • ArkDB主要提升及優(yōu)化
  • OushuDB 5.0版本更新概要

七、云數(shù)據(jù)庫

  • 華為云2022上半年數(shù)據(jù)庫產(chǎn)品更新匯總
  • 阿里云2022上半年數(shù)據(jù)庫產(chǎn)品更新匯總
  • 騰訊云2022上半年數(shù)據(jù)庫產(chǎn)品更新匯總
  • 京東云2022上半年數(shù)據(jù)庫產(chǎn)品更新匯總
  • 青云2022上半年大數(shù)據(jù)及數(shù)據(jù)庫產(chǎn)品更新匯總

DB-Engines數(shù)據(jù)庫排行榜

以下取自2022年6月的數(shù)據(jù),具體信息可以參考http://db-engines.com/en/ranking/,數(shù)據(jù)僅供參考。

DB-Engines排名的數(shù)據(jù)依據(jù)5個不同的因素:

  • Google及Bing搜索引擎的關(guān)鍵字搜索數(shù)量;
  • Google Trends的搜索數(shù)量;
  • Indeed網(wǎng)站中的職位搜索量;
  • LinkedIn中提到關(guān)鍵字的個人資料數(shù);
  • Stackoverflow上相關(guān)的問題和關(guān)注者數(shù)。

RDBMS

Oracle Exadata X9M-2和X9M-8新特性

Oracle Exadata數(shù)據(jù)庫云平臺通過集成設(shè)計為Oracle數(shù)據(jù)庫帶來出色的性能、可用性和成本效益。

一、最新的Exadata X9M-2和X9M-8特性

  1. 延續(xù)了X8M在Exadata存儲服務(wù)器中添加了Intel Optane? Persistent Memory,使用100Gb RDMA over Converged Ethernet(RoCE)內(nèi)部網(wǎng)絡(luò)架構(gòu),取代了之前的InfiniBand網(wǎng)絡(luò)架構(gòu)。
  2. 直接從數(shù)據(jù)庫使用RDMA訪問智能存儲服務(wù)器中的持久內(nèi)存,繞過整個操作系統(tǒng)、I/O和網(wǎng)絡(luò)軟件堆棧,顯著降低延遲和提高吞吐量,實現(xiàn)小于19微秒OLTP IO延遲。
  3. Exadata X9M這一系列產(chǎn)品相較于X8M在性能上有了進一步提升,但報價保持不變,性價比大幅提升。

二、同一Exadata Cloud@Customer上支持自治和非自治數(shù)據(jù)庫

2022年3月16日,Oracle宣布在同一Exadata專有云數(shù)據(jù)庫一體機(Exadata Cloud@Customer)上支持自治和非自治數(shù)據(jù)庫。多VM自治數(shù)據(jù)庫允許客戶使用自己的訪問規(guī)則、配額和性能SLO來配置隔離的操作環(huán)境,例如開發(fā)測試、生產(chǎn)。這反過來又使企業(yè)不僅可以遷移現(xiàn)有數(shù)據(jù)庫并對其進行現(xiàn)代化改造以獲得云優(yōu)勢,還可以創(chuàng)建一個符合公司治理標準的自助服務(wù)數(shù)據(jù)庫應(yīng)用程序開發(fā)平臺。新的多虛擬機自治數(shù)據(jù)庫功能使企業(yè)能夠以更低的成本更輕松地采用ADB,為開發(fā)人員提供用于新應(yīng)用程序的完整且簡單的自助服務(wù)數(shù)據(jù)庫。

三、零數(shù)據(jù)丟失恢復(fù)一體機(ZDLRA)最新的名稱改為RA21

Oracle零數(shù)據(jù)丟失恢復(fù)一體機(簡稱RA21)是一個突破性的數(shù)據(jù)保護解決方案,不僅消除了數(shù)據(jù)丟失風險,大幅降低數(shù)據(jù)保護給生產(chǎn)服務(wù)器帶來的開銷,還能持續(xù)驗證數(shù)據(jù)的完整性和可恢復(fù)性,通過不斷擴展來保護數(shù)以千計的數(shù)據(jù)庫,同時為數(shù)據(jù)備份提供完整生命周期保護,包括磁盤備份、磁帶備份和遠程復(fù)制。

MySQL發(fā)布8.0.28和8.0.29版本

2022年上半年,MySQL 8.0發(fā)布了8.0.28和8.0.29兩個版本,修復(fù)了大量的bug,在性能和穩(wěn)定性方面進一步增強。另外,HeatWave發(fā)布了重磅的機器學(xué)習(xí)功能,以下是詳細介紹。

一、優(yōu)化

InnoDB:InnoDB現(xiàn)在支持 ALTER TABLE ... RENAME COLUMN和ALTER TABLE ... DROP COLUMN使用 ALGORITHM=INSTANT。該操作只修改數(shù)據(jù)字典中元數(shù)據(jù),表數(shù)據(jù)不受影響,使操作可以瞬時完成。如果未明確指定,只要該DDL支持INSTANT操作,會默認使用。

從MySQL 8.0.29開始,可以將瞬時添加的列添加到表中的任何位置,瞬時添加或刪除的列會創(chuàng)建一個新的行版本。最多允許64行版本。

二、復(fù)制和克隆

replica_parallel_type系統(tǒng)變量現(xiàn)在已被棄用;每當讀取或設(shè)置這個變量,或者在my.cnf中設(shè)置該選項時,服務(wù)器就會發(fā)出棄用警告。

8.0.29版本引入了binlog_expire_logs_auto_purge系統(tǒng)變量來控制服務(wù)器自動清除二進制日志文件。

group_replication_set_as_primary函數(shù),可以指定新的master成員,用于覆蓋自動選舉過程產(chǎn)生的master成員。

克?。涸黾酉到y(tǒng)變量“clone_delay_after_data_drop”,允許在接收者刪除數(shù)據(jù)之后增加延時,以使接收者在開始克隆之前釋放足夠的空間。

三、運維監(jiān)控

Performance Schema的變化:計時器THREAD_CPU已添加到Performance Schema PERFORMANCE_TIMERS表中。

tmp_table_size變量現(xiàn)在定義由TempTable存儲引擎創(chuàng)建的單個內(nèi)存內(nèi)部臨時表的最大大小。適當?shù)拇笮∠拗瓶煞乐箚蝹€查詢消耗過多的全局TempTable資源。

innodb_open_files變量定義了InnoDB一次可以打開的文件數(shù),現(xiàn)在可以在運行時使用語句進行設(shè)置。方法是執(zhí)行SELECT innodb_set_open_files_limit(N)。

8.0.28版本起在全局和每個用戶的基礎(chǔ)上引入了對內(nèi)存分配的監(jiān)視和限制?,F(xiàn)在可以通過檢查Global_connection_memory狀態(tài)變量的值來觀察所有用戶連接消耗的總內(nèi)存,該變量必須通過設(shè)置global_connection_memory_tracking = 1來啟用。

字符串:服務(wù)器在使用“SHOW”語句輸出及報告無效字符時,使用utf8mb3代替之前使用的utf8。

四、開發(fā)

時間格式:MySQL之前對時間格式的分隔符或空白等要求寬松,從8.0.29版本開始,則推薦用戶使用標準格式,使用其他格式將輸出警告信息。

派生的物化表條件推送優(yōu)化現(xiàn)在可以在大多數(shù)的union語句使用。這意味著外部 WHERE條件現(xiàn)在可以推送到物化派生表或視圖的查詢表達式中的每個查詢塊中。

函數(shù)FROM_UNIXTIME (), UNIX_TIMESTAMP (),和CONVERT_TZ ()可以處理64位的值,F(xiàn)ROM_UNIXTIME ()現(xiàn)在支持最大的參數(shù)是32536771199.999999秒,對應(yīng)'3001-01-18 23:59:59.999999' UTC。UNIX_TIMESTAMP ()支持接收最大值'3001-01-18 23:59:59.999999' UTC,對應(yīng)32536771199.999999秒。

字符集latin1的快捷方式ASCII和UNICODE的快捷方式ucs2被棄用,MySQL的未來版本中將刪除它們。用戶可以使用CHARACTER SET代替。

五、HeatWave

HeatWave用戶現(xiàn)在可以使用內(nèi)置的HeatWave機器學(xué)習(xí)(ML),這是一種完全托管、高度可擴展、經(jīng)濟高效的機器學(xué)習(xí)解決方案,適用于存儲在MySQL中的數(shù)據(jù)。HeatWave ML提供了一個簡單的SQL接口,用于訓(xùn)練和使用預(yù)測機器學(xué)習(xí)模型,新手和經(jīng)驗豐富的ML從業(yè)者都可以使用。使用HeatWave ML,用戶只需調(diào)用SQL即可訓(xùn)練模型。同樣,用戶可以使用單個語句生成預(yù)測,從而輕松地集成到用戶的應(yīng)用程序中。

HeatWave現(xiàn)在支持多達1017個基本關(guān)系列(加載到HeatWave中的表),以及多達1800個中間關(guān)系列(查詢處理期間使用的中間表)。基本關(guān)系和中間關(guān)系的最大列寬增加到了65532字節(jié)。

MariaDB 10.8新特性

一、Alter修改表結(jié)構(gòu)實現(xiàn)從庫無延遲并行復(fù)制

通常,ALTER TABLE主庫上執(zhí)行完畢后,才會被復(fù)制并開始在從庫上執(zhí)行。有了這個特性后,當ALTER TABLE在主庫上開始執(zhí)行時,它會立刻被復(fù)制并開始在從庫上執(zhí)行,完全消除了從庫的復(fù)制滯后,實現(xiàn)了從庫無延遲并行復(fù)制。

使用:

MariaDB[test]> set global binlog_alter_two_phase=1;
MariaDB[test]> set binlog_alter_two_phase=1;
MariaDB[test]> alter table sbtest1 add index IX_pad(pad);

ALTER TABLE回車后,可以立即用mysqlbinlog工具去查看binlog,此時LTER TABLE語句已經(jīng)記錄在binlog文件里。

二、多源復(fù)制支持MySQL樣式的CHANNEL語法

多源復(fù)制可以實現(xiàn)數(shù)據(jù)分析部門的需求,將多個系統(tǒng)的數(shù)據(jù)匯聚到一臺服務(wù)器上進行OLAP(聯(lián)機分析處理)計算。在10.7及以上版本里,支持MySQL 5.7多源復(fù)制的語法。

三、支持降序索引

從10.8版本開始支持降序索引(InnoDB引擎)??梢灾苯訉⑺饕x為DESC,這樣在存儲的時候就是降序保存的,在進行降序掃描時,性能會得到大幅度提升。當然,這樣做最大的好處是,我們可以用索引處理(order by a desc,b asc,c desc)混合排序的查詢了。在10.8之前的版本中,排序的字段順序必須一致,否則使用不到索引,通過explain命令查看,結(jié)果中會出現(xiàn)文件排序(filesort)。

四、MariaDB Xpand分布式數(shù)據(jù)庫發(fā)布

MariaDB Xpand是一款(MySQL客戶端協(xié)議)在線事務(wù)處理(OLTP)分布式數(shù)據(jù)庫(對標PostgreSQL協(xié)議的CockroachDB),Xpand則是存儲引擎。

使用MariaDB Xpand需要許可證密鑰(45天非生產(chǎn)試用期)。軟件下載地址 https://mariadb.com/downloads/#xpand

特點:

  • 符合ACID的分布式數(shù)據(jù)庫,適用于海量數(shù)據(jù)、高并發(fā)和強一致性在線事務(wù)處理(OLTP);
  • 彈性動態(tài)橫向擴容;
  • Paxos高可用性;
  • 數(shù)據(jù)分布通過Xpand水平劃分為切片,并將切片的副本(默認兩個)分布在節(jié)點之間;
  • 無限讀寫擴展,采用無共享架構(gòu);
  • 支持復(fù)雜查詢(例如JOIN和分組聚合操作)。

PostgreSQL發(fā)布15 beta 1和14.4版本

2022年1月至今,PostgreSQL發(fā)布了15 beta 1和14.4等多個版本,其中值得關(guān)注的增強有:

一、性能增強

  1. 排序性能提升顯著,尤其是在需要排序的數(shù)據(jù)量超過了work_mem的情況下,in-memory的排序性能也有所提升;
  2. group by會自動優(yōu)化列的順序;
  3. postgres_fdw外部表支持下推case when表達式;
  4. 窗口函數(shù)row_number(), rank()和count()性能提升;
  5. full-page-write全頁寫支持lz4和zstd壓縮算法;
  6. \copy元命令加載性能提升;
  7. pg_upgrade和pg_dump性能提升。

二、邏輯復(fù)制增強

  1. 支持直接發(fā)布某個模式下的所有表;
  2. 發(fā)布端支持指定某些列進行發(fā)布,比如create publication pub1 for table t2(info);
  3. 發(fā)布端支持過濾條件,比如create publication p2 for table t1, t2 where (e = 99);
  4. 原生邏輯復(fù)制支持預(yù)備事務(wù)。

三、并行增強

  1. select distinct支持并行,并行特性繼續(xù)加強;
  2. postgres_fdw()支持并行提交,之前的版本是本地事務(wù)提交之后再串行提交遠端事務(wù);
  3. 外部表的查詢現(xiàn)在可以在更多的情況下使用并行掃描。

四、其他增強

  1. 支持merge語法,以前的版本可以使用insert ... on conflict替代;
  2. 新增多種正則表達式,regexp_count(),regexp_instr(),regexp_like()和regexp_substr();
  3. 新增SQL/JSON構(gòu)造器;
  4. 新增SQL/JSON查詢函數(shù),json_exists()、json_query()和json_value();
  5. 唯一約束和索引支持將NULL視為不同的值,之前的版本需要使用表達式索引進行限制;
  6. 日志支持JSON格式。

五、相關(guān)動態(tài)

CitusData于日前推出了Citus 11.0,并宣布將所有企業(yè)版的特性都進行開源。此前,Citus在版本更新時通常會同步發(fā)布2個版本:開源版本和包含一些額外功能的企業(yè)版本。

14.4版本修復(fù)了之前的14.0、14.1和14.2三個版本中使用create index concurrently和reindex concurrently導(dǎo)致索引損壞的BUG,會導(dǎo)致數(shù)據(jù)不一致,需要盡快升級至14.4版本。

OceanBase企業(yè)版及社區(qū)版共迭代9個版本

2022年1月至今,OceanBase數(shù)據(jù)庫共計迭代9個版本(企業(yè)版及社區(qū)版),進一步提升與增強性能、安全性、兼容性、診斷監(jiān)控等企業(yè)級核心能力。其中,OceanBase 3.2.3作為3.x的LTS版本,是完整HTAP能力的重要里程碑,新特性如下:

一、OceanBase企業(yè)版關(guān)鍵特性

  1. HTAP能力:全面實現(xiàn)向量化引擎,支持所有基礎(chǔ)算子向量化,復(fù)雜查詢場景下帶來數(shù)量級的性能飛躍,TPC-H性能相比OceanBase 2.2.x提升10倍。
  2. 性能:優(yōu)化Nest Loop Join,性能提升1倍;支持多表關(guān)聯(lián)SQL語句轉(zhuǎn)化為Nest Loop Join執(zhí)行計劃,通過算子優(yōu)化大幅提升多表關(guān)聯(lián)性能;提升Table API流式掃描性能,OceanBase 3.2.3流式掃描性能達到HBase 2.4.6的2.2倍。
  3. 兼容性:Oracle模式新增DBLink功能,支持用戶通過DBLink訪問Oracle的數(shù)據(jù);MySQL模式引入Oracle模式的Sequence功能。兼容MySQL 8.0 CTE和CHECK檢查約束功能。
  4. 診斷監(jiān)控:存儲過程支持GET DIAGNOSTICS診斷,可使用該功能獲取SQL語句或者存儲過程執(zhí)行時的錯誤信息,幫助用戶快速定位、排查解決問題;OCP引入SQL畫像和事務(wù)畫像功能。
  5. 安全性:新增備份恢復(fù)完整性校驗功能,幫助用戶快速發(fā)現(xiàn)磁盤靜默故障;ODC支持操作記錄審計功能,自動記錄所有的數(shù)據(jù)庫變更操作。

二、OceanBase社區(qū)版關(guān)鍵特性

  1. 支持OBKV能力:提供HBase模型和Table模型的NoSQL能力。讀寫綜合性能超越HBase,且能復(fù)用OceanBase底層的強一致和異地容災(zāi)能力,并避免了HBase的性能抖動問題。
  2. 支持兼容MySQL 5.7版本的JSON功能,提供半結(jié)構(gòu)化數(shù)據(jù)支持:很多用戶會使用JSON類型存儲半結(jié)構(gòu)化數(shù)據(jù)以彌補關(guān)系模型的不足,相比TEXT和LOB類型,JSON類型存儲半結(jié)構(gòu)化數(shù)據(jù)時性能更好,支持高效索引和合法性校驗。
  3. 支持回收站中的對象恢復(fù),極大降低因誤操作導(dǎo)致的潛在風險:表格刪除后進入到回收站,F(xiàn)lashback Table能夠?qū)⒒厥照菊`刪除的表格恢復(fù)出來,防止誤操作。
  4. CDC支持大事務(wù):通過新增持久化模式,數(shù)據(jù)在同步開始前先進行本地臨時存儲,避免CDC傳輸大事務(wù)時因內(nèi)存溢出OOM而導(dǎo)致的斷開鏈接問題。
  5. 支持Kubernetes Operator:用戶可以通過容器的形式將OceanBase運行在公有云或私有化部署的Kubernetes集群。
  6. 部署更加便捷:面向開發(fā)者提供更加友好的使用體驗。將Docker鏡像由2C10G優(yōu)化至2C8G,降低開發(fā)者在個人電腦使用OceanBase的門檻。另外,新增了ARM架構(gòu)支持。

NoSQL

Redis發(fā)布7.0版本

2022年4月27日,Redis正式發(fā)布7.0版本,該版本持續(xù)開發(fā)了近1年之久,在GA版本前有3個候選版本,目前相當穩(wěn)定,可以用于生產(chǎn)。從Itamar Haber關(guān)于版本更新的介紹中可以看出許多優(yōu)秀的特性和功能來源于Redis用戶的反饋和生產(chǎn)環(huán)境的使用經(jīng)驗教訓(xùn),其中值得關(guān)注的更新要點有:

  1. Redis Functions:使用服務(wù)端的腳本來擴展Redis的新方法;
  2. ACLv2:基于鍵的更細粒度的訪問權(quán)限管理,允許用戶使用selectors管理多組命令規(guī)則;
  3. 集群:支持分片(特定節(jié)點)發(fā)布/訂閱;
  4. 大多數(shù)情況下對子命令的一流的處理(影響ACL類別、info命令的統(tǒng)計等);
  5. Multi-Part AOF:將AOF作為多個AOF文件存儲在一個文件夾中避免AOF重寫帶來的性能開銷;可以通過配置選項appenddirname設(shè)置存放多個AOF文件的存放目錄;
  6. 命令鍵規(guī)格:是客戶端查找key參數(shù)及其讀/寫目的的更好方法;
  7. 集群:支持主機名,而不僅僅是IP地址;
  8. 改進了對網(wǎng)絡(luò)緩沖區(qū)消耗的內(nèi)存的管理,以及一個用于當總內(nèi)存超過限制時刪除客戶端的配置選項maxmemory-clients;
  9. 集群:斷開集群總線的連接以防止不受控制的緩沖區(qū)增漲的機制;
  10. AOF:時間戳注釋和支持指定時間點的恢復(fù),對于故障恢復(fù)非常有用;
  11. Lua:支持EVAL腳本中的函數(shù)標志;支持Verbatim和Big-Number類型的RESP3協(xié)議的回復(fù);通過redis.REDIS_VERSION,redis.REDIS_VERSION_NUM獲取Redis版本;
  12. Redis 7.0開始對RDB文件使用了新版本10格式,與舊版本不兼容,升級時需要仔細閱讀,提前測試好兼容性,不可回退;
  13. 為Redis Functions和eval Lua腳本添加API以顯式檢查ACL;
  14. 鍵空間事件支持新建的key;
  15. 用listpack替換Hash、List、Zset中的ziplist,以提升性能;
  16. CLUSTER SHARDS命令棄用CLUSTER SLOTS,解鎖集群管理更多技巧;
  17. CONFIG SET/GET可以在一次調(diào)用中處理多個配置;
  18. 升級jemalloc版本到5.2.1;
  19. list類型支持添加存儲大于4GB的元素;
  20. 配置:repl-diskless-sync(無盤復(fù)制)現(xiàn)在默認設(shè)置為yes;
  21. 移除gopher協(xié)議的支持;
  22. 現(xiàn)在允許在數(shù)據(jù)加載期間使用CONFIG SET、REWRITE、RESETSTAT等命令,管理起來更加友好;
  23. SCRIPT LOAD和SCRIPT FLUSH不再傳播到副本/AOF;
  24. 新增許多命令,如:ZMPOP、BZMPOP、LMPOP, BLMPOP、SINTERCARD、ZINTERCARD等。

Redis 7.0添加了近50個新命令和選項來擴展Redis的現(xiàn)有功能。例如,bitmap、list、set、sorted set和stream類型都添加了支持其數(shù)據(jù)管理用例的功能。此外,緩存語義已擴展為支持存在和比較修飾符。

Redis 7.0特別注重在內(nèi)存使用率上優(yōu)化和命令執(zhí)行性能上的提升,對其管理的每個子系統(tǒng)基本上都進行了多項改進,包括內(nèi)存、計算、網(wǎng)絡(luò)和存儲。雖然默認情況下啟用了一些優(yōu)化,但其它優(yōu)化可能需要配置才可以生效。

NewSQL

TiDB共發(fā)布3個大版本

2022年1月至今,TiDB陸續(xù)發(fā)布了5.4、6.0、6.1三個大版本,在性能、兼容性、穩(wěn)定性、安全性、可用性、可觀測性、可管理性等方面做了大量改進,企業(yè)級HTAP與云數(shù)據(jù)庫能力得到大幅增強。以上三個版本累計發(fā)布新增特性和增強功能145個,修復(fù)問題236個,其中值得關(guān)注的更新有:

  1. 穩(wěn)定性:TiDB 6.1作為TiDB 6系版本的長期支持版(Long Term Support),在多個層面夯實產(chǎn)品的穩(wěn)定性,例如提升TiKV高壓場景下的內(nèi)存穩(wěn)定性,解決了由于Raft Log復(fù)制流量過大導(dǎo)致的OOM問題。
  2. 性能:TiDB 5.4版本中TiFlash存儲層大幅優(yōu)化行存到列存轉(zhuǎn)碼效率,在不同并發(fā)情況下實測吞吐性能提高60%~90%;新增索引合并查詢優(yōu)化,允許優(yōu)化器在查詢處理中同時選擇使用多列的索引以減少回表。
  3. HTAP能力:分析引擎在MPP推出后不斷走向成熟,并于4月1日在GitHub開源。6.0版本中TiFlash新增100多個常用內(nèi)建函數(shù)以及若干表關(guān)聯(lián)算子,引入了全新的彈性線程池,這使得TiDB MPP模式在短查詢下達到同等計算資源倍增的計算性能,且在高壓力查詢時穩(wěn)定性更佳。6.1版本中,分區(qū)表的實驗特性GA,新增TiFlash MPP下的窗口函數(shù)支持。
  4. 可管理性:TiDB 6.0引入數(shù)據(jù)放置框架,提供了針對分區(qū)/表/庫級數(shù)據(jù)在不同標簽節(jié)點之間的自由放置接口,用戶可以針對某張表,某個數(shù)據(jù)分區(qū)的存儲位置做出自定義的選擇;發(fā)布企業(yè)級集群管理組件TiUniManager,提供對TiDB集群的全生命周期可視化管理;開放了智能診斷服務(wù)PingCAP Clinic的預(yù)覽,集成了診斷數(shù)據(jù)采集、智能診斷、智能巡檢、云診斷平臺等功能。
  5. 數(shù)據(jù)生態(tài):TiDB 6.0版本中TiCDC對于增量數(shù)據(jù)的提取、排序、加載、投遞等多個處理流程都進行了優(yōu)化。TiDB 6.1引入了用戶級別鎖和TiCDC下的Avro格式向Kafka同步數(shù)據(jù)的支持。TiDB 5.4強化了數(shù)據(jù)備份效率,在支持Amazon S3、Google Cloud Storage的基礎(chǔ)上,新增對Azure環(huán)境的支持。

此外,2022年5月,PingCAP宣布TiDB Cloud在全球范圍正式商用,為用戶提供云上全托管的DBaaS服務(wù),支持用戶在全托管的數(shù)據(jù)庫上運行關(guān)鍵業(yè)務(wù)交易和實時分析任務(wù),充分享受云上的性能優(yōu)勢和業(yè)務(wù)連續(xù)性保障。

時序數(shù)據(jù)庫

MatrixDB發(fā)布4.4及4.5版本

2022年上半年,MatrixDB總共更新了2個版本,4.4~4.5,主要特性包括Mars2存儲引擎、流式計算、兼容Kubernetes與Prometheus生態(tài)等,在數(shù)據(jù)寫入、數(shù)據(jù)存儲、集群監(jiān)控方面都取得了重大突破,詳細更新如下:

  1. Mars2存儲引擎:在Mars存儲引擎的基礎(chǔ)上,開發(fā)出了第二代存儲引擎Mars2。相比一代,Mars2性能更高,并可以在引擎內(nèi)部后臺自動壓縮,不再需要顯式壓縮轉(zhuǎn)換;對upsert語義支持更好;支持列存壓縮,空間占用更小。
  2. 監(jiān)控系統(tǒng)升級:與Prometheus生態(tài)完美對接。
  3. MatrixGate升級:支持數(shù)據(jù)去重;新增超時設(shè)置,提高健壯性;支持指標信息查看,方便了解系統(tǒng)負載及定位問題。
  4. 滑動窗口流式計算:在流計算場景,可以對最近一段時間內(nèi)的數(shù)據(jù)持續(xù)地分析運算。不同于滾筒窗口的不重疊,滑動窗口的時間窗口是可以重疊的?;瑒哟翱谕ǔ4钆浔O(jiān)控告警使用,當最近一段時間內(nèi)數(shù)據(jù)滿足預(yù)設(shè)條件時,數(shù)據(jù)服務(wù)端會向客戶端發(fā)送告警消息。
  5. Kubernetes支持:與Kubernetes生態(tài)完美兼容,可以在Kubernetes上部署MatrixDB集群。
  6. MxBench性能測試工具:MxBench是MatrixDB數(shù)據(jù)加載和查詢的壓測工具,可以根據(jù)用戶給定的設(shè)備數(shù)量、時間范圍、指標數(shù)量配置快速生成隨機數(shù)據(jù),自動創(chuàng)建數(shù)據(jù)表,串行或并發(fā)進行數(shù)據(jù)加載和查詢。用戶可以靈活配置指標類型、采集頻率、空值率、隨機度等,還可以指定查詢的線程數(shù)、定制查詢語句等。
  7. 查詢統(tǒng)計組件:通過將相同的查詢匯總到一起,來統(tǒng)計查詢執(zhí)行次數(shù)、耗時、資源占用信息等。對數(shù)據(jù)庫執(zhí)行過的SQL進行統(tǒng)計和監(jiān)控,從而更好地了解各種類型查詢的資源消耗,以及發(fā)現(xiàn)分析慢查詢。

大數(shù)據(jù)生態(tài)圈

Elastic共發(fā)布4個大版本

截至2022年6月底,Elastic.co發(fā)布了4個大版本,從7.17.X~8.2.X,每個大版本中間包括幾個小升級版本;7.17.X與8.0.X屬于同步發(fā)行版本,7.17.X版本的主要作用是幫助7.X版本升級并順利遷移到8.X版本,作為中間的過渡版本。2022年最重要的是結(jié)束了7.X版本延續(xù),發(fā)布了8.X,并側(cè)重更多的智能搜索能力特性。

7.17.X~8.2.X版本的增強與提升:

1、Elasticsearch Java Api Client:自7.15版本開始,在Java編程語言范圍內(nèi),Elastic.co官方推薦開發(fā)者使用Java Api Client進行應(yīng)用集成,同比Java High Level REST Client更加輕量,更少依賴,更適合Java語言最新特性,至此到8.0版本開始,從官方層面不再更新維護Java High Level REST Client,也是作為一個時代的演變的結(jié)束。

2、Security:

  • 自8.0版本開始,Elasticsearch默認會啟動基本的安全策略,并自動配置生成安全證書,同時啟用ssl/https;
  • 集群內(nèi)部tcp通信需要配置ca證書,新節(jié)點加入已有集群,可以通過專用工具生成臨時的token;
  • 集群外部訪問也需要配置https證書,同時需要使用分配的用戶名與密碼訪問。

3、KNN aearch api:

  • KNN,全稱“k-nearest neighbor”,直譯“近鄰算法”,是數(shù)據(jù)挖掘或者機器學(xué)習(xí)中經(jīng)典樸素簡單的算法之一;
  • Elasticsearch在較早時間,引入了向量字段類型“dense_vector”,支持了更多的智能搜索,如NLP、圖像、語音等領(lǐng)域搜索,但是由于查詢時采用腳本動態(tài)計算模型,性能上容易出現(xiàn)瓶頸,8.0版本引入KNN算法模型,可有效滿足更大規(guī)模的向量檢索,同比性能提升數(shù)倍;
  • Elasticsearch目前引入的KNN算法模型并非樸素的算法,而是目前業(yè)界最流行的“HSSW Algorithm”,詳細參考wiki。

4、PyTorch for nlp:8.0版本引入了PyTorch模型支持,更方便地支持NLP應(yīng)用 。

5、Storage savings:8.0版本發(fā)布,針對keyword、match_only_text、text類型,采用了更高效的文本編碼算法,節(jié)約了更多的存儲空間,若是應(yīng)用于日志領(lǐng)域,效果應(yīng)該更明顯。實際上從7.0到7.17版本,中間也有多次存儲空間的效能提升。

6、Doc value only search:

  • 針對一些簡單的字段類型,elasticsearch提供了基于doc_value的檢索能力, 通過犧牲原有倒排索引的檢索能力,換取了更快的索引寫入速度、更高的壓縮存儲能力,更快統(tǒng)計聚合與排序性能;
  • 目前支持的字段包括:numeric數(shù)值類型、date日期類型、keyword類型、ip地址、boolean布爾類型。

7、OpenJDK upgrade:Elasticsearch當前已經(jīng)升級到OpenJDK 18.X。

Greenplum共發(fā)布3個大版本

2022年1月1日至今,Greenplum發(fā)布了從6.19.1到最新版6.21.0(6月15日發(fā)布),共三個大版本。Greenplum 內(nèi)核基于 PostgreSQL,針對大數(shù)據(jù)場景和用戶需求開發(fā)了眾多優(yōu)秀特性并作了極致優(yōu)化。隨著Greenplum 版本更新至6.20,內(nèi)核部分主要更新內(nèi)容如下:

  1. Greenplum 6.20.0 引入了新的 contrib 模塊gp_array_agg。該模塊為Greenplum數(shù)據(jù)庫實現(xiàn)了一個并行的array_agg( )聚合函數(shù)。
  2. 查詢優(yōu)化器(GPORCA)現(xiàn)在支持對包含堆分區(qū)和AO分區(qū)的分區(qū)表進行位圖掃描。
  3. 查詢優(yōu)化器(GPORCA)支持為有序聚合生成查詢計劃,從而提高查詢性能。
  4. GPDB 支持平臺更加豐富,添加了對Redhat RHEL8版本的支持。
  5. 安全方面的改進和提升。
  6. Resource Group:資源組在按百分比分配CPU資源方面,將包括一個新模式。之前支持彈性模式,若系統(tǒng)有空余資源,可動態(tài)分配?,F(xiàn)在,除了現(xiàn)有的彈性模式,還支持強制模式,嚴格按照配置供給資源,有效滿足了客戶更豐富的場景需求。
  7. gp_parallel_retrieve_cursor 并行檢索cursor模塊:用戶可以使用它在Greenplum數(shù)據(jù)庫主節(jié)點上創(chuàng)建一種特殊的cursor,并按需要或并行地直接從Greenplum segment上檢索查詢結(jié)果。Greenplum將這種cursor稱為并行檢索cursor。
  8. Greenplum新增了對pg_trgm和btree_gin兩個插件的默認支持:pg_trgm提供了基于三元組搜索的文本相似度計算函數(shù),以及相應(yīng)的索引運算符。btree_gin為常用數(shù)據(jù)類型實現(xiàn)了 GIN 索引運算符類。
  9. GP2GP功能:greenplum_fdw模塊是一個外部數(shù)據(jù)包裝器(FDW),用戶可使用它在一個或多個Greenplum Database version 6.20+集群上運行查詢。通過新的greenplum_fdw模塊和gp_parallel_retrieve_cursor模塊,可訪問存儲在一個或多個外部Greenplum數(shù)據(jù)庫集群中的數(shù)據(jù),達到并行按需獲取,實現(xiàn)跨集群cluster的并行和按需檢索數(shù)據(jù)。
  10. 安全保護加強:Greenplum Database 6.21.0增加了對scram -sha-256密碼哈希算法和scram -sha-256客戶端身份驗證方法的支持,增強密碼安全保護。
  11. Diskquota升級至2.0版本:新版Diskquota增加了hard-limit模式,如果查詢在執(zhí)行期間超出磁盤配額限制,將強制終止該查詢。與此同時,針對不同類型的tablespace,新版Diskquota允許用戶定義不同的磁盤配額限制以及可容忍的最大數(shù)據(jù)傾斜比率。

Flink發(fā)布1.15.0版本

  1. 進一步明確了Checkpoint與Savepoint在語義上的區(qū)別,提高了Savepoint的性能,并允許用戶更精確的控制Savepoint的生命周期;
  2. 進一步完善了流作業(yè)自動伸縮調(diào)度器的能力;
  3. 為用戶提供了批作業(yè)根據(jù)數(shù)據(jù)量自動設(shè)置算子并發(fā)的能力;
  4. 提供了跨Source水印對齊的能力;
  5. 初步實現(xiàn)了Changelog Statebackend;
  6. 默認打開Final Checkpoint功能,保證有限數(shù)據(jù)作業(yè)流批處理結(jié)果一致;
  7. 初始提供了SQL作業(yè)狀態(tài)兼容版本升級的能力;
  8. 提供了批模式下對Window table-valued函數(shù)的支持;
  9. SQL提供了對Json函數(shù)的支持;
  10. 進一步完善了Application部署模式;
  11. 增加和完善多個外部系統(tǒng)連接器;
  12. 去除了對特定Scala版本的依賴;
  13. 優(yōu)化了Python API的性能。

ClickHouse共發(fā)布6個版本

2022年1月至今,ClickHouse主要發(fā)布了6個stable version, 其中包含一個LTS版本:v22.3。在這些版本中,ClickHouse在性能、集成度、可用性、穩(wěn)定性方面取得了長足的進步。其中值得關(guān)注的特性有:

  1. schema自動推導(dǎo):ClickHouse在v22.1加入了該特性,能自動根據(jù)外部文件后綴判斷對應(yīng)的壓縮方法和數(shù)據(jù)格式,還能從ORC、Parquet、CSVWithNamesAndTypes、TSVWithNamesAndTypes等格式的文件中自動獲取schema。
  2. 副本粒度的并行查詢:在生產(chǎn)集群中,一個ClickHouse分片下通常由多個副本。默認情況下每個查詢只能使用分片下某一個副本的計算和存儲資源。因此ClickHouse在v22.1增加了一個新配置:allow_experimental_parallel_reading_from_replicas,在開啟的情況下ClickHouse將會在一個分片的多個副本間分擔查詢?nèi)蝿?wù),提升了集群資源的利用率。
  3. 列的稀疏編碼:ClickHouse在v22.1中加入了該實驗特性。列的稀疏編碼是一種特殊的列編碼,類似于LowCardinality,但它對用戶完全透明:如果某一列主要包含零值,ClickHouse會自動將其編碼為稀疏格式并自動優(yōu)化稀疏編碼列的計算。
  4. Hive表引擎:ClickHouse在v22.1中加入該特性。通過它可實現(xiàn)對Hive數(shù)倉的SELECT查詢,目前支持ORC/Parquet/TEXT格式的Hive表查詢,并通過分布式查詢、本地文件緩存、行列裁剪、元數(shù)據(jù)緩存等方式不斷優(yōu)化Hive表引擎的性能。
  5. Projection Is Production Ready:Projection可讓同一個ClickHouse表中擁有多份不同的數(shù)據(jù)表示,例如在一張表中同時存儲聚合和明細數(shù)據(jù)。ClickHouse會自動優(yōu)化查詢,為其選擇最合適的Projection。區(qū)別于物化視圖,Projection可保證表的數(shù)據(jù)一致性。在v22.2中,Projection這個重量級特性已經(jīng)是Production Ready狀態(tài)
  6. ClickHouse Keeper Is Production Ready:在ClickHouse中,ClickHouse Keeper是ZooKeeper的替代品。它兼容 ZooKeeper的協(xié)議和數(shù)據(jù)模型,并可無縫替代 ZooKeeper(最高版本3.5)供ClickHouse和其他應(yīng)用使用。它可作為獨立組件運行,也可以嵌入到 clickhouse-server中運行。經(jīng)過不斷優(yōu)化,從v22.3 LTS開始ClickHouse Keeper在讀寫方面都比ZooKeeper更快,同時消耗更少的內(nèi)存,日志和快照的磁盤占用也更低。在v22.3 LTS中,ClickHouse Keeper已處于Production Ready的狀態(tài)
  7. 半結(jié)構(gòu)化數(shù)據(jù):ClickHouse在v22.3 LTS中引入了這個實驗特性。通過半結(jié)構(gòu)化類型,ClickHouse可在未指定JSON schema的情況下分析JSON數(shù)據(jù)。JSON中可任意嵌套array和map等復(fù)雜類型,ClickHouse內(nèi)部會自動調(diào)整對JSON數(shù)據(jù)的表示。該特性大大提升了ClickHouse分析半結(jié)構(gòu)化數(shù)據(jù)的易用性和性能。
  8. 事務(wù):ClickHouse在v22.4中引入了事務(wù)作為實驗特性。通過BEGIN TRANSACTION, COMMIT, ROLLBACK語句支持原子地插入多張表或物化視圖,以及從單個快照進行滿足一致性和隔離性的讀取。
  9. ClickHouse啟動加速:v22.4中引入了配置use_metadata_cache,通過它可選擇將元數(shù)據(jù)緩存于內(nèi)嵌的RocksDB存儲引擎中。當ClickHouse啟動時,它會盡量從緩存中獲取元數(shù)據(jù),否則退化到從磁盤文件獲取。在極端情況下(700k個parts), 它能使啟動時間從75分鐘縮短到20秒
  10. 并行Hash Join:v22.5中引入了并行Hash Join。這種新的Join實現(xiàn)將Join切分成多個block然后并行執(zhí)行。這對大數(shù)據(jù)量的Join尤其有用,在并行度足夠高的情況下可減少80%的查詢時長。該特性可通過配置join_algorithm = 'parallel_hash'來開啟。

國產(chǎn)數(shù)據(jù)庫

SequoiaDB發(fā)布3.6及5.0.3版本

2022年1月至今,巨杉數(shù)據(jù)庫SequoiaDB主要發(fā)布了v3.6及v5.0.3兩個版本,在性能等方面進行了優(yōu)化提升。

一、主要特性:

  1. SQL引擎:新增了建表語句選項,支持映射到存儲引擎中已存在的集合;
  2. 存儲引擎:新增了上下文清理機制,回收站能力,及Flink 連接器,提供 SequoiaDB 與流式框架對接的能力。與此同時,對索引元數(shù)據(jù)納入編目節(jié)點統(tǒng)一管理,增強索引一致性,并提供獨立索引能力,支持根據(jù)業(yè)務(wù)需要在特定的節(jié)點上創(chuàng)建索引。

二、性能優(yōu)化(主要集中在SQL引擎方面):

  1. SELECT ... LOCK IN SHARE MODE更新為使用共享鎖,提升操作并發(fā)性能;
  2. 優(yōu)化部分場景下SELECT COUNT的性能;
  3. 優(yōu)化多字段IN查詢以及多字段多范圍查詢時的性能;
  4. 優(yōu)化聯(lián)合索引關(guān)聯(lián)查詢時,支持BKA JOIN算法以提升對應(yīng)JOIN操作的性能;
  5. 優(yōu)化提升OR條件下INDEX MERGE的性能等。

三、工具優(yōu)化:

  1. SQL引擎:新增實例組用戶密碼變更工具ha_inst_group_chpass,元數(shù)據(jù)映射初始化工具sql_enable_mapping,元數(shù)據(jù)映射查看工具sql_get_mapping等; 
  2. 存儲引擎:sdbimprt工具返回唯一索引沖突數(shù)。

達夢數(shù)據(jù)庫發(fā)布DM 8.1.2.116版本

2022年1月至今,達夢數(shù)據(jù)庫主要發(fā)布了DM 8.1版本,其中值得關(guān)注的更新如下:

  1. 基于AWR功能,提供DBA_HIST_TBSPC_SPACE_USAGE動態(tài)視圖,通過該視圖可以查詢快照時間點的表空間的空間使用情況;
  2. 新增了SVI權(quán)限角色和新的系統(tǒng)視圖,進一步控制普通用戶的權(quán)限,增加系統(tǒng)安全性的同時不影響普通用戶的正常使用;
  3. 分區(qū)表增刪子表與查詢并發(fā);
  4. 新增支持兩種加密算法XASJ_SYMM, XASJ_ASYMM;
  5. 新增支持json_table相關(guān)功能;
  6. 新增text數(shù)據(jù)類型比較功能;
  7. 對多表連接+層次查詢+order by rowid場景的SQL語句執(zhí)行速度進行優(yōu)化;
  8. 對unpivot查詢獲取執(zhí)行計劃優(yōu)化。

QianBase?發(fā)布1.6.6SP6_1~SP6_3

易鯨捷QianBase?在2022年上半年結(jié)合用戶需求和項目實踐,陸續(xù)發(fā)布了QianBase? 1.6.6SP6_1~SP6_3,針對產(chǎn)品的功能、可用性、穩(wěn)定性及數(shù)據(jù)一致性等方面進行進一步優(yōu)化,主要新增特性及功能增強包括:

1、數(shù)據(jù)庫:

  • 優(yōu)化ESP退出機制,支持session連接斷開或事務(wù)結(jié)束時退出ESP,該機制通過CQD控制;
  • 優(yōu)化offender對于中文字符編碼的支持。

2、存儲引擎:優(yōu)化RegionServer GC策略,支持單個大事務(wù)多個分支場景以及多個大事務(wù)并發(fā)場景。

3、連接服務(wù):

  • 增加WMS對于高并發(fā)場景的支持;
  • 優(yōu)化dcsstop機制。

4、異步復(fù)制:

  • 提升JDBCTX從斷點讀取binlog性能;
  • JDBCTX支持numeric超過18位解析;
  • 修改binlog初始化后默認為最大可靠模式并提示配置遠程集群信息;
  • 解決主備切換后DDL導(dǎo)致集群故障的場景。

5、數(shù)據(jù)一致性:

  • 解決事務(wù)卡在提交的第二階段但客戶端返回成功的一致性問題;
  • 解決update與delete并發(fā)執(zhí)行時更新丟失的問題。

6、高可用:解決在線balance后鎖殘留問題。

7、其他:優(yōu)化sqcheck功能。

ArkDB主要提升及優(yōu)化

2022年1月至今,ArkDB主要在以下方面進行了提升和優(yōu)化:

  1. Arkolap自動優(yōu)化SQL路由策略優(yōu)化;
  2. ArkDB冷熱數(shù)據(jù)分片管理實現(xiàn);
  3. ArkDB冷熱數(shù)據(jù)分片統(tǒng)一讀寫實現(xiàn);
  4. ArkDB實現(xiàn)數(shù)據(jù)寫入的精確統(tǒng)計分析;
  5. 穩(wěn)定性提升優(yōu)化;
  6. 新增存儲引擎ArkFT,用來處理全文索引數(shù)據(jù)處理請求;
  7. 修改Arkolap存儲引擎的創(chuàng)建方式;
  8. 通過使用libcurl來優(yōu)化對ES訪問性能以及功能完備性。

OushuDB 5.0版本更新概要

2022年上半年,OushuDB發(fā)布的5.0版本主要在以下方面進行了提升和優(yōu)化:

  1. 多主節(jié)點架構(gòu),實現(xiàn)了主節(jié)點集群的高可用,可以水平擴展,支持分析型負載的高并發(fā);
  2. 多虛擬存儲集群架構(gòu),支持多租戶的存儲資源隔離,有效解決了單一存儲集群資源瓶頸的限制;
  3. 分區(qū)表元數(shù)據(jù)重構(gòu),極大地降低了元數(shù)據(jù)體量,提升了分區(qū)表操作的性能;
  4. AO表事務(wù)重構(gòu),減少了對元數(shù)據(jù)的讀寫,進一步提升update/delete性能。

云數(shù)據(jù)庫

華為云2022上半年數(shù)據(jù)庫產(chǎn)品更新匯總

一、華為云GaussDB(for openGauss)

GaussDB(for openGauss)主要發(fā)布了2.7.1.200,新特性主要有:

  1. 行存轉(zhuǎn)向量化:行存轉(zhuǎn)向量化適配,混合負載時性能提升。在相同資源環(huán)境和業(yè)務(wù)負載情況下,TPC-H性能較“行存引擎+行存執(zhí)行框架”提升30%。
  2. 并行邏輯解碼:在使用JDBC或pg_recvlogical解碼時,通過設(shè)置parallel-decode-num參數(shù)來開啟并行解碼特性,數(shù)據(jù)庫內(nèi)核通過一個讀取線程、多個解碼線程以及一個發(fā)送線程之間的流水線協(xié)同運行進行邏輯解碼操作,解碼速度顯著提升。
  3. Global SysCache:將系統(tǒng)緩存與會話解耦,綁定到線程上,結(jié)合線程池特性達到降低內(nèi)存占用的目的,同時結(jié)合全局緩存,提升緩存命中率,保持性能穩(wěn)定。
  4. 支持流式容災(zāi):計劃內(nèi)、計劃外容災(zāi)切換保證分布式事務(wù)強一致,相比之前的基于OBS的容災(zāi),流式復(fù)制提供更快的性能和更高的可用性,RPO<10秒,RTO<10分鐘。
  5. 支持NAS備份恢復(fù):可備份到NAS并基于NAS恢復(fù),適合期望把備份文件存放在云外的客戶。

二、華為云GaussDB(for MySQL)

新功能如下:

  1. 數(shù)據(jù)庫代理Proxy支持會話級一致性讀,解決讀取一致性訴求;
  2. 數(shù)據(jù)庫代理Proxy支持規(guī)格變更;
  3. GaussDB(for MySQL)支持秒級監(jiān)控,提供1S和5S的監(jiān)控粒度,助力用戶問題排查;
  4. GaussDB(for MySQL)支持SQL限流功能,提升業(yè)務(wù)穩(wěn)定性;
  5. GaussDB(for MySQL)支持DAS慢日志導(dǎo)出;
  6. 支持慢日志脫敏開關(guān)功能,用戶可以自行控制日志是否脫敏;
  7. 備份恢復(fù)\按時間點恢復(fù)支持恢復(fù)到當前實例、已有實例;
  8. 支持定時重啟實例。

三、 華為云RDS系列產(chǎn)品

  1. 極速型SSD云盤,結(jié)合25GE網(wǎng)絡(luò)和RDMA技術(shù),可以提供單盤最大吞吐量達1000 MB/s并具有亞毫秒級低時延性能;
  2. 數(shù)據(jù)庫停機不計費功能,支持對數(shù)據(jù)庫實例關(guān)機,通過暫時停止按需實例以節(jié)省費用;
  3. RDS for MySQL高可用只讀實例:當只讀實例所在物理機故障后,備用只讀實例會自動頂替以達到高可用,減少由于只讀實例長時間重建和恢復(fù)對業(yè)務(wù)的影響;
  4. RDS for MySQL多Proxy功能:云數(shù)據(jù)庫MySQL支持開通單Proxy或多Proxy功能。其中,多Proxy功能支持創(chuàng)建多個Proxy實例并設(shè)置只讀權(quán)重,適用于需要業(yè)務(wù)隔離的場景;
  5. RDS for PostgreSQL支持升級內(nèi)核小版本:支持手動升級內(nèi)核小版本,內(nèi)核小版本的升級涉及性能提升、新功能或問題修復(fù)等;
  6. 新增SQL Server 2019系列,支持跨版本恢復(fù)。

四、華為云GaussDB(for Redis) 

新發(fā)布的核心特性有:

  1. 企業(yè)級雙活容災(zāi):支持建立主備容災(zāi)實例,數(shù)據(jù)實時同步,10s RPO;
  2. 多租隔離能力提升:單實例支持6w多DB;
  3. 前綴搜索性能提升:SCAN match prefix*速度比開源Redis快1000倍;
  4. 服務(wù)化能力提升:WebClient網(wǎng)頁客戶端、快速規(guī)格選型、監(jiān)控指標聚合等;
  5. 業(yè)務(wù)場景提升:排行榜、延遲隊列等業(yè)務(wù)場景下性能提升;
  6. 支持0改造搬遷:完全兼容主從/哨兵/集群模式SDK,業(yè)務(wù)無需改代碼即可上云;
  7. 兼容性提升:支持布隆過濾器、Redisson分布式鎖API、阻塞命令、key過期事件監(jiān)聽等。

五、文檔數(shù)據(jù)庫服務(wù)DDS

DDS主要發(fā)布了4.2版本等其他管控特性,新特性主要有:

  1. 4.2版本正式商用;
  2. 集群時間點備份恢復(fù);
  3. 副本集支持添加只讀節(jié)點;
  4. 支持租戶面小版本升級。

六、分布式數(shù)據(jù)庫中間件DDM

  1. DDM備份恢復(fù)功能:DDM恢復(fù)特性用于誤刪庫或者RDS for MySQL本身出現(xiàn)異常等業(yè)務(wù)場景,可根據(jù)過去的某個時間點,將DDM元數(shù)據(jù)數(shù)據(jù)與已經(jīng)PITR恢復(fù)完成的RDS for MySQL實例進行匹配,重建DDM和RDS for MySQL的關(guān)聯(lián)關(guān)系,恢復(fù)DDM;
  2. 管理員賬號功能;
  3. 只讀組可在同VPC內(nèi)跨子網(wǎng)創(chuàng)建功能。

七、數(shù)據(jù)復(fù)制服務(wù)DRS

  1. 同步場景和災(zāi)備場景支持包周期和多規(guī)格,并統(tǒng)一調(diào)整價格策略;
  2. DB2-GaussDB(for openGauss)同步場景下支持DB210.1,11.1,11.5版本;
  3. MySQL-MySQL、GaussDB(for MySQL)等10+條重要鏈路的常用功能特性拉齊(包括行過濾、增量DDL等);
  4. 支持同步場景的TiDB-GaussDB(for MySQL)新鏈路;
  5. 支持同步場景的DB2-Kafka新鏈路;
  6. 支持同步場景的SQL Server-GaussDB(DWS)新鏈路;
  7. 支持同步場景的MongoDB副本集-MongoDB副本集新鏈路;
  8. 同步場景下MySQL-CSS支持行過濾、列過濾、對象選擇excel導(dǎo)入、任務(wù)克隆等功能;
  9. 同步場景下MySQL-GaussDB(DWS)支持增加時間戳、行過濾等常用數(shù)據(jù)加工功能。

阿里云2022上半年數(shù)據(jù)庫產(chǎn)品更新匯總

一、阿里云數(shù)據(jù)庫自研產(chǎn)品

1、云原生關(guān)系型數(shù)據(jù)庫PolarDB

1)PolarDB-X發(fā)布三個版本

2022年1月,PolarDB-X正式發(fā)布2.0.1版本,更新內(nèi)容包括新增讀寫分離、集群擴縮容等特性,兼容maxwell和debezium增量日志訂閱,以及新增其他眾多新特性和修復(fù)若干問題。

2022年3月,PolarDB-X正式發(fā)布2.1.0版本,包含了四大核心特性,全面提升PolarDB-X穩(wěn)定性和生態(tài)兼容性,其中包含基于Paxos的三副本共識協(xié)議。

2022年4月,PolarDB-X正式發(fā)布2.1.1版本,重點推出冷熱數(shù)據(jù)新特性,可以支持業(yè)務(wù)表的數(shù)據(jù)按照數(shù)據(jù)特性分別存儲在不同的存儲介質(zhì)上,比如將冷數(shù)據(jù)存儲到Aliyun OSS對象存儲上。

2)PolarDB for PostgreSQL

2022年3月2日,開源PolarDB企業(yè)級架構(gòu)重磅發(fā)布,首次公開開源PolarDB的總體結(jié)構(gòu)設(shè)計和企業(yè)級特性,對PolarDB for PostgreSQL的存儲計算分離架構(gòu)、HTAP架構(gòu)、三節(jié)點高可用架構(gòu)進行了全面介紹。

PolarDB for PostgreSQL 100%兼容PostgreSQL,采用基于共享存儲的存儲計算分離架構(gòu),具有極致彈性、毫秒級延遲,支持HTAP的能力,還支持時空、GIS、圖像、向量、搜索、圖譜等多模創(chuàng)新特性,可應(yīng)對企業(yè)對數(shù)據(jù)處理日新月異的需求。

  • 極致彈性:存儲與計算能力均可獨立地橫
    分享文章:2022上半年盤點:20+主流數(shù)據(jù)庫重大更新及技術(shù)要點匯總
    當前地址:http://www.5511xx.com/article/dhogopi.html