新聞中心
優(yōu)化一個分布式系統(tǒng)的吞吐能力,除了應用本身代碼外,很大程度上是在優(yōu)化它所依賴的中間件集群處理能力。如:kafka/redis/rabbitmq/postgresql/分布式存儲(CephFS,JuiceFS,C urve,Longhorn)等集群的處理能力。

成都創(chuàng)新互聯(lián)公司-專業(yè)網站定制、快速模板網站建設、高性價比嵩縣網站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式嵩縣網站制作公司更省心,省錢,快速模板網站建設找我們,業(yè)務覆蓋嵩縣地區(qū)。費用合理售后完善,10余年實體公司更值得信賴。
分布式存儲集群(Longhorn)
這里主要用于 Citus 集群的協(xié)調器(coordinator)和工作器(worker) 節(jié)點的數據持久化。
具體文檔,請參閱:https://longhorn.io/
分布式 PostgreSQL 集群(Citus)
這里主要用于對 Sentry 事件源數據大表 nodestore_node 的分片。
具體文檔,請參閱:
https://docs.citusdata.com/en/v11.1/
讀寫分離和高可用(PgPool+Repmgr)
這里主要用于對 Citus 節(jié)點(協(xié)調器/工作器)進行讀寫分離和主備高可用。
具體文檔,請參閱:
https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html
https://repmgr.org/
管理集群節(jié)點(PgAdmin)
具體文檔,請參閱:
https://www.pgadmin.org/
nodestore_node 大表分片
選擇分布式 key,并將表轉換分布式表,這里將表劃分為 64 個分片,數據平均分配到 6 臺 worker 節(jié)點:
# 創(chuàng)建分布式表
SELECT create_distributed_table('nodestore_node', 'id', colocate_with => 'none', shard_count => 64);
# 平衡分片
SELECT rebalance_table_shards();
# 查詢分片
SELECT * FROM citus_shards;
總結
中間件集群基礎設施建設,本身涉及細節(jié)較多,可以說是另一個領域。
本文提供了一種筆者的實踐思路,拋磚引玉。
名稱欄目:云原生分布式PostgreSQL+Citus集群在Sentry后端的實踐
本文網址:http://www.5511xx.com/article/dppgcid.html


咨詢
建站咨詢
