CloudCanal 是一款可視化的數(shù)據(jù)同步、遷移工具，可以幫助企業(yè)構(gòu)建高質(zhì)量數(shù)據(jù)管道，具備實時高效、精確互聯(lián)、穩(wěn)定可拓展、一站式、混合部署、復(fù)雜數(shù)據(jù)轉(zhuǎn)換等優(yōu)點。
應(yīng)用場景 CloudCanal 可以幫助企業(yè)實現(xiàn)以下數(shù)據(jù)應(yīng)用場景：
? 數(shù)據(jù)同步 ：通過消費源端數(shù)據(jù)源增量操作日志，準(zhǔn)實時在對端數(shù)據(jù)源重放，以達(dá)到數(shù)據(jù)同步目的，具備斷點續(xù)傳、DDL 同步、元數(shù)據(jù)映射裁剪、自定義代碼數(shù)據(jù)處理、操作過濾、數(shù)據(jù)條件過濾、高性能對端寫入等特點。 ? 數(shù)據(jù)遷移 ：將指定數(shù)據(jù)源數(shù)據(jù)全量搬遷到目標(biāo)數(shù)據(jù)源，支持多種數(shù)據(jù)源，具備斷點續(xù)傳、順序分頁掃描、并行掃描、元數(shù)據(jù)映射裁剪、自定義代碼數(shù)據(jù)處理、批量寫入、并行寫入、數(shù)據(jù)條件過濾等特點，對源端數(shù)據(jù)源影響小且性能好，同時滿足數(shù)據(jù)輕度處理需求。 ? 數(shù)據(jù)校驗和訂正 ：將源端和對端數(shù)據(jù)分別取出，逐字段對比，可選擇差異數(shù)據(jù)訂正，功能可單獨使用，也可配合數(shù)據(jù)遷移或數(shù)據(jù)同步使用，滿足用戶數(shù)據(jù)質(zhì)量驗證與修復(fù)的需求。 ? 結(jié)構(gòu)遷移和同步 ：幫助用戶快速將源端結(jié)構(gòu)執(zhí)行到對端的功能，具備類型轉(zhuǎn)換、數(shù)據(jù)庫方言轉(zhuǎn)換、命名映射等特點，可獨立使用，也可作為數(shù)據(jù)遷移或數(shù)據(jù)同步準(zhǔn)備步驟。
CloudCanal 目前已經(jīng)支持的數(shù)據(jù)源包括：MySQL、Oracle、PostgreSQL、SQL Server、RDS for MySQL、ElasticSearch、Hive、Kafka、RocketMQ、RDS for PG、ADB for PG、Greenplum、RabbitMQ、TiDB、PolarDB、ClickHouse、PolarDB-X、Redis、Kudu、MongoDB、StarRocks、OceanBase、Doris、SelectDB、SAP Hana、MariaDB、Hudi、Aurora、RedShift、IBM Db2、達(dá)夢數(shù)據(jù)庫、高斯數(shù)據(jù)庫、AutoMQ、DocumentDB 等。
系統(tǒng)架構(gòu)
CloudCanal 系統(tǒng)主要分為三個組件部分：
? Console ：集中化的管控服務(wù)，以 web 服務(wù)集群存在；承載產(chǎn)品化功能，包括數(shù)據(jù)源/機器/數(shù)據(jù)任務(wù)生命周期管理、容災(zāi)調(diào)度、監(jiān)控告警、元數(shù)據(jù)管理等。 ? Sidecar ：部署于具體數(shù)據(jù)遷移同步機器上，承擔(dān)包括獲取需要運行的任務(wù)配置、啟停數(shù)據(jù)任務(wù)進程、收集和上報任務(wù)狀態(tài)、執(zhí)行任務(wù)的健康檢查等工作。 ? CloudCanal Core ：部署于具體數(shù)據(jù)遷移同步機器上，執(zhí)行具體的數(shù)據(jù)遷移、同步、校驗、訂正任務(wù)。 其中，CloudCanal Core 由以下功能模塊組成：
? 數(shù)據(jù)源插件 ：包含各個數(shù)據(jù)庫、消息、數(shù)據(jù)倉庫等數(shù)據(jù)源數(shù)據(jù)讀寫、元數(shù)據(jù)獲取邏輯和對應(yīng)驅(qū)動。各個插件通過 Java 類加載機制隔離，任務(wù)運行時只加載對應(yīng)數(shù)據(jù)源插件。 ? 核心 ：包含內(nèi)核代碼骨架、操作過濾、元數(shù)據(jù)映射、DDL 轉(zhuǎn)換、自定義數(shù)據(jù)處理等部分。 ? 支撐 ：包含元數(shù)據(jù)、任務(wù)配置、位點、監(jiān)控指標(biāo)，以及和管控交互的邏輯。 產(chǎn)品優(yōu)勢 CloudCanal 相比同類產(chǎn)品的優(yōu)勢如下：
? 實時高效 ：數(shù)據(jù)同步功能延遲普遍小于 5 秒 , 期間完成增量數(shù)據(jù)解析、攢批、操作過濾、數(shù)據(jù)轉(zhuǎn)換、元數(shù)據(jù)映射、數(shù)據(jù)寫入等動作。 ? 精確互聯(lián) ：對于數(shù)據(jù)鏈路兩端的數(shù)據(jù)類型、結(jié)構(gòu)規(guī)范、讀寫特點做了精確匹配與轉(zhuǎn)換，讓每一個數(shù)據(jù)源種類、版本差異 得到妥善解決。 ? 穩(wěn)定可擴展 ：產(chǎn)品內(nèi)核精簡，單進程架構(gòu)，系統(tǒng)分布式、高可用部署。產(chǎn)品通過組合各個職能的任務(wù)進程，實現(xiàn)大規(guī)模、分布式、高質(zhì)量數(shù)據(jù)管道集群。 ? 一站式 ：匯集結(jié)構(gòu)遷移、數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)校驗與訂正、修改訂閱等功能，通過有限狀態(tài)機讓功能自動流轉(zhuǎn)和運行。一站式支持用戶數(shù)據(jù)準(zhǔn)備與長期同步過程的一系列工作。 ? 混合部署 ：支持各個公有云、本地機房私有部署，首要關(guān)注用戶數(shù)據(jù)安全，有效支持異地、云上云下、多云之間數(shù)據(jù)安全同步需求。 ? 復(fù)雜數(shù)據(jù)轉(zhuǎn)換 ：產(chǎn)品默認(rèn)包含元數(shù)據(jù)映射、裁剪、過濾等標(biāo)準(zhǔn)能力，同時支持 用戶上傳業(yè)務(wù)代碼 進行數(shù)據(jù)復(fù)雜處理。 版本對比 CloudCanal 目前提供三種版本的產(chǎn)品，分別為社區(qū)版、商業(yè)試用版、商業(yè)版，三種版本的特點與功能對比如下：
閱讀原文：原文鏈接
400 186 1886
?
