使用指南


登录界面

访问 http:ip:5465 地址,进入登录界面

登录界面
登录界面

数据源配置中心

数据源配置中心
数据源配置中心

可以进行创建,修改,删除数据源,并且可以识别出ip是否为内网

编辑数据源
编辑数据源

此处为编辑数据源,默认在保存前会进行一次测试连接,如果测试不通过,则不保存。

image-20230202144841436
image-20230202144841436

flink 配置展示界面

创建 flink 环境
创建 flink 环境

创建 flink 环境界面,flink 模式有 3 中,已支持 standalone 以及 yarn,目前 k8s 正在开发中。如果是 yarn 模式需要填写 FLINK_HOME、core_site、hdfs_site、yarn_site 路径。

例如下图:

flink 环境例子
flink 环境例子

元数据中心

元数据中心
元数据中心

此处的源端数据库目标数据库是在数据源中心配置的

同步表结构

同步表结构
同步表结构

源端数据库 数据库中勾选上要同步的表结构,同时在 目标数据库 上勾选上将要同步到的数据库,点击创建表结构按钮,将会按照下面表结构的前后缀自动创建表(可以不填)。

表结构同步额外信息
表结构同步额外信息

cdc 实时同步数据

image-20230202150120349
image-20230202150120349

源端数据库目标数据库 选中要同步的表结构,将会在右侧生成表名。注意:如果是多个表,要保证源端数据库表目标数据库表 顺序一致,若顺序不一致可以拖动

image-20230202150622779
image-20230202150622779

然后点击 生成cdc任务按钮 就可以生成 flink 任务

image-20230202150735439
image-20230202150735439

此时生成的列表就是刚刚生成的同步表结构任务,每个任务都可以单独操作,也可以批量操作。点击 url 连接就会跳转到对应的 flink-web 界面。

推送

推送
推送

点击飞机按钮就可以选择集群(在flink 配置中心设置的)推送到指定的集群上,此时就可以在 yarn 管理界面上查看任务。

flink-sql
flink-sql

未来这里会添加 flink-sql 功能,避免在代码中写死 sql。同时可以添加调试功能,一键推送到指定集群上运行。