目录
一、DataX-Web 介绍
1.1 DataX-Web 是什么
项目地址:https://github.com/WeiYe-Jing/datax-web
datax-web 是一个在 DataX 之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用 DataX 的学习成本,缩短任务配置时间,避免配置过程中出错。用户可以通过页面选择数据源,即可创建数据同步任务。支持 RDBMS、Hive、HBase、ClickHouse、MongoDB 等数据源。RDBMS 数据源可以批量创建数据同步任务,支持实时查看数据同步进度及日志,并提供终止同步功能,集成并二次开发 xxl-job,可根据时间、自增主键增量同步数据。
任务“执行器”支持集群部署,支持执行器多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖,执行器CPU、内存、负载的监控等等。
1.2 DataX-Web 架构

二、DataX-Web 安装部署
2.1 环境要求
| 环境 | 要求 |
|---|---|
| 操作系统 | mac、Windows、Linux |
| Java | Java8,jdk 的版本建议在 1.8.201 以上 |
| Python | Python (2.x) (支持 Python3 需要修改替换 datax/bin 下面的三个 python 文件,替换文件在doc/datax-web/datax-python3 下) 必选,主要用于调度执行底层 DataX 的启动脚本,默认的方式是以 Java 子进程方式执行 DataX,用户可以选择以 Python 方式来做自定义的改造 |
| MySQL | MySQL 5.7+ |
| Maven | Apache Maven 3.6.1+,编译安装包需要(可选) |
| DataX | DataX 3 |
对应的基础环境可以查看这篇文章安装:大数据 DataX 详细安装教程-CSDN博客
2.2 安装
直接将安装包下载下来(下载地址:https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg,提取码:cpsk),解压安装到指定的路径即可:
(base) [root@hadoop03 ~]# ls
datax-web-2.1.2.tar.gz
(base) [root@hadoop03 ~]# tar -zxvf datax-web-2.1.2.tar.gz -C /usr/local/
2.3 部署
执行一键安装脚本,进入解压后的目录,找到 bin 目录下面的 install.sh 文件,如果选择交互式的安装,则直接执行:
(base) [root@hadoop03 ~]# cd /usr/local/datax-web-2.1.2/
(base) [r
8217



被折叠的 条评论
为什么被折叠?



