数据同步工具datax使用、datax_web安装和使用

Datax安装 datax安装部署 阅读详情
AI摘要

本文详细介绍DataX的安装步骤及配置方法,包括环境搭建、json脚本编写示例、常见错误排查技巧,并提供DataX Web图形化界面的部署流程。

datax GitHub地址:https://github.com/alibaba/DataX.git

datax web Git地址:https://github.com/WeiYe-Jing/datax-web

datax 下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

datax web 下载地址:

datax安装

datax需要python环境,可输入命令,查看是否有python环境

python

python环境安装教程:

datax是通过编写json脚本语言进行数据同步的,格式例子如下(mysql-mysql),

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 1048576
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "源数据库用户名",
            "password": "源数据库密码",
            "column": [
              "`aaa`",
              "`bbb`",
              "`ccc`",
              "`time`"
            ],
            "where": "time>= ${lastTime} and time< ${currentTime}",
            "splitPk": "",
            "connection": [
              {
                "table": [
                  "源表名"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://源数据库ip:源数据库端口/源数据库名?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "目标数据库用户名",
            "password": "目标数据库密码",
            "writeMode": "update",
            "column": [
              "`aaa`",
              "`bbb`",
              "`ccc`",
              "`time`"
            ],
            "connection": [
              {
                "table": [
                  "目标表名"
                ],
                "jdbcUrl": "jdbc:mysql://目标数据库ip:目标数据库端口/目标数据库名?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true"
              }
            ]
          }
        }
      }
    ]
  }
}

其他数据源交互参考datax GitHub的数据源参考指南

window版

datax下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

将安装包放到window任意目录下,解压即可

测试datax

1、打开cmd界面(同时按下Windows键+R键)

2、输入CHCP 65001 防止中文乱码

3、跳转到datax的bin目录下 

D:
cd D:datax\bin

4、查看模板、输入命令

python datax.py -r streamreader -w streamwriter

 5、将写好的json脚本放到bin目录下

6、输入命令执行

python datax.py json.json

linux版

将下载好的 datax.tar.gz包上传到linux目录下

cd到该目录,执行命令

tar -zxvf datax.tar.gz

进入到datax的bin目录下

cd datax/bin

输入命令,进行检查

python datax.py ../job/job.json

 执行成功的部分截图

备注

如果你的python环境是python3.0以上的话,请下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。

遇到的报错:

1.您提供的配置文件[/srv/soft/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件

就是找不到配置文件,去文件夹下查看,存在同名的._xxx文件和xxx文件夹

删除._xxx文件即可解决问题

linux:

执行命令

find /srv/soft/datax/plugin/reader/ -type f -name "._*er" | xargs rm -rf
find /srv/soft/datax/plugin/writer/ -type f -name "._*er" | xargs rm -rf

window:

 datax/plugin/reader和datax/plugin/reader删除所有 .xxxxxreader和.xxxxxwriter 文件

 

2.java.lang.Exception: DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/database/jdbc错误,无法连接。2) 配置的username/password错误,鉴权失败。请和DBA确认该数据库的连接信息是否正确。

json脚本是做mysql数据同步

数据库连接超时、检查配置文件,查看参数是否配置错误,或者可能是mysql驱动版本问题,mysql5.5和mysql5.7+驱动不相同

我的问题就是因为mysql版本问题,需要升级版本,版本升级参考下面文章

环境问题的解决

1.datax的python环境替换

datax的bin目录的文件,将里面的文件全部替换成需要的环境的即可

2.datax中mysql5.5升级mysql5.7(其他数据库版本升级、datax重编译都可以参考思路、linux和window通用)

这个就需要对datax源码进行修改后重新编译

1、git上下载datax项目,使用master分支

 datax GitHub地址:https://github.com/alibaba/DataX.git

2、maven的中setting文件增加阿里镜像

<mirror>
	 <id>alimaven</id>  
	 <name>aliyun maven</name>  
	 <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
	 <mirrorOf>central</mirrorOf>          
</mirror>

 3、将datax项目的主pom.xml文件中的 mysql.driver.version 改成自己需要的版本

或者直接修改mysqlreader和mysqlwriter项目下的pom.xml

com.alibaba.datax.plugin.writer.adswriter.load.AdsHelper

com.alibaba.datax.common.exception.DataXException.DataBaseType

将以上两个类中的 com.mysql.jdbc.Driver 全局修改成 com.mysql.cj.jdbc.Driver 

4、datax项目clear,install,reload maven将依赖全部下载,保证项目正常编译

说明:在install编译过程中,如果编译报错,查看报错信息,找到报错类,进行解决。一般来说,datax项目都是@Test的测试类导致的报错,这种问题可以将@Test注释掉或者使用跳过测试的编译方式进行编译,如下图

5、install成功后将新打的jar替换掉旧的jar包即可

就是将自己本地打好的新的jar替换服务器上的旧的jar包,jar包所在目录服务器和本地一般都是相同的

在datax\plugin\reader\mysqlreader目录中,将旧mysqlreader-0.0.1-SNAPSHOT.jar替换成新包

并将mysql驱动jar(同pom.xml的版本)放入datax\plugin\reader\mysqlreader\libs中

在datax\plugin\writer\mysqlwriter目录中,将旧mysqlwriter-0.0.1-SNAPSHOT.jar替换成新包

并将mysql驱动jar(同pom.xml的版本)放入datax\plugin\writer\mysqlwriter\libs中

版本升级结束

参考地址:https://blog.csdn.net/tototuzuoquan/article/details/102601515

datax_web安装和使用

下载安装包-datax-web-2.1.2.tar.gz,并上传到linux服务器目录下

输入命令解压

tar -zxvf datax-web-2.1.2.tar.gz

解压后,进入datax-web-2.1.2/bin目录下执行install.sh脚本进行datax_web的安装

datax-web-2.1.2/bin/install.sh

根据提示填写安装信息即可

获得datax_web的数据库脚本datax_web.sql,将脚本导入数据库中,脚本在目录/datax-web-2.1.2/bin/db下

修改datax-admin配置

修改datax-admin服务端口1(经过测试,这里修改端口并不会生效,改不改都可以)、数据源配置1(数据库名就是sql脚本导入的所在库名)

vi datax-web-2.1.2/modules/datax-admin/conf/application.yml

邮箱和mybatis日志信息需要修改,不需要不用修改

修改datax-admin服务端口2(真正修改web端口的地方)

vi datax-web-2.1.2/modules/datax-admin/bin/env.properties

修改端口

 

 这个端口就是进入datax web的端口地址(http://ip:1001/index.htm)

修改数据源配置2

vi datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

如果安装时修改了配置文件就不需要在修改了,否则需要修改,启动最好先检查一遍

修改datax-executor配置

修改datax-executor服务端口1、日志地址、dataxWeb_admin端口、执行器端口、datax-json地址、datax执行地址。

vi datax-web-2.1.2/modules/datax-executor/conf/application.yml

修改datax-executor服务的端口1(不知道修改有没有用、还是改吧)

修改日志地址:path不改dataxWeb-executor服务启动可能会报找不到文件夹的错误,不报错不用改(看需求更改)

修改dataxWeb_admin端口、执行器端口:addresses就是dataxWeb_admin所配置的ip和端口、port为执行器的端口(一个新的端口号)

修改datax-json地址、datax执行地址:jsonpath是安装datax服务的json脚本所存储的地址、pypath是安装datax服务执行文件所在地址

 修改datax-executor服务端口2、配置datax-admin端口、配置执行器端口

vi datax-web-2.1.2/modules/datax-executor/bin/env.properties

EXECUTOR_PORT:执行器端口

DATAX_ADMIN_PORT:dataxWeb_admin服务端口

PYTHON_PATH:datax执行脚本文件地址

SERVER_PORT:dataxWeb_executor端口(真正修改data_executor服务的端口)

 至此,配置已经修改完成

 启动datax_web

 启动datax-admin和datax-executor,执行

datax-web-2.1.2/bin/start-all.sh

 输入地址:http://ip:port/index.html 进入管理页面,用户名:admin,密码:123456

问题解决 

1、输入地址后,无法访问管理页面

进入datax-web-2.1.2/modules/datax-admin/bin目录下找到console.out文件,进入查看启动日志,看看是否启动成功。

查询到了问题,是因为缺少mysql5.7的jar包

找个高版本的jar(我用的是mysql-connector-java-8.0.28)

将jar包上传到datax-web-2.1.2/modules/datax-admin/lib目录下(可以将原mysql的jar删除)

 重新启动服务

2、输入地址后,无法访问管理页面

datax-web-2.1.2/modules/datax-admin/bin和datax-web-2.1.2/modules/datax-executor/bin下都有console.out服务器启动的日志文件,查看是否有报错

3、输入地址后,无法访问管理页面

服务器端口防火墙是否开通

大数据 DataX-Web 详细安装教程 阅读详情

相关推荐

DataX与DataX-Web安装与使用

"job": {"speed": {},},},],"sliceRecordCount": 1 // 读取数据列中的重复次数},项目地址:GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

m0_74823683的博客 1824

DataX安装

Linux服务器默认安装Python2.7,默认版本即可。

qq_44005449的博客 5233

Datax可视化工具Datax-web安装部署

DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。

web18285997089的博客 2381

datax工具简明使用

datax同步工具简明使用

正在努力的苦逼dba 3255

ETL可视化工具 DataX -- DataX-Web安装 (三)

1.任务管理–数据源管理 :创建 数据库连接信息2.任务管理–datax 任务模板:创建 定时执行任务模板3.创建完成后,在任务管理中查看。

dazhong2012的专栏 2811

DataX是阿里云DataWorks数据集成的开源版本 .zip

DataX是阿里云DataWorks数据集成的开源版本。数据交换DataX 是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内部被广泛使用的离线数据同步工具/平台。DataX实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore (OTS)、MaxCompute(ODPS)、Hologres、DRDS、databend等各种数据源之间的数据同步功能。DataX 商业版本阿里云DataWorks数据集成是DataX在阿里云团队上的商业化产品,致力于提供复杂网络环境下、丰富的多个数据源之间高速稳定的数据移动能力,以及繁杂业务后台的数据同步解决方案目前已经支持云上近3000家客户,单日同步数据超过3万亿条。DataWorks数据集成目前支支持离线50+种数据源,可以进行整库迁移、批量上云、增量同步、分库分表等各类同步解决方案。2020年实时同步更新能力,支持10+种数据源的读写组合。提供MySQL,Oracle等多种数据源到阿里云MaxCompute,Hologres

ETL基于dataX+dataX-web实现可视化数据同步

文章目录前言一、安装Python2.x二、安装Hadoop3.0.0三、安装DataX四、DataX-Web部署启动五、生产打包部署六、集群部署总结推荐 前言 基于阿里开源项目 dataX 和 datax-web 实现可视化数据同步。 基础软件安装 MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库 JDK (1.8.0_xxx) 必选 Maven (3.6.1+) 必选 DataX 必选 Hadoop 必选 Python (

4699

DataX个人开发版v1

DataX个人开发版v1

DataX-web安装部署和使用

DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。

weixin_45625174的博客 2507

Quartus Prime 软件 USB-blaster 驱动安装失败【已解决】

一、安装步骤 1、将FPGA 开发板插入电脑时,未安装驱动的电脑会提示安装usb-Blaster驱动。Windows搜索框打开设备管理器,在“其他设备”下会发现黄色感叹号的“USB-Blaster”的设备驱动。 2、Quartus系列软件的安装目录下自带USB-blaster的驱动程序,右键更新驱动,选择驱动目录:(D:\intelFPGA\18.1\quartus\drivers\usb-blaster,文件位置和版本请按照自己安装的路径选择),点击Next开始安装。 3、安装成功,重启电脑即可使

adolphwang_909086的博客 6万+

MT4量化交易入门:手把手教你用MQL4编写第一个外汇EA(含完整代码)

本文详细介绍了如何使用MQL4在MT4平台上编写第一个外汇EA,涵盖从开发环境配置到均线交叉策略实现的完整流程。通过手把手教学和完整代码示例,帮助量化交易新手快速掌握外汇自动化交易的核心技术,实现高效的MT4量化交易系统。

mmm90的博客 532

开源DataX集成可视化项目Datax-Web的安装

在做DataX项目测试的时候又收到github的推荐邮件,推荐了一个datax-web的开源项目,这不是瞌睡遇到枕头,再研究研究这个项目是不是符合数据同步的要求。主要的功能: https://github.com/WeiYe-Jing/datax-web#featuresDataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。

星哥玩云 2058

HDRP shader 获取阴影(Custom Pass)

Unity:2021.3.0f1 HDRP:12.1.6

LanQ的博客 2104

DataX:数据同步组件datax简介及部署指南

DataX 是阿里云DataWorks数据集成工具分支出来的开源版本,主要用于解决异构数据源之间的大量数据同步问题。它能够帮助用户高效地实现数据在不同数据存储之间的迁移和同步,支持多种数据源,包括关系型数据库、NoSQL、大数据计算引擎以及各种存储系统。

55555的博客 5895

图像加密与解密(附matlab代码)

详细介绍了三种图像加密解密原理,并基于matlab开发了一套相应系统。

2447

MATLAB基础应用精讲-【强化学习】Actor - Critic 算法(附python代码实现)

这种架构结合了策略梯度方法(Policy - Gradient Methods)和价值函数估计方法(Value Function Estimation Methods)的优点。在强化学习中,智能体(Agent)需要通过与环境(Environment)的交互来学习最优的行为策略,以获得最大的累积奖励(Cumulative Reward)。

qq_36130719的博客 371

datax/datax-web部署

DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

bjgzxx的专栏 3066

044、Edge Impulse的音频分类实战

上周调试一块STM32WBA52开发板,板载PDM麦克风死活采不到有效数据。示波器怼上去,时钟线波形漂亮得像教科书,数据线却像心电图——全是毛刺。折腾半天发现是电源纹波干扰,给麦克风单独加了个LC滤波,世界清净了。这种坑,做音频分类的嵌入式工程师迟早要踩一遍。

2401_88858637的博客 60

CDH5.13.0集群环境 安装部署datax-web(单机部署,log4j版本为2.16)

开源同步工具DATAX

weixin_51485976的博客 5831

UFSV3.1-RPMB实现与测试

UFS RPMB功能验证与测试指南 本文介绍了UFS(通用闪存存储)中RPMB(重放保护内存块)的功能验证与测试方法。主要内容包括: RPMB基础配置: 在Linux系统中查看RPMB设备节点 读取RPMB单元描述符获取配置信息 配置RPMB区域大小(16MB)和使能状态 RPMB特性验证: 获取单次写最大请求(16KB) 测试未编程认证密钥时的读写操作 验证认证密钥编程过程 测试用例: 包含4个测试用例,验证RPMB在不同状态下的行为 提供了详细的命令行操作和预期结果 本文可作为UFS RPMB功能验证。

小码哥的博客 1258

内容创作全流程自动化:OpenClaw+大模型搞定选题+写稿+多平台发布

本文介绍了一套基于OpenClaw的全自动化内容创作流水线方案,帮助垂直领域创作者摆脱重复劳动。该方案将内容生产拆解为选题生成、内容撰写、格式适配、多平台发布四个模块,通过工作流引擎串联执行。系统能自动采集热榜生成选题、调用大模型撰写结构化内容、适配不同平台格式要求,并通过API+浏览器自动化实现多平台发布,全程只需人工最终审核。作者分享了各模块的实现细节,包括热榜采集、内容结构化生成、Markdown转换和发布策略,并提供了工作流编排方法。这套方案能为创作者每天节省约3小时,同时保证内容质量和发布效率。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 51

分布式数据同步工具之DataX-Web部署使用

背景介绍,因为需求是外部数据和内部生产数据之间需要通步,因此dataworks的数据同步模块的源端和目标是不支持多网络环境,要么公网,要么内网,因此这种需求我们的dataworks是不能使用的,我们调研了两个工具,一个是dataxweb ,一个是dolphinscheduler ,今天的篇幅主要讲解一下搭建的dataxweb的流程。 一、环境准备 1)...

Focus on Lakehouse 7003

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

datax和datax-web在Windows上安装和测试

datax和datax-web的配置

m0_64005688的博客 1240

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Datax3.0+DataX-Web打造分布式可视化ETL系统

一、DataX 简介DataX 是阿里云 DataWorks 数据集成的开源版本,主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源(即不同的数据库) 间稳定高效的数据同步功能。为了解决异构数据源同步问题,DataX将复杂的网状同步链路变成了星型数据链路,DataX 作为中间传...

a934079371的博客 1584

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Datax-web版安装(含安装包)

Datax-web版安装(含安装包) 【下载地址】Datax-web版安装含安装包分享 本资源文件提供了Datax-web版的安装包及相关安装指南。Datax-web是阿里巴巴开源的数据同步工具Datax的Web管理界面,通过图形化界面简化了数据同步任务的配置和管理 ...

gitblog_06501的博客 602

DataX Web安装部署及应用

本文主要讲解DataX Web工具安装部署和使用,包含:DataX-Web介绍、DataX-Web安装部署、DataX-Web任务部署和DataX-Web任务管理等,介绍中有定义与架构,部署中有环境要求、安装、部署和测试等,任务部署有创建项目、执行器管理、创建数据源、创建任务模版、任务创建、批量任务创建与管理等.

Aidon博客 4213
上一篇: linux 定时任务crontab用法详解
下一篇: curl命令详解
啥TM也不会
博客等级 码龄10年 2粉丝 5原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址