datax-web

大数据 DataX-Web 详细安装教程 阅读详情

【DataX-Web的搭建(Windows/Linux环境)_datax源码部署_zxj19880502的博客-CSDN博客

mirrors / WeiYe-Jing / datax-web · GitCode

https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md

安装使用

这里只记录关键点

1、先安装datax、参考已有文档

2、datax-web。配置启动参考以下文档

3、启动成功

admin启动成功后日志会输出三个地址,两个接口文档地址,一个前端页面地址

http://localhost:8383/index.html#/dashboard

admin/123456

核心代码解析

围绕 datax-executor 有两个端口展开

端口干货 datax-executor 有两个端口

(此处datax-admin设定的端口需要与datax-executor中配置的admin.addresses端口完全一致,否则会导致执行器无法正确注册,datax-executor的端口可以自行配置,但是不能与datax-executor配置的executor.port重复,否则会发生端口被占用的情况,此处还不是明白为啥一个程序要两个端口)

个人理解:

server.port 是项目容器级别的端口。这个没有特殊含义,就是单纯的后端端口

executor.port是执行器的端口,应该是RPC服务。

总结:datax-web 相当如给datax提供了界面话的一些功能和监控。并不是非用不可,有时候排查错误,datax的最原始用法反而更清晰。可以结合使用,反正datax-web是依赖datax的

总体流程:

RPC 本身是一种框架/思想,这里不做过多说明(本地调用远程、服务透明、不关注服务位置等 )

较早的比如RMI (java)

这里用的Netty框架实现

数据同步工具—DataX—Web部署使用 这一节主要部署了DataX—Web ,DataX—Web 主要解决了DataX的任务管理、运维的问题,而且有自己的调度,但是在整个数仓中却难以使用,因为我们无法将DataX—Web 和已有的调度系统进行整合。所以比较好的方式是在我们的调度系统中去集成DataX—Web,那这个时候只有任务构建这个模块是我们需要的,其他的监控、数据源管理调度系统已经有了,所以这个东西应用场景有限,只能作为一个参考。 阅读详情

相关推荐

DataX-Web部署和使用

目录一、准备(一)一台centos 7主机、连网(二)关闭防火墙二、jdk安装配置(一)将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压(二)配置环境变量,在profile最后面添加(三)让配置生效(四)查看java版本,执行下面命令出现jdk版本即安装成功三、mysql5.7安装配置(一)查找已经安装的mysql安装包(二)CentOS7下还需要查找是否存在mariadb包:(三)上述两步骤如果查出了mysql则需要将对应的文件删除(四)MySQL 安装会通过 MySQL 用户在 /t

qq_60275529的博客 3727

Datax+DataX-Web分布式搭建

Datax+DataX-Web分布式搭建

幽灵 逐梦--专栏 7565

dataX和dataX-Web使用总结

dataX整合dataX-Web经验总结: 近日公司由于框架升级而涉及到数据的迁移,使用到了dataX的ETL框架,其中遇到了一些坑在此总结一下方便后人使用。 1.环境准备 1.java8 2.python 2.7.18 (官方推荐是2.7.X,具体可自行选择) 3.maven 4.dataX源码 https://github.com/alibaba/DataX 5.dataXWeb 源码 https://github.com/WeiYe-Jing/datax-web 6.数据库本篇只介绍从

qq_41852045的博客 1万+

DataX--Web:图形化界面简化大数据任务管理

DataX Web作为一个图形化工具,极大地简化了DataX数据同步任务的管理。它通过提供一个用户友好的界面,使得即使是非技术用户也能够轻松地配置和管理复杂的数据同步任务。随着大数据技术的不断发展,DataX Web有望成为大数据任务管理的重要工具。

天冬忘忧的博客 4523

02 Datax-web+Datax搭建企业级数据同步中心平台教程

dataw-web提供简单易用的操作界面,降低用户配置同步任务的复杂度,缩短任务配置时间。用户可通过页面选择数据源即可创建数据同步任务,支持数据源、任务的管理,支持实时查看数据同步进度及日志并提供终止同步功能,可根据时间、自增主键增量同步数据

qq_33169644的博客 3986

datax与datax-web安装部署

大数据分析早已成为日常,datax作为国内优秀的开源同步工具,是运维过程中经常会遇到的程序,本文由自己的安装经验总结,希望对后来人有帮助

m0_71142057的博客 7051

Datax 及 Datax-web 容器化 docker-compose

Datax 是阿里开源的数据同步工具, Datax-web 是开源的Datax界面操作工具, Datax-web是国内的开发者编写, 非常感谢! Datax下载地址: https://github.com/alibaba/DataXhttps://github.com/alibaba/DataX Datax-web源码下载地址:GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、Cli..

tang_jian_dong的博客 7747

Linux部署Datax 以及 Datax-web

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ,查看datax/plugin/writer/mysqlwriter/libs/目录,已经包含新版的驱动jar包。编辑{DataX_source_code_home}/plugin-rdbms-util/src/main/java/com/alibaba/datax/plugin/rdbms/util/DataBaseType.java 文件。2是针对mysql8.x的自构建部署。

huang_xiaoen的博客 1919

datax/datax-web部署

DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

bjgzxx的专栏 3066

dataX、dataX-web安装部署 dataX集群模式

dataX安装 1、直接下载dataX.tar.gz,下载后解压至本地某个目录,进入bin目录,即可运行同步作业。 开始自检: python datax.py …/job/job.json 详见dataX安装与自测 2、下载源码后,用maven编译 详见datax安装与使用详解 由于楼主这边需要同步任务很多,这边需要装集群式dataX。即每台机器上都安装。 xshell多窗口执行命令: 1、选择排列方式,好方便同步命令时查看执行情况。 2、点击查看–>撰写–>撰写窗格 至此,即可同时操作多窗

fairynini的博客 1万+

DataX与DataX-Web安装与使用

"job": {"speed": {},},},],"sliceRecordCount": 1 // 读取数据列中的重复次数},项目地址:GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

m0_74823683的博客 1824

DataX 及 DataX-Web 安装使用详解

前段时间在项目上使用了阿里的离线数据同步工具datax,在大批量的表同步过程中踩了一些坑,所以详细介绍一下,希望对大家有所帮助。本文将先介绍dataxhe datax-web的安装及使用,比较简单,但是实际使用过程中还有许多需要改进的地方,后面文章将接着介绍datax及datax-web源码打包、二次开发支持Oracle更新数据等,敬请期待。datax介绍:https://github.com/alibaba/DataX/blob/master/introduction.md 源码地址:https://gi

程序员大佬超的博客 5213

DATAX+DATAX-WEB LINUX 部署和使用说明

DATAX 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全新的写作体验; 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;

qq_45288944的博客 3436

window10安装datax与datax-web

pypath DataX启动脚本地址,例如:xxx/datax/bin/datax.py(这个路径是上面搭建 dataX 已经创建好的启动脚本)生成完成后,目标,使用 datax 同步 test1 库的数据到 test2 库。admin启动成功后日志会输出三个地址,两个接口文档地址,一个前端页面地址。日志就会以 UTF-8 输出,中文正常显示。不配置这个命令,执行同步命令会出现中文乱码。修改数据源配置,目前仅支持mysql。修改邮件发送配置(不需要可以不修改)新建两个库,相同的表名,user。

longzhutengyue的博客 1277

Centos 安装Datax及Datax-web

centos安装datax;datax和datax-web安装配置;datax集群部署

埋雷兽的博客 2645

ModbusRTU串口读写报文解析

解析MODBUS报文的格式,讨论异常状态、读多个寄存器与写多个寄存器

Serendipitor的博客 9213

【DataX】datax | datax-web | win搭建datax-web环境 | linux环境

win部署datax-web

hgSuper的博客 5287

跨模型的 API 调用与集成:使用 Spring AI 构建可移植的 API 代码,支持多个 AI 模型(如 OpenAI、Anthropic 等)的调用

Spring AI 是 Spring 生态系统中的一部分,旨在提供一种简单、可扩展的方式来集成人工智能模型。Spring AI 使得开发者可以使用现有的 Spring 体系结构方便地访问多种 AI 模型和服务,例如 OpenAI、Anthropic、HuggingFace 等。

秋元的博客 2410

datax,datax-web使用

datax,datax-web同步数据记录

guojiuguo的博客 4743

离散数学期末复习笔记【精华版】

文章目录前言一、????理逻辑1. 命题逻辑2. 等值演算3. 主合取范式、主析取范式4. 【题】推理证明5. 辖域、自由变元、约束变元二、????合1. 环和、环积,幂集,笛卡尔乘积三、 ????????关系1. 自反、对称、传递2&3. 合成运算,逆关系、闭包4. 哈斯图、上下界、偏序5. 等价关系、划分四、????1. 幺元(么元、单位元)、零元、逆元,半群、群、阿尔贝群、独异点、循环独异点2. 【题】由表判断3. 【题】证明五、????论1. 简单图、平凡图、多重图、子图、补图、出度、入度、

林大夕可的博客 17万+

如何在Proteus中模拟Arduino

进一步的Proteus可用于设计任何与Arduino相关的项目,它将在进入硬件级别之前提供更好的理解。由于其广泛的库集合,它是Arduino社区中最受欢迎的工具之一,不仅如此,Proteus还可以为Arduino项目设计定制的PCB。就像上一步一样,现在搜索Arduino UNO板,选择Arduino板并单击“确定”以添加到项目中,或者双击以在Proteus项目中添加Arduino。一旦在Proteus中成功创建了一个新项目,现在我们将设计一个用于Proteus中闪烁LED的Arduino电路。

acktomas的博客 1万+
上一篇: datax安装部署使用 windows
下一篇: hadoop 相关环境搭建
java资深菜鸟
博客等级 码龄16年 7粉丝 45原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址