Hadoop在Windows环境下的部署(续)

VMware搭建Hadoop集群 for Windows(完整详细,实测可用)_vmware安装hadoop教程(1) SSH服务的作用一般是有两方面:一是便于虚拟机节点之间免密访问,二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录,比如后面在启动hadoop服务时,主节点启动其它从节点,就需要免密去执行。下载一个linux版本的JDK,这里是 jdk-8u161-linux-x64.tar.gz,3台机器均要执行以下。hadoop02、hadoop03修改时,把对于域名修改成hadoop02、hadoop03即可。这里我们需要借助ftcp文件传输软件,这里使用的是**MobaxTerm,* 阅读详情

本文接上一篇:http://blog.csdn.net/ruby97/article/details/7423088

上一篇最后贴的图是在Eclipse下查看文件系统组成。

配置Eclipse插件请参考http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

------------------------------------------------------------------------------------------

继续上一篇。上传完视频以后,可以通过如下几个命令查看系统的运行情况:

bin/hadoop dfsadmin -report



bin/hadoop dfs -lsr / 查看文件系统



OK。我在配置过程中主要遇到的错误是:


错误1. ...could only be replicated to 0 nodes,instead of 1



这个错误主要的解决方法是:

1.把 tmp文件全部删除。

2.然后把hadoop/conf目录下的slaves,masters文件内容全部改成 127.0.0.1

3.重新格式化namenode :(bin/hadoop namenode -format)

也许你不知道hadoop 的tmp文件在哪里,默认情况下应该才 cygwin根目录下的tmp文件夹内:

如下图所示:


把它们都删掉。就OK了。 (cd /tmp  ,   rm -rf *)

参考博客:http://albb0608.iteye.com/blog/1279495


错误2:

name node is in safe mode

直接输入命令: bin/hadoop dfsadmin -safemode leave 离开安全模式

----------------------------------华丽分割------------------------------

记录配置过程到此结束,如有错误,烦请指出,不胜感激。

Windows上搭建Hadoop环境指南 Hadoop是一个开源框架,设计用于存储和处理大数据。它能够通过简单的编程模型在集群上运行应用程序,并且能够跨成百上千的廉价硬件节点提供高吞吐量的数据访问。Hadoop最初由Apache软件基金会支持,是大数据技术生态中的关键组件。core-site.xml文件是Hadoop配置的核心,用于定义Hadoop的系统级参数,例如文件系统的默认类型、IO设置等。我们来看一个典型的core-site.xml配置文件片段:<property><property>-- 其他配置项 --> 阅读详情

相关推荐

在Windows平台上部署Hadoop的详细指南

Hadoop由Apache软件基金会支持,最初由Doug Cutting领导,旨在简化大数据的存储和处理。自2006年开源以来,它已成为大数据处理领域不可或缺的工具。Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce编程模型,它们共同提供了一种在集群上存储和处理大量数据的有效方式。本章节重点介绍了Hadoop配置文件的概览、核心配置文件编辑方法以及如何验证和调试配置文件。在Hadoop集群部署和管理过程中,这些配置文件扮演着至关重要的角色。

weixin_30923011的博客 1161

Hadoop大数据集群搭建(超详细)

本文主要介绍了Hadoop集群的搭建过程,图文详细,适合新手入门

小飞飞V5的博客 6万+

【win11+vs 2017+OpenCV4.5.5+Qt5.12配置】详细安装过程+小问题解决

由于Qt5无法与最新的vs2022兼容,扩展工具中一直显示不可用,所以将vs降级成vs2017。在安装Qt的过程中,会选择安装Qt套件,其中就的MCVS 2017,说明vs2017是与qt兼容的。当然也可以用qt creator这一原生IDE。OpenCV版本目前是最新的4.8.0,使用过程中没有什么问题,但是还是安装低版本大概率避免一些玄学问题。

qq_45306739的博客 3352

Hadoop-3.3.5 全分布式集群部署

一、前期准备 1、hadoop-3.2.0安装包 http://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2、配置jdk1.8 vim /etc/profile #添加如下信息 export JAVA_HOME=jdk安装目录 export CLASSPATH=$JAVA_HOME/lib/ export PATH=$PATH:JAVA_HOME/bin 再保存执行   #source /etc/profil

好记性不如烂笔头 1802

视频理解与VLM多模态大模型:从基础任务到前沿技术全景解析

本文全景解析了视频理解与VLM多模态大模型的技术演进。从动作识别、时序动作定位等基础任务切入,深入探讨了如何通过CLIP、LLaVA等模型实现视觉与语言的深度对齐,打通多模态理解。文章结合实战经验,分析了从短视频到长视频的应用挑战与VLM解决方案,为掌握前沿技术提供了清晰指南。

y2z3a4b5c的博客 1065

一文了解ECU软件刷写的2种方法:Bootloader刷写和调试器刷写

分为刷写前、刷写中和刷写后三个阶段,如下示意:下面我们来详细了解一下Bootloader收到外部请求后开始刷写的三个阶段1)刷写前进行刷写的准备,一是确保刷写阶段总线通信的稳定性,二是避免刷写阶段出现非预期的故障,三是读取车辆数据供刷写前的一些检查等,如下所示:首先进行会话控制,通过功能寻址方式进入扩展会话模式,为后面的信息访问及其他指令做准备;然后检查刷写的前提条件,通过物理寻址方式发送历程控制请求。比如车确实处于静止状态,供电电压稳定等条件下才允许刷写;

menghuyouyou的博客 5797

hadoop本地化windows部署

· hadoop on windows · hive on windows · spark on windows(提交方式是spark on yarn)

super_chenzhou 3013

vCenter Server出现no healthy upstream的解决方法

可以通过"VMware vCenter Server Management(服务)"来排查问题,在网页里面找到“服务”模块,会发现有很多服务没有启动起来,而且手动启动也无法启动。7.0 地址后,页面出现“no healthy upstream”,无法正常登录vCenter,重启后依旧如此,该故障的前提是没有对vCenter做过任何配置,如下图所示。于是用命令查询是否有证书过期,发现真有多个服务依赖的证书在当天早上过期。使用如下命令尝试打开服务发现不分服务可以打开,不分服务无法打开。

1万+

Hadoop在windows下运行

1.windows下的hadoop的分布部署主要有两种方式1.1.采用cygwin模拟linux下命令的方式,部署安装hadoop系统.  1.2.修改系统的代码文件DF.java使其可以在windows下运行.   主要原因在于,在hadoop的代码中对数据节点的磁盘使用情况的获取采用了  linux下的df -k 命令进行获取而在windows没有此命令支持,因此在数据节点启动DataNode

hadoopstudy的专栏 4677

从实验室到生活:构建一份全面的手机相机主观画质评测指南

本文详细介绍了如何从实验室数据转向实际体验,构建全面的手机相机主观画质评测指南。通过基础装备清单、室内外场景实战评测及数据之外的感知艺术,帮助用户发现手机相机在色彩还原、动态范围和夜景模式等方面的真实表现。特别关注主观体验与客观参数的差异,提供实用的评测技巧和报告撰写心法。

weixin_30940783的博客 309

MATLAB对pcap文件抓包的读取

应用范围 常用的雷达信号,无线网通信信号的格式大多为pcap、wj文件,这里记录一下MATLAB读取pcap文件的方法,具体处理过程及读取协议针对不同的雷达有不同的处理方式,在这里不做说明。 程序 clc;clear;close all; %% 文件位置 filename= 'E:\File\JOB\JOB_1\data.pcap'; fid = fopen(filename,'r'); % 打开包 tmpPack = fread(fid,1350); % 只读前1350个数 读到

诗酒趁年华的博客 3582

Hadoop在Windows环境下的部署

经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。 注意:本文的配置环境是: CygWin最新版本2.769下载地址Window7-64bitJDK1.6.0_31-win64 (JRE6)下载地址Eclipse-Indigo..Hadoop 0.20.2 (注意:0.20.203版本不可用,会导

ruby97的专栏 4万+

Chamfer Loss

ChamferLoss是一种常用于3D点云(pointcloud)处理的损失函数,特别是在点云生成和对齐任务中。它的目的是度量两个点集之间的相似度,特别是在点云重建、配准或生成等任务中,常用于优化模型使得生成的点云更接近真实的点云。

夜空中明亮的星的专栏 456

【hadoop】windows上hadoop环境的搭建步骤

在大数据开发领域中,不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上,但是作为一个资深搬砖人,我们本地环境也需要一个开发hadoop的开发环境。那么,今天就安排一个在windows上搭建一个hadoop环境。

勤于笔记,成于点滴。 5192

人工智能 (Artificial Intelligence, AI) 原理与代码实例讲解

人工智能 (AI) 机器学习 (Machine Learning) 深度学习 (Deep Learning) 算法 模型 代码实例 应用场景 1. 背景介绍 人工智能 (Artificial Intelligence, AI) 作为一项前沿科技,近年来发展迅速,已渗透到生活的方方面面

AI架构师小马 1236

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Windows本地部署Hadoop

本文主要详细介绍到如何在Windows环境下部署Hadoop(不涉及具体Hadoop配置文件修改)以便为了后续本地开发以及测试运行HDFS-API代码和MR-API代码准备

qq_41072814的博客 1487

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

在 Windows 平台下部署 Hadoop 开发环境

在 Windows 平台下部署 Hadoop 开发环境 ,安装并配置Hadoop,学习怎么在本地调试运行Map/Reduce程序。

savechina的专栏 3万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Hadoop在windows下安装部署

Hadoop大数据开发 Start 数据专业(已解决所有可能出现的问题

m0_73938805的博客 1128

windows下hadoop的部署和使用

本教程在windows10环境下安装配置hadoop+hbase+spark。 一、下载压缩包: 1、JavaJDK,1.8以上。 2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/ Hadoop2.8.3windows环境下的第三方包:winutils, https://github.com/stevelough...

luoye4321的专栏 1万+

Hadoop生态圈框架部署 - Windows上部署Hadoop

Hadoop作为大数据领域的基石框架,在数据存储与处理方面展现出了卓越的性能与强大的扩展性,为海量数据的高效管理与分析提供了有力支撑。在当今数字化浪潮席卷全球,数据量呈爆发式增长的时代背景下,掌握Hadoop的安装与配置技能显得尤为重要,它是开启大数据世界大门的一把关键钥匙。无论是企业希望从繁杂的数据中挖掘商业价值,还是科研人员致力于数据分析以推动学术研究进展,Hadoop都能发挥其独特的优势。

zcs2312852665的博客 1912

Windows10环境安装hadoop及配置

Windows10环境安装hadoop及配置 一. Windows10环境下安装 1. 下载安装JDK1.8,并配置环境变量,注意:jdk路径不要包含空格,C盘中的Program Files目录名称可用PROGRA~1代替即 2. 下载Hadoop镜像安装文件,下载地址:https://hadoop.apache.org/releases.html 3. 解压Hadoop镜像文件到磁盘目录下,注意:可以解压在非C盘下,存储目录不要包含中文和空格 4...

qq_40278285的博客 1万+

五、Hadoop集群部署:从零搭建三节点Hadoop环境(保姆级教程)

本篇教程将带你一步步完成 Hadoop 集群环境的准备工作,包括如何使用 VMware 克隆虚拟机、配置 NAT 网络、分配静态 IP,并用 FinalShell 连接远程主机。过程详实配图,适合初学者参考,也方便快速搭建自己的大数据实验环境。

专注于 Agent 工程、AI 产品、Harness Engineering、LLM 算法等方向,OpenMathModel、Nivik 等开源项目作者 5万+

Windows上基于docker的Hadoop实验环境部署

西电分布式计算实验环境部署,windows上基于docker的Hadoop实验环境部署

wenhaohaohaohao的博客 1446

Windows+Docker+Hadoop的部署完整教程(一)基础依赖环境安装

Windows+Docker+pyflink的多种部署模式完整教程(一)基础依赖环境安装Docker以及基础依赖环境安装基础环境依赖1、windows下Docker安装2、Docker下基础环境配置 Docker以及基础依赖环境安装 基础环境依赖 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: JDK ...

qq_27493615的博客 4872

windows部署hadoop环境

a、安装jdk; b、hadoop 解压;c、环境变量设置

p715306030的博客 1741

Windows环境部署Hadoop-3.3.2和Spark3.3.2

Windows环境部署Hadoop-3.3.2和Spark3.3.2

雷神乐乐的博客 2828
上一篇: Hadoop在Windows环境下的部署
下一篇: 分享一个C++源码(有助于MFC学习)
ruby97
博客等级 码龄15年 626粉丝 23原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址