Hadoop分布式/集群配置-报错处理

发布于 2021-03-23  1,687 次阅读


NODE-UNHEATHY

做一个mapreduce案例,查看8088节点,发现slave2节点一直是unheathy的,给出的信息是:

1/1 local-dirs are bad *, 1/1 log-dirs are bad *

但是我的slave2节点内存充足,重建文件无用

尝试了很多方法,最终还是删除了slave2节点,重新配一下节点

使用命令:

yarn node -list -all

回显显示节点状态

如果你们也遇到了,建议看一下自己节点的内存使用,删除无用文件并且重启集群再刷新8088端口

实在不行的话也删除不健康节点,重配一下也就改个ip的事情

警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...

发现环境变量JAVALIBRARYPATH并未定义,那么问题到这里算是找到了,解决方法也很简单

vim /.bashrc

添加JAVA_LIBRARY_PATH环境变量:

export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

记得刷新配置:

source ~/.bashrc

报错:JAVA_HOME not set

我们要注意两个地方的Java环境变量设置:

  • 一是 /.bashrc 下的,另一个是 hadoop 文件夹下 /etc/hadoophadoop-env.sh

如果出现JAVA_HOME not set shell中输入 ‘java -version' 看一下回显是否正确

如果回显not found 或其他报错,请重新将下列代码加入 /.bashrc 中:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_281
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

注意你本地的jdk路径!

如果上述步骤无问题,输入 java -version 回显正确版本

  • 二是请进入 /usr/local/hadoop/etc/hadoop 路径下(你安装hadoop的路径的/etc/hadoop下

使用编辑:

sudo vim hadoop-env.sh

找到 JAVA_HOME 行,将后面的 ${JAVA_HOME} 更换为你的实际 jdk 路径 比如 /usr/lib/jvm/jdk1.8.0_281

更新一下配置即可解决

报错:ssh: connect to host xxx port 22: Network is unreachable

  • 首先查看一下 ssh 状态 ,shell 输入 ssh 查看回显,如果 not found 请重新下载安装
  • shell 输入
ps -e | grep ssh

查看ssh服务是否在运行,没有 sshd 的话可以启动服务或者重启服务

service ssh start 

基本重装后或者再重启虚拟机就可以解决问题

无报错,但slave节点无datanode进程

可能是format多次导致

请进入您的hadoop安装目录下的找到“tmp”文件,删除启动的“data”下的“current”文件

如果无

请删除您的tmp下所有文件,再次启动,就可以看到从机的进程中出现了datanode

ftp 程序

FTP(File Transfer Protocol,文件传输协议) 是 TCP/IP 协议组中的协议之一。

FTP协议包括两个组成部分,其一为FTP服务器,其二为FTP客户端。

其中FTP服务器用来存储文件,用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。

在开发网站的时候,通常利用FTP协议把网页或程序传到Web服务器上。

此外,由于FTP传输效率非常高,在网络上传输大的文件时,一般也采用该协议。

这里传一下老师使用的 winscp:

WinSCP 是一个 Windows 环境下使用的 SSH 的开源图形化 SFTP 客户端。同时支持 SCP 协议。

它的主要功能是在本地与远程计算机间安全地复制文件,并且可以直接编辑文件。

官网地址:https://winscp.net

本人网盘地址:


提取码:op1q

打开软件输入主机的IP(虚拟机ip)、用户名、密码即可

Java-linux


提取码:mexp

欢迎您点击下方'赏'为博主打赏

您的支持是我的动力,感谢~

感谢您的阅读~



一沙一世界,一花一天堂。君掌盛无边,刹那成永恒。