NODE-UNHEATHY
做一个mapreduce案例,查看8088节点,发现slave2节点一直是unheathy的,给出的信息是:
1/1 local-dirs are bad *, 1/1 log-dirs are bad *
但是我的slave2节点内存充足,重建文件无用
尝试了很多方法,最终还是删除了slave2节点,重新配一下节点
使用命令:
yarn node -list -all
回显显示节点状态
如果你们也遇到了,建议看一下自己节点的内存使用,删除无用文件并且重启集群再刷新8088端口
实在不行的话也删除不健康节点,重配一下也就改个ip的事情
警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
发现环境变量JAVALIBRARYPATH并未定义,那么问题到这里算是找到了,解决方法也很简单
vim /.bashrc
添加JAVA_LIBRARY_PATH环境变量:
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native
记得刷新配置:
source ~/.bashrc
报错:JAVA_HOME not set
我们要注意两个地方的Java环境变量设置:
- 一是 /.bashrc 下的,另一个是 hadoop 文件夹下 /etc/hadoop 的 hadoop-env.sh
如果出现JAVA_HOME not set shell中输入 ‘java -version' 看一下回显是否正确:
如果回显not found 或其他报错,请重新将下列代码加入 /.bashrc 中:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_281
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
注意你本地的jdk路径!
如果上述步骤无问题,输入 java -version 回显正确版本
- 二是请进入 /usr/local/hadoop/etc/hadoop 路径下(你安装hadoop的路径的/etc/hadoop下)
使用编辑:
sudo vim hadoop-env.sh
找到 JAVA_HOME 行,将后面的 ${JAVA_HOME} 更换为你的实际 jdk 路径 比如 /usr/lib/jvm/jdk1.8.0_281
更新一下配置即可解决
报错:ssh: connect to host xxx port 22: Network is unreachable
- 首先查看一下 ssh 状态 ,shell 输入 ssh 查看回显,如果 not found 请重新下载安装
- shell 输入
ps -e | grep ssh
查看ssh服务是否在运行,没有 sshd 的话可以启动服务或者重启服务
service ssh start
基本重装后或者再重启虚拟机就可以解决问题
无报错,但slave节点无datanode进程
可能是format多次导致
请进入您的hadoop安装目录下的找到“tmp”文件,删除启动的“data”下的“current”文件
如果无
请删除您的tmp下所有文件,再次启动,就可以看到从机的进程中出现了datanode
ftp 程序
FTP(File Transfer Protocol,文件传输协议) 是 TCP/IP 协议组中的协议之一。
FTP协议包括两个组成部分,其一为FTP服务器,其二为FTP客户端。
其中FTP服务器用来存储文件,用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。
在开发网站的时候,通常利用FTP协议把网页或程序传到Web服务器上。
此外,由于FTP传输效率非常高,在网络上传输大的文件时,一般也采用该协议。
这里传一下老师使用的 winscp:
WinSCP 是一个 Windows 环境下使用的 SSH 的开源图形化 SFTP 客户端。同时支持 SCP 协议。
它的主要功能是在本地与远程计算机间安全地复制文件,并且可以直接编辑文件。
官网地址:https://winscp.net
本人网盘地址:
提取码:op1q
打开软件输入主机的IP(虚拟机ip)、用户名、密码即可
Java-linux
提取码:mexp
欢迎您点击下方'赏'为博主打赏
您的支持是我的动力,感谢~
感谢您的阅读~
Comments | NOTHING