查看修复HDFS中丢失的块
发表于|更新于|Hadoop
|总字数:130|阅读时长:1分钟|浏览量:
检测缺失块
1 | hdfs fsck -list-corruptfileblocks |
1 | hdfs fsck / | egrep -v '^\.+$' | grep -v eplica |
查看上面某一个文件的情况
1 | hdfs fsck /path/to/corrupt/file -locations -blocks -files |
解决方法
如果文件不重要,可以直接删除此文件;或删除后重新复制一份到集群中
如果不能删除,需要从上面命令中找到发生在哪台机器上,然后到此机器上查看日志。
参考
文章作者: Charles
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 码农笔记!
相关推荐

2021-09-01
如何查看HDFS默认的nameservices命名空间
查看HDFS的默认命名空间命令: 1hdfs getconf -confKey fs.default.name 或者 1hdfs getconf -confKey fs.defaultFS 或者查询core-site.xml中的dfs.nameservices的值。 1hdfs getconf -confKey dfs.nameservices

2023-06-20
macOS使用brew安装Hadoop
前言通常我一直在虚拟机中安装Hadoop、Hive、Hbase等大数据相关的组件,但随着我的笔记本使用年限越爱越长,性能也下降的很快,已经达到开虚拟机就会开的地步,于是我就考虑直接将Hadoop安装到macOS上,避免了虚拟机对资源的消耗,为了更好的管理,我选择使用brew来安装。 安装Hadoop使用brew安装Hadoop非常方便,执行如下命令即可: 1brew install hadoop 安装前建议提前安装好JDK,并且配置JAVA_HOME。 为了方便使用,我还配置了hosts 123sudo vim /etc/hosts127.0.0.1 hadoop 配置Hadoop配置免密登录macOS默认是关闭了远程登入的功能,所以需要先打开它。打开系统偏好设置 -> 共享,左边勾选远程登录,右边选择仅这些用户,并且把当前用户添加进去。 然后生成秘钥和公钥 123456789# 生成公钥和私钥ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 将公钥追加到authorized_keys,实现免密登...

2017-07-13
关闭Hadoop集群时提示no xxx to stop
今天迁移机器的时候,需要手动关闭所有的机器。那么关机之前当然是要先安全的关闭hadoop的相关服务,但是由于这个集群不是我搭建的,发现有些机器在关闭集群的时候出现no xxx to stop,就我发现的来说有namenode,journalnode,jobtracker这三个。 问题的原因Hadoop在stop的时候依据的是启动是保存到pid文件的pid.而默认的进程号保存在/tmp下,Linux 默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉pid文件后,namenode自然就找不到datanode上的这个进程了。(不同的进程的进程id文件名会有变化) 解决办法临时解决针对这次集群关闭,我们需要做的是:首先保证集群没有负载,然后去手动杀死datanode/journalnode/zkfc最后去杀死namenode(注意顺序) 永久解决在配置文件hadoop_env.sh中配置export HADOOP_PID_DIR可以解决这个问题。

2017-07-10
Hbase Shell list命令报错znode data == null的解决办法
修复hbase Shell里面的list命令不可用 进入Hbase Shell1hbase shell 使用list命令查看所有表时报错12345678910111213hbase(main):001:0> listTABLE ERROR: Can't get master address from ZooKeeper; znode data == nullHere is some help for this command:List all tables in hbase. Optional regular expre...

2017-09-05
hbase 异常 Server is not running yet
发现问题同步时间后,发现Hbase统统挂掉了,重启hadoop后,发现Hbase无法正常启动了,报如下错误: 123456789Caused by: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yetat org.apache.hadoop.hbase.regionserver.RSRpcServices.checkOpen(RSRpcServices.java:886)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:1956)at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.jav...

2019-09-13
Hadoop数据迁移
最近有个工作是把数据从CDH5.8迁移到新集群CDH6.1,数据迁移首先想到的就是hadoop distcp命令,distcp(distributed copy)是用于大型集群间/集群内复制的工具。它使用MapReduce来实现其分发,错误处理和恢复以及报告。它将文件和目录的列表扩展为映射任务的输入,每个任务都会复制源列表中指定的文件分区。 同版本集群间数据迁移对于Hadoop版本一致或差一两个小版本,可以使用HDFS协议即可,在target集群运行如下命令 1hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo 其中hdfs://nn1:8020/foo/bar为source集群,hdfs://nn2:8020/bar/foo为目标集群。 不同版本集群减数据迁移对于版本差距较大,互相不兼容的集群,可以使用hftp协议和webhdfs来实现数据迁移。 hftp协议在target集群运行如下命令: 1hadoop distcp hftp://nn1:8020/foo/bar hdfs://nn2:80...
评论
公告
开始忙了,长草期。





