查看修复HDFS中丢失的块
发表于|更新于|Hadoop
|总字数:130|阅读时长:1分钟|浏览量:
检测缺失块
1 | hdfs fsck -list-corruptfileblocks |
1 | hdfs fsck / | egrep -v '^\.+$' | grep -v eplica |
查看上面某一个文件的情况
1 | hdfs fsck /path/to/corrupt/file -locations -blocks -files |
解决方法
如果文件不重要,可以直接删除此文件;或删除后重新复制一份到集群中
如果不能删除,需要从上面命令中找到发生在哪台机器上,然后到此机器上查看日志。
参考
文章作者: Charles
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 码农笔记!
相关推荐

2017-07-24
关于DataXceiver error processing unknown operation的错误
接到监控同事电话,有一台datanode机器因为重启,导致无法启动datanode服务。后来启动以后,监控日志发现有如下报错: 1234562017-07-24 09:41:09,456 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: NDAPP-DATA-13:50010:DataXceiver error processing unknown operation src: /10.1.220.44:46565 dst: /10.1.0.52:50010java.io.EOFException at java.io.DataInputStream.readShort(DataInputStream.java:315) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOp(Receiver.java:56) at org.apache.hadoop.hdfs.server.datanode.DataX...

2017-07-10
Hbase Shell list命令报错znode data == null的解决办法
修复hbase Shell里面的list命令不可用 进入Hbase Shell1hbase shell 使用list命令查看所有表时报错12345678910111213hbase(main):001:0> listTABLE ERROR: Can't get master address from ZooKeeper; znode data == nullHere is some help for this command:List all tables in hbase. Optional regular expre...

2018-05-21
Hadoop Timed out waiting 20000ms
今天发现测试环境Hadoop集群开始频繁宕掉,查看namenode日志发现有如下报错信息: 1java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond. 原因是因为namenode与journalnode通信时,超过20000ms,触发了默认设置的超时时长,解决办法:在hdfs-site.xml中加入如下配置 123456789101112<property> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>90000</value></property><property> <name>dfs.qjournal.select-input-streams.timeout.ms</name> <value>90000</value></property&...

2017-07-21
Journal Storage Directory not formatted
Hadoop启动的时候发现JournalNode节点一直启动不起来,查看后台日志发现异常信息JournalNode not formatted,通常这种异常大概有如下三种情况导致的: 新搭建的集群,我配置的时候没有吧fs.defaultFS配置一致,导致执行hadoop命令的时候报错,后来修改了以后重启集群就出现这个问题了,此时需要重新格式化namenode,因为在格式化namenode的时候,就顺便把JournalNode格式化了。 如果是正在用运行的集群,其中一台机器的JournalNode没有被格式化,那么检查完权限没问题以后,从其他JournalNode复制一份到没有格式化的JournalNode。 如果是从no-HA更新到HA,只需要执行如下命令: 1hdfs namenode -initializeSharedEdits 也就是你可以不用格式化NameNode就可以格式化你的JournalNode目录

2017-07-21
Hadoop命令-fsck
在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。 具体命令介绍: -move: 移动损坏的文件到/lost+found目录下-delete: 删除损坏的文件-openforwrite: 输出检测中的正在被写的文件-list-corruptfileblocks: 输出损坏的块及其所属的文件-files: 输出正在被检测的文件-blocks: 输出block的详细报告 (需要和-files参数一起使用)-locations: 输出block的位置信息 (需要和-files参数一起使用)-racks: 输出文件块位置所在的机架信息(需要和-files参数一起使用) 例如要查看HDFS中某个文件的block块的具体分布,可以这样写:hadoop fsck /your_file_path -files -blocks -locations -racks示例: 1234567891011121314151617181920212223242526#hdfs fsck /tmp/test/input...

2017-09-05
hbase 异常 Server is not running yet
发现问题同步时间后,发现Hbase统统挂掉了,重启hadoop后,发现Hbase无法正常启动了,报如下错误: 123456789Caused by: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yetat org.apache.hadoop.hbase.regionserver.RSRpcServices.checkOpen(RSRpcServices.java:886)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:1956)at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.jav...
评论
WalineDisqus
公告
收集笔记






