一、Permission denied
1、Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":xxx:supergroup:rwxr-xr-x
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
因为Eclipse使用hadoop插件提交作业时,会默认用windows系统的用户去将作业写入hdfs文件系统中, 由于此用户对hadoop目录并没有写入权限,所以导致异常的发生。
解决方法为:
方法一:放开 hadoop 目录的权限 , 命令如下 :$ hadoop fs -chmod -R 777 /
当然,也可以只针对某个目录操作:
如对命令不熟悉,可以直接用如下命令查看:
方法二:直接在hdfs的配置文件中,将dfs.permissions修改为False
二、空指针错误:
在我的上篇hadoop2.2.0安装教程中有人遇到空指针错误:“Exception in thread "main" java.lang.NullPointerException”
该错误的修正,需做如下操作:
1、下载hadoop.dll、winutils.exe文件放到eclipse所连接的hadoop的bin目录下(win系统里边);
2、win系统里边的C盘下的system32目录放一份;
3、环境变量的PATH里边加一下1中的bin目录。
三、有人日志打不出来,报警告信息:
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
这个需要在项目的src下面新建file名为log4j.properties的文件
内容为:
# Configure logging for testing: optionally with log file
#log4j.rootLogger=debug,appender
log4j.rootLogger=info,appender
#log4j.rootLogger=error,appender
#\u8F93\u51FA\u5230\u63A7\u5236\u53F0
log4j.appender.appender=org.apache.log4j.ConsoleAppender
#\u6837\u5F0F\u4E3ATTCCLayout
log4j.appender.appender.layout=org.apache.log4j.TTCCLayout
如图所示:
四、自己在eclipse打的jar包放到linux中运行时报错:
Exception in thread "main" java.lang.ClassNotFoundException:后边跟着自定义参数(如目录等)
解决方法:
1、可以重新在eclipse中打包,打包时记得选择main class。
2、另外,可以在打包时选择“Runnable JAR file”,打成java运行jar包。(该种方法会把程序中相关的包都打进去,会比较大,不过可以保证能运行)
分享到:
相关推荐
Hadoop 用mapreduce实现Wordcount实例,绝对能用
Hadoop MapReduce作业卡死问题的解决方法.docx
在hadoop平台上,用mapreduce编程实现大数据的词频统计
upon the widely used and highly successful Hadoop MapReduce v1. The recipes that will help you analyze large and complex datasets with next generation Hadoop MapReduce will provide you with the skills...
Java操作Hadoop Mapreduce基本实践源码.
用MapReduce实现TF-IDF,Hadoop版本是2.7.7,参考某教程亲自手写的,可以运行,有问题可以留言
Hadoop MapReduce Cookbook 高清完整版PDF下载 Hadoop MapReduce Cookbook
本书对Hadoop Mapreduce进行详细讲解,切合实际应用,能够更深入地学习MapReduce,确实是一本不错的书。
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
1、程序设计模式不容易使用,而且 Hadoop 的 Map Reduce API 太过低级,很难提高开发者的效率。 2、有运行效率问题,MapReduce 需要将中间产生的数据保存到硬盘中,因此会有读写数据延迟问题。 3、不支持实时处理...
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
按照步骤完成命令行方式下Hadoop MR程序的编辑,编译,运行过程。 1)编辑java文件 可以采用任意的文本工具编辑Java代码 2)编译javac (1)设置CLASSPATH (2)编译java文件 (3)打jar包 4)执行 bin/hadoop jar ...
(3)调试和运行MepReduce程序 (4)完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验(wordcount) (1)输入start-all.sh启动hadoop...
Hadoop MapReduce v2 Cookbook (第二版), Packt Publishing
windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解
Hadoop是一个主要由Java语言开发的项目,基于Hadoop的MapReduce程序也主要是使用Java语言来编写。...经过调研,在MapReduce任务中使用C++程序的方法主要有三种:Hadoop Streaming、Hadoop Pipes以及Hadoop JNI。
myeclipse +maven 搭建的hadoop mapreduce 例子项目,运行了单机wordcount
基于Apriori算法的频繁项集Hadoop mapreduce
这本书都是实例,很接地气,多加练习和阅读,可稳步上升
基于Hadoop Mapreduce 实现酒店评价文本情感分析(python开发源码+项目说明).zip基于Hadoop Mapreduce 实现酒店评价文本情感分析(python开发源码+项目说明).zip基于Hadoop Mapreduce 实现酒店评价文本情感分析...