HDFS上传文件错误：Permission denied: user=root, access=WRITE, inode="/user"_sooner高的博客-CSDN博客
HDFS上传文件错误：Permission denied: user=root, access=WRITE, inode="/user"
sooner高
于 2017-06-07 17:24:35 发布
27441
收藏
分类专栏：
Hadoop
Linux
文章标签：
hdfs
hadoop
权限管理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/g11d111/article/details/72902112
版权
Hadoop
同时被 2 个专栏收录
6 篇文章
0 订阅
订阅专栏
Linux
12 篇文章
1 订阅
订阅专栏
问题描述
今天用spark-streaming测试HDFS（文件系统）监听情况的时候，因为CDH集群重新配置的原因，权限没有设置好。导致写文件出bug。
错误情况
（错误代码那块没保存，下面的代码从网上找的，不过错误的地方是相同的。）：
11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_0003
11/10/28 16:05:54 INFO mapred.JobClient: map 0% reduce 0%
11/10/28 16:06:05 INFO mapred.JobClient: Task Id : attempt_201110281103_0003_m_000002_0, Status : FAILED
# 下面为报错情况
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
解决方法
1、对非CDH用户，到Namenode上修改hadoop的配置文件：conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
If "true", enable permission checking in HDFS.
If "false", permission checking is turned off,
but all other behavior is unchanged.
Switching from one parameter value to the other does not change the mode,
owner or group of files or directories.
</description>
</property>
修改完之后，要重启下hadoop的进程才能生效。
2、对CDH用户：假设系统有一个文件夹/user/directory，注意，这个文件夹的拥有者不是所谓的“root”。实际上，这个文件夹为“hdfs”所有（755权限，这里将hdfs理解为一个属于supergroup的用户）。 所以，只有hdfs可以对文件夹进行写操作。与Unix/Linux不同，hdfs是超级使用者(superuser)，而不是root。 所以，当你想要进行创建文件夹或者上传文件等操作的时候，可以这么做：
sudo -u hdfs hdfs dfs -mkdir /user/intern/test67
同理，上传文件：
sudo -u hdfs hdfs dfs -put myfile.txt /user/intern/test67
显然，上面的方法麻烦在于：每当进行一次操作的时候，都需要切换成hdfs用户。这在spark-shell开发程序倒还好，但是对提交作业的时候，显然是很不方便的。
这里，我们可以创建一个文件夹，更改其权限为root（或你的用户名）。所以，你可以向这个文件夹随意的存、改文件了。
sudo -u hdfs hadoop fs -chown root /user/intern/test67
没运行这条命令时：
运行这条命令时：
sooner高
关注
关注
点赞
收藏
打赏
评论
HDFS上传文件错误：Permission denied: user=root, access=WRITE, inode="/user"
问题描述 今天用spark-streaming测试HDFS（文件系统）监听情况的时候，因为CDH集群重新配置的原因，权限没有设置好。导致写文件出bug。错误情况（错误代码那块没保存，下面的代码从网上找的，不过错误的地方是相同的。）：11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_000311/10
复制链接
扫一扫
专栏目录
Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx------
浅瞳夜未的博客
10-11
1万+
今天在做Hadoop 分布式实例的时候遇到了这个错误：Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwxrwx---
出错原因：tmp 权限不够
修改一下权限：
root@Master:/usr/local/hadoop# hd...
Hadoop创建文件夹出现Permission denied: user=dr.who, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x
weixin_44575660的博客
07-15
889
权限问题
hadoop fs -chmod 777 /
评论 1
您还未登录，请先
登录
后发表或查看评论
java上传HDFS失败问题File could only be written to 0 of the 1 minReplication nodes.
最新发布
wwwyu128的博客
11-03
179
java上传HDFS失败问题File could only be written to 0 of the 1 minReplication nodes.
mkdir: Permission denied: user=root, access=WRITE
勤能补拙
08-24
1818
原因：root用户没有写入hdfs的权限
解决：1、切换hdfs用户后，重新执行mkdir命令2、修改advanced.permissions.enabled =false
重启hdfs即可。不过，最好切换用户执行命令。
Hdfs页面操作文件出现 Permission denied: user=dr.who, access=WRITE, inode=“/“:hadoop:supergroup:drwxr-xr问题解决
biuubi的博客
05-24
5641
错误描述：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x
先开始一直纠结我是用hadoop用户登录操作的，为什么会是dr.who，dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置，
hadoop.http.staticuser.user=dr.who
我们可以通过修改core-site.xml，配置为当前用户，
解决Permission denied: user=root, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x问题
qq_43541746的博客
04-03
5078
DFS locations创建目录失败，错误描述：
Permission denied: user=root, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
其实就是你的用户,对所操作的文件没有写的权限,创建目录需要拥有写权限，在测试的时候可以将所有文件的所有权限都开放,这样就不会出现这种错误了。
先在xshell上实验看是否无法创建目录，如下图则为无法创建。
解决方法：（本人方法一无效，方法二有效）
1） 修改hdfs-site.xml，追加df
解决Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x 问题方法
m0_48830183的博客
08-12
2764
hadoop
解决 Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr-x
HiBoyljw的博客
09-10
4962
在使用root 账户安装完hadoop 集群后 在使用flink 使用on yarn 方式进行集群启动持续Permission denied: user=root,access=WRITE,inode="/user":hdfs:supergroup:drwxr-xr-x错误，查阅相关资料明白/user文件的所有者是HDFS 权限为755 也就是只有HDFS才能对这个文件进行操作，而root去访问hdfs上面的/user目录没有权限，那么接下来我们便可以这样操作文件，输入命令su
Permission denied: user=root, access=WRITE,inode=
老农民挖数据
08-04
1万+
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache
org.apache.hadoop.security.AccessControlException
DaiSnow的博客
06-03
808
通过spark程序HDFS进行文件写入操作时，程序报错org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, inode="/mydata":root:supergroup:drwxr-xr-x，根据提示可知是程序使用的是admin用户，它没有写权限。
报错信息如下：
Exception in thread "main" org.apache.hadoop.security
Permission denied: user=root, access=EXECUTE, inode=“/flink“:flink:hadoop:drwxrwx---
剑雨江湖
01-06
919
2021-12-31 16:17:32,174 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint [] - Shutting YarnJobClusterEntrypoint down with application status FAILED. Diagnostics org.apache.hadoop.security.AccessControlException: Permission denied: user=r.
Windows10下Hadoop创建文件报错hadoop permission denied user=dr.who access=write inode= /
qq_39662852的博客
08-20
2185
Windows10下Hadoop创建文件报错标题http://localhost:9870
http://localhost:9870
在文件管理页面，新建文件夹的时候一直报错。
按照网上的方法改了hdfs-site.xml 里面加了权限设置
也尝试用了其他方法，都不行。后来问了大佬才发现是 hdfs上面所属的组和现在用来创建文件的用户是否一致，和上面文件配置也基本没关系。
解决办法
直接切换...
解决问题：chmod: changing permissions of ‘...‘: Read-only file system和/dev/sda1 is write-protected but ex
热门推荐
个人博客
11-10
2万+
我在Linux系统里想要改变系统权限时出现了报错：
chmod: changing permissions of 'transmission-daemon/': Read-only file system
我当时已经是root权限
解决方法：
1.系统文件
如果是系统文件出现这个问题，重新挂载根目录即可：
mount -rw -o remount /
2.移动硬盘或者U盘
mount -o r...
Permission denied: user=dr.who, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x
weixin_44575660的博客
07-13
2410
权限问题，修改后即可正常创建
hadoop fs -chmod 777 /
Hadoop 调试第一个mapreduce程序过程详细记录总结以及权限问题 Permission denied: user=dr.who
qq_36864672的博客
10-23
6159
1，程序代码如下：
package wc;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.h
从大数据研发的角度解决org.apache.hadoop.security.AccessControlException: Permission denied: user=***，不需修改集群配置文件
diqijiederizi的博客
09-18
8926
前言：
该异常的解决方法在网上确实已经很多了，但是楼主们都没有考虑到一个问题么？那就是身为大数据研发团队的我们，有权限轻易的去修改hadoop集群的配置文件么？就算有权限修改，万一耦合度较高的文件被修改，我们要去哭着求运维帮我们擦屁股么？很显然小编这篇小短文是在不动运维配置好的配置文件的基础上，解决远程提交hadoop任务出现的AccessControlException，跟...
Hadoop常见错误及解决方案、Permission denied: user=dr.who, access=WRITE, inode=“/“:summer:supergroup:drwxr-xr-x
Redamancy06的博客
08-08
1829
配置HDFS网页登录使用的静态用户、主机名称不要起hadoop hadoop000等特殊名称、DataNode和NameNode进程同时只能工作一个、执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效、jps发现进程已经没有，但是重新启动集群，提示进程已经开启、jps不生效原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。、8088端口连接不上、防火墙没关闭、或者没有启动YARN...
WordCount本地IDEA运行远程hadoop集群报错Permission denied: user=**, access=WRITE, inode=“/tenant/“,supergroup:d
qq_38780623的博客
08-21
332
hadoop mapreduce wordcount IDEA远程连接hadoop集群，权限报错，设置用户执行
HDFS客户端的权限错误：Permission denied(转载)
01-03
4070
HDFS客户端的权限错误：Permission denied
2013年07月18日Java评论
2 条阅读 5,751 views 次
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：Age of Ai
设计师：meimeiellie
返回首页
sooner高
CSDN认证博客专家
CSDN认证企业博客
码龄11年
达摩院
92
原创
1万+
周排名
181万+
总排名
134万+
访问
等级
9332
积分
1353
粉丝
1448
获赞
497
评论
5193
收藏
私信
关注
热门文章
PyTorch学习笔记(9)——nn.Conv2d和其中的padding策略
151130
PyTorch学习笔记(10)——上采样和PixelShuffle
92899
BFS——广度优先算法（Breadth First Search）
62034
PyTorch学习笔记(1)——requires_grad和autograd.no_grad
47559
PyTorch学习笔记(6)——DataLoader源代码剖析
47043
分类专栏
机器学习: 视觉论文整理
11篇
PyTorch框架学习
21篇
PyTorch Geometric
Python
27篇
Linux
12篇
Mac
MYSQL/ORACLE
3篇
Hadoop
6篇
机器学习
39篇
spark
10篇
算法
48篇
深度学习
47篇
NLP(自然语言处理)
2篇
pyspark
5篇
经典CV领域论文+代码分析
4篇
C/C++
11篇
论文排版等小技巧
6篇
opencv
3篇
caffe
1篇
感悟
3篇
音视频基础知识
2篇
FFMpeg
1篇
区块链
PyTorch
20篇
Tensorflow
4篇
CV论文
3篇
最新评论
基于参数化模型(MANO)的手势姿态估计---全面剖析
sooner高:
感谢指正
基于参数化模型(MANO)的手势姿态估计---全面剖析
sooner高:
逆向计算是没有的...
基于参数化模型(MANO)的手势姿态估计---全面剖析
passionup:
3.2.2 旋转矩阵计算(Rodrigues)截图的公式和代码不是对应的，应该是SMPL2015中公式1的形式
[生成模型新方向]: score-based generative models
Can__er:
谢谢博主，翻译辛苦，很有帮助！
Voxceleb2 视频数据集下载(国内链接)
gbao520:
博主你好，有时间能否重新分享下百度云链接？之前的失效了，万分感谢。
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
[NeRF]代码+逻辑详细分析
[生成模型新方向]: score-based generative models
基于参数化模型(MANO)的手势姿态估计---全面剖析
2021年5篇
2020年12篇
2019年17篇
2018年39篇
2017年58篇
2016年6篇
目录
目录
分类专栏
机器学习: 视觉论文整理
11篇
PyTorch框架学习
21篇
PyTorch Geometric
Python
27篇
Linux
12篇
Mac
MYSQL/ORACLE
3篇
Hadoop
6篇
机器学习
39篇
spark
10篇
算法
48篇
深度学习
47篇
NLP(自然语言处理)
2篇
pyspark
5篇
经典CV领域论文+代码分析
4篇
C/C++
11篇
论文排版等小技巧
6篇
opencv
3篇
caffe
1篇
感悟
3篇
音视频基础知识
2篇
FFMpeg
1篇
区块链
PyTorch
20篇
Tensorflow
4篇
CV论文
3篇
目录
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
sooner高
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值