目录

客户端环境准备：

添加环境变量：

配置Path环境变量：

IDEA操作：

 创建包名：

 HDFS的API案例操作：

封装代码：

封装代码1：

封装代码2：

实现操作：

1.创建目录：

2.上传文件

3.文件下载

 4.文件的删除

 5.文件的移动

 6.查看hdfs上文件详情

7.文件和文件夹的判断

客户端环境准备：

尚硅谷资料包i中的文件复制到非中文路径

添加环境变量：

配置Path环境变量：

 验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可

IDEA操作：

新建maven项目工程

让后设置换你的maven库（换成你本机上的阿里，不然有些依赖你是下载不下来的，而且下载慢）

导入maven依赖

4.0.0org.exampleHDFSClient1.0-SNAPSHOT88org.apache.hadoophadoop-client3.1.3junitjunit4.12org.slf4jslf4j-log4j121.7.30

在项目的src/main/resources目录（该目录主要放置配置文件 ，页面文件 、静态资源文件）下，新建一个文件，命名为“log4j.properties”，该文件与日志相关，在文件中填入

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

 创建包名：

              com.xxx.hdfs

              创建HdfsClient类

 HDFS的API案例操作：

现在本人已经完成了部分API操作，先描述一下HdfsClient类的分布

因为HDFS的API操作会有很多冗余代码，所以我们对他进行了封装，

封装代码：

封装代码1：

这个代码主要是Java连接集群，获取集群的配置文件，并且获取客户端连接对象，使用注解@Before  (不懂注解的可以看我的另一篇文章 点击直接跳转，在这不多做解释         注解讲解    )便于后续的使用  

封装代码2：

这个代码主要用于关闭资源，就是把一个简单的close 进行了封装 使用注解   @After  同上不做解释，需要的话跳转另一篇文章

实现操作：

1.创建目录：

使用注解@Test进行测试，调用的还是Linux中的mkdir  让客户端连接对象进行调用（**注意 这里 客户端连接对象要在类的上方使用private进行定义，方便在下方方法中的调用）

    @Testpublic void testmkdir() throws Exception{//此时window与namenode 节点的虚拟机已经连接成功  执行命令，创建文件夹fs.mkdirs(new Path("/xiyou"));}

2.上传文件

通过客户端远程访问hdfs  上传文件

copyFromLocalFile方法用于上传数据
参数1： 删除原数据  参数2： 是否允许覆盖（原文件存在） 参数3： 原数据路径(本地路径) 参数4：目的地路径

  @Testpublic void testput() throws IOException {//参数1： 删除原数据  参数2： 是否允许覆盖（原文件存在） 参数3： 原数据路径(本地路径) 参数4：目的地路径fs.copyFromLocalFile(false,true,new Path("D:\\Hadoop3.1.3.txt\\"),new Path("hdfs://hadoop102/xiyou/huaguoshan"));}

3.文件下载

hdfs下载到window本地

copyToLocalFile方法用于下载文件参数解析    1：原文件是否删除   2.原文件hdfs的路径   3.目标地址路径  4.  false  是开启crc校验    true  是不开启

 @Testpublic void testGet() throws Exception {// 参数解析    1：原文件是否删除   2.原文件hdfs的路径   3.目标地址路径  4.  false  是开启crc校验    true  是不开启fs.copyToLocalFile(false,new Path("hdfs://hadoop102/jinguo/shuguo.txt"),new Path("D:\\jinchao"),false);}

 4.文件的删除

文件的删除分为：删除非空目录，删除空目录

delete方法删除文件，当问及那非空的时候必须递归删除

fs.delete(new Path("hdfs://hadoop102/xiyou"),true);

delete删除空目录的时候可以不是递归删除

            fs.delete(new Path("/xiyou"));

    整体代码：

  @Testpublic  void testRm() throws Exception {// 1. 要删除的路径    2   是否递归路径fs.delete(new Path("hdfs://hadoop102/xiyou"),true);// 删除空目录   不需要递归fs.delete(new Path("/xiyou"));//   删除非空目录  必须递归删除}

 5.文件的移动

文件移动分为很多，根据参数的不同，做出不同的操作，都是调用rename方法

代码注释有详细解释

  @Testpublic void testmv() throws IOException {// 对文件的移动   1.原文件路径   2.目标路径//  fs.rename(new Path("/jinguo/shuguo.txt"),new Path("/output"));// 修改文件的名称//   fs.rename(new Path("/output/shuguo.txt"),new Path("/output/reshuguo.txt"));//修改名称并且移动位置//  fs.rename(new Path("/output/reshuguo.txt"),new Path("/jinguo/shuguo.txt"));
//  目录更名fs.rename(new Path("/outputtwo"),new Path("/output2"));}

 6.查看hdfs上文件详情

查看hdfs上文件详情   比如

文件名称  权限  长度  块信息

@Testpublic void testListFiles() throws IOException {//参数   1.需要查看文件的路径    2.是否递归//返回迭代器                  递归  相当于栈 后进先出  递归是从底层向上进行遍历  针对的是文件不是目录//  fileStatus 返回的是数组//listFiles  返回的是迭代器RemoteIterator listFiles = fs.listFiles(new Path("/"), true);while(listFiles.hasNext()) {LocatedFileStatus fileStatus = listFiles.next();System.out.println("======"+fileStatus.getPath()+"=====");System.out.println(fileStatus.getPermission());System.out.println(fileStatus.getOwner());System.out.println(fileStatus.getGroup());System.out.println(fileStatus.getLen());System.out.println(fileStatus.getModificationTime());System.out.println(fileStatus.getReplication());System.out.println(fileStatus.getBlockSize());System.out.println(fileStatus.getPath().getName());//查看块的存储信息--（备份）存储在那几个服务器上BlockLocation[] blockLocations = fileStatus.getBlockLocations();System.out.println(Arrays.toString(blockLocations));}}

 调用方法的解释：

 先解释参数： 1.需要查看文件的路径 2.是否递归

返回值：返回的形式是迭代器（迭代器是一种设计模式，官方话不多数，说一下自己的理解可能不贴切---个人认为迭代器就像把数据封装成一个数据库一样，包含各种属性，每一条信息就是一个元组）

获取迭代器后就是迭代器的操作了

7.文件和文件夹的判断

文件和文件夹的判断也分为两种，一种是可迭代的，一种是不可迭代的

个人感觉还是使用迭代器进行递归判断操作方便一点

下边有两种  一种利用迭代器进行递归判断，一种是非递归判断

  @Testpublic void testFile() throws IOException {//可迭代判断RemoteIterator locatedFileStatusRemoteIterator = fs.listFiles(new Path("/"), true);while(locatedFileStatusRemoteIterator.hasNext()){LocatedFileStatus next = locatedFileStatusRemoteIterator.next();if (next.isFile()) {System.out.println("这是文件"+next.getPath().getName());}else{System.out.println("这是目录"+next.getPath().getName());}}// 不可迭代判断//        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));//        for (FileStatus fileStatus : fileStatuses) {
//            if (fileStatus.isFile()) {       //判断fileStatus是否是文件
//
//                System.out.println("这是文件"+fileStatus.getPath().getName());
//
//            }
//            else
//            {
//                System.out.println("这是目录"+fileStatus.getPath().getName());
//            }