【大数据开发技术】实验04-HDFS文件创建与写入

news/2024/5/20 4:51:39 标签: 大数据, hdfs, hadoop

文章目录

  • 一、实验目标
  • 二、实验要求
  • 三、实验内容
  • 四、实验步骤

一、实验目标

  1. 熟练掌握hadoop操作指令及HDFS命令行接口
  2. 掌握HDFS原理
  3. 熟练掌握HDFS的API使用方法
  4. 掌握单个本地文件写入到HDFS文件的方法
  5. 掌握多个本地文件批量写入到HDFS文件的方法

二、实验要求

  1. 给出主要实验步骤成功的效果截图。
  2. 要求分别在本地和集群测试，给出测试效果截图。
  3. 对本次实验工作进行全面的总结。
  4. 完成实验内容后，实验报告文件名显示学号姓名信息。

三、实验内容

  1. 使用FileSystem将单个本地文件写入到HDFS中当前不存在的文件，实现效果参考下图：
    1

  2. 使用FileSystem将本地文件追加到HDFS中当前存在的文件中，实现效果参考下图：
    2

四、实验步骤

  1. 使用FileSystem将单个本地文件写入到HDFS中当前不存在的文件

程序设计

package hadoop;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class WJW {

    public static void main(String[] args) {
        // TODO Auto-generated method stub
        args = new String[2];
        args[0] = "/home/zkpk/experiment/wjw01.txt";
        args[1] = "hdfs://master:9000/wjw02.txt";
        Configuration conf = new Configuration();
        BufferedInputStream in = null;
        FileSystem fs = null;
        FSDataOutputStream out = null;
        try{
            in = new BufferedInputStream(new FileInputStream(args[0]));
            fs = FileSystem.get(URI.create(args[1]), conf);
            out = fs.create(new Path(args[1]));
            IOUtils.copyBytes(in, out, 4096, false);
        }catch(FileNotFoundException e){
            e.printStackTrace();
        }catch(IOException e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(in);
            IOUtils.closeStream(out);
            if(fs != null){
                try{
                    fs.close();
                }catch(IOException e){
                    e.printStackTrace();
                }
            }
        }

    }

}

程序分析

该代码实现了将本地文件上传到Hadoop分布式文件系统HDFS中的功能。代码结构简单明了，主要包括以下几个步骤：

  1. 定义参数args，参数args[0]表示本地文件路径，参数args[1]表示HDFS文件路径。

  2. 创建Configuration对象，用于读取Hadoop配置信息。

  3. 创建BufferedInputStream流，读取本地文件。

  4. 使用FileSystem.get()方法获取Hadoop分布式文件系统实例。

  5. 调用fs.create()方法，创建HDFS文件，并返回FSDataOutputStream对象用于向HDFS文件写入数据。

  6. 调用IOUtils.copyBytes()方法，将本地文件数据复制到HDFS文件中。

  7. 关闭流和Hadoop分布式文件系统实例。

该代码主要涉及以下几个重要知识点：

  1. Configuration对象：该对象用于读取Hadoop配置信息，如HDFS的地址、端口等信息。

  2. FileSystem对象：该对象用于操作Hadoop分布式文件系统，如创建文件、删除文件、读取文件等操作。

  3. BufferedInputStream流：该流用于读取本地文件数据。

  4. FSDataOutputStream对象：该对象用于向HDFS文件写入数据。

  5. IOUtils.copyBytes()方法：该方法用于将输入流中的数据复制到输出流中。

总体来说，该代码实现了将本地文件上传到HDFS的功能，但还有一些需要改进的地方。例如，可以添加参数校验功能，防止空指针异常；可以添加日志输出功能，方便查看程序运行情况。

运行结果

3

  1. 使用FileSystem将本地文件追加到HDFS中当前存在的文件中

程序设计

package hadoop;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class WJW01 {

    public static void main(String[] args) {
        // TODO Auto-generated method stub
        args = new String[2];
        args[0] = "/home/zkpk/experiment/wjw01.txt";
        args[1] = "hdfs://master:9000/wjw02.txt";
        Configuration conf = new Configuration();
        conf.set("fs.client.block.write.replace-datanode-on-failure.enable", "true");
        conf.set("fs.client.block.write.replace-datanode-on-failure.policy", "Never");
        BufferedInputStream in = null;
        FileSystem fs = null;
        FSDataOutputStream out = null;
        try{
            in = new BufferedInputStream(new FileInputStream(args[0]));
            fs = FileSystem.get(URI.create(args[1]), conf);
            out = fs.append(new Path(args[1]));
            IOUtils.copyBytes(in, out, 4096, false);
        }catch(FileNotFoundException e){
            e.printStackTrace();
        }catch(IOException e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(in);
            IOUtils.closeStream(out);
            if(fs != null){
                try{
                    fs.close();
                }catch(IOException e){
                    e.printStackTrace();
                }
            }
        }

    }

}

程序分析

该代码实现了将本地文件追加上传到Hadoop分布式文件系统HDFS中的功能。代码结构与上传文件功能类似，主要包括以下几个步骤：

  1. 定义参数args，参数args[0]表示本地文件路径，参数args[1]表示HDFS文件路径。

  2. 创建Configuration对象，用于读取Hadoop配置信息。

  3. 设置配置信息：设置“fs.client.block.write.replace-datanode-on-failure.enable”为“true”，表示在数据节点故障时启用块写入数据节点更换机制；设置“fs.client.block.write.replace-datanode-on-failure.policy”为“Never”，表示块写入数据节点故障时不替换数据节点。

  4. 创建BufferedInputStream流，读取本地文件。

  5. 使用FileSystem.get()方法获取Hadoop分布式文件系统实例。

  6. 调用fs.append()方法，获取FSDataOutputStream对象用于向HDFS文件追加数据。

  7. 调用IOUtils.copyBytes()方法，将本地文件数据复制追加到HDFS文件中。

  8. 关闭流和Hadoop分布式文件系统实例。

需要注意的是，该代码使用了追加上传文件的方式，因此可以将本地文件的数据追加到HDFS文件的末尾，而不会影响原有的HDFS文件数据。同时，设置数据节点更换机制可以提高系统的可靠性和稳定性，避免数据节点故障导致数据丢失的情况。

总体来说，该代码实现了将本地文件追加上传到HDFS的功能，并且考虑了系统的可靠性和稳定性问题。但是，同样需要注意代码中的参数校验和日志输出等问题，以提高代码的健壮性和可维护性。

运行结果

4


http://www.niftyadmin.cn/n/5048424.html

相关文章

贪心算法-会议室问题

贪心算法-会议室问题

1、题目描述 一些项目要占用一个会议室宣讲，会议室不能同时容纳两个项目。现在给你两个长度一样的数组，starts数组代码每个会议开始的时间，ends数组代表每个会议结束的时间。 在给你一个当前时间，请你求出当日可以利用会议室宣讲的…
阅读更多...
Springboot 集成WebSocket作为客户端，含重连接功能，开箱即用

Springboot 集成WebSocket作为客户端，含重连接功能，开箱即用

使用演示 public static void main(String[] args) throws Exception{//初始化socket客户端BaseWebSocketClient socketClient BaseWebSocketClient.init("传入链接");//发送消息socketClient.sendMessage("填写需要发送的消息", (receive) -> {//这里…
阅读更多...
MySQL中explain各字段详解及举例

MySQL中explain各字段详解及举例

MySQL版本：8.0.33 建表语句： DROP TABLE IF EXISTS actor; CREATE TABLE actor (id int(11) NOT NULL,name varchar(45) DEFAULT NULL,update_time datetime DEFAULT NULL,PRIMARY KEY (id) ) ENGINEInnoDB DEFAULT CHARSETutf8;INSERT INTO actor (i…
阅读更多...
噢耶！字节后端Offer，拿到了！

噢耶！字节后端Offer，拿到了！

很多同学反馈多搞点面经，说来就来！ 今天分享一位拿到字节跳动实习Offer的面经，没错，Java转Go。 别问我选Java还是选Go，成年人不做选择题。先搞定一个语言，再学第二语言从来不是难事。 无论学哪个&#x…
阅读更多...
vue3中使用element-plus Notification通知组件内容添加点击自定义事件

vue3中使用element-plus Notification通知组件内容添加点击自定义事件

需求：点击element-plus Notification通知组件提示内容时，跳转到对应页面或执行某些逻辑。 const toTaskCenter () > {ElNotification.closeAll(); // 跳转前关闭通知router.push("/taskCenter/import"); };// 通过onClick属性绑定点击事…
阅读更多...
React中的受控组件（controlled component）和非受控组件（uncontrolled component）

React中的受控组件（controlled component）和非受控组件（uncontrolled component）

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 组件⭐ 写在最后 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 欢迎来到前端入门之旅！感兴趣的可以订阅本专栏哦！这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是…
阅读更多...
Vue中的计算属性 Computed

Vue中的计算属性 Computed

计算属性 Computed :::warning 注意 阅读本章内容之前必须先了解什么是 getter 、setter。 必须知道模板语法以及过滤器的使用。 ::: 小伙伴们应该都知道选项 data 里面可以用来定义一些数据，也可以通过 props 接收父组件传进来的数据，props 接收进来的…
阅读更多...
Layui快速入门之第十二节 图标

Layui快速入门之第十二节 图标

目录 一：基本用法 二：图标列表 三：跨域处理 一：基本用法 Layui 图标采用字体形式，取材于阿里巴巴矢量图标库 iconfont，因此可以把一个 icon 看作是一个普通的文本，直接通过 css 即可设定其样…
阅读更多...
最新文章

Copyright @ 2022~2023