音乐排行榜

news/2024/5/20 4:29:25 标签: HDFS, MapReduce, Hbase

实验目的

理解HDFSMapReduceHbase的集成使用
掌握快速导入数据到Hbase的方法
掌握利用MapReduce接受Hbase数据输入
掌握利用MapReduce输出到Hbase的应用

一、 MapReduceHbase的集成
1、 将hbase-site.xml文件复制到$HADOOP_HOME/etc/hadoop下

在这里插入图片描述
2、编译$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件,增加以下内容
在这里插入图片描述
在这里插入图片描述
测试环境是否配置正确
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
二、音乐排行榜实现流程
1、批量数据导入
(1)将测试数据生成.txt文件,各列之间使用制表符进行分割,并将文件上传至HDFS目录:/input2/music
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(2)通过importtsv准备数据,从MapReduce作业生成Hbase数据文件HFile到指定目录temp
在这里插入图片描述
(3)通过importtsv命令运行成功后可在/user/hduser/temp目录下找到生成的HFile文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(4)通过浏览器访问地址http://192.168.10.111:8088
在这里插入图片描述
(5)使用completebulkload将temp目录移动到Hregion中完成数据加载
在这里插入图片描述
(6)查看将测试数据导入到Hbase
在这里插入图片描述
2、Hbase MapReduce API-运行TableMapperDemo
自定义TableMapper
在这里插入图片描述
运行TableMapper
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
手动加载MapReduceHbase的第三方依赖包文件(此代码注释掉,不执行)
在这里插入图片描述
在这里插入图片描述
修改集群中所有节点的yarn-site.xml文件,添加如下内容
在这里插入图片描述
手动加载MapReduce与HBase的第三方依赖包文件;选中要导出的程序并单击鼠标右键,选择Export
在这里插入图片描述
将生成TableMapperDemo的jar文件,并放入hadoop集群
在这里插入图片描述
添加第三方依赖文件,使用-libjars手动添加jar文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在Eclipse上运行不了主要是因为Eclipse找不到那个类,可以通过项目打包成jar包,然后为程序指定jar文件路径
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
遇到问题:
在使用completebulkload将temp目录移动到HRegion中完成数据加载时,由于输出的路径因为配置文件不同而导致错误。
在这里插入图片描述在这里插入图片描述
解决办法:使用completebulkload将temp目录写成完整路径。


http://www.niftyadmin.cn/n/1232614.html

相关文章

5.面向字节流的应用

文件输入输出流 文件输入输出流 FileInputStream 和 FileOutputStream 负责完成对本地磁盘文件的顺序输入输出操作。【例 10-5】通过程序创建一个文件,从键盘输入字符,当遇到字符“#”时结束,在屏幕上显示该文件的所有内容( 查看…

6.文件与目录管理

目录是管理文件的特殊机制,同类文件保存在同一个目录下不仅可以简化文件管理,而且还可以提高工作效率。Java 语言在 java.io 包中定义了一个 File 类专门用来管理磁盘文件和目录。 每个 File 类对象表示一个磁盘文件或目录,其对象属性中包含…

Python图形界面设计

1、按钮对话框,并显示输入对应的内容 from tkinter import * import tkinter.messagebox as messageboxclass Application(Frame):def __init__(self, masterNone):Frame.__init__(self, master)self.pack()self.createWidgets()def createWidgets(self):self.name…

计算机四级网络工程师(操作系统单选)- 知识点

计算机四级网络工程师(操作系统单选) 计算机四级网络工程师(操作系统多选) 计算机四级网络工程师(计算机网络单选) 计算机四级网络工程师(计算机网络多选) 一、操作系统 操作系统是用…

7.文件的随机读写

Java.io 包提供了 RandomAccessFile 类用于随机文件的创建和访问。使用这个类,可以跳转到文件的任意位置读写数据。程序可以在随机文件中插入数据,而不会破坏该文件的其他数据。此外,程序也可以更新或删除先前存储的数据,而不用重…

8.文件的压缩处理

Java.util.zip 包中提供了可对文件的压缩和解压缩进行处理的类,它们继承自字节流类OutputSteam 和 InputStream。其中 GZIPOutputStream 和 ZipOutputStream 可分别把数据压缩成 GZIP 和 Zip 格式,GZIPInpputStream 和 ZipInputStream 又可将压缩的数据进…

1.Java基础类库

Java 的类库是 Java 语言提供的已经实现的标准类的集合,是 Java 编程的 API(Application Program Interface),它可以帮助开发者方便、快捷地开发 Java 程序。这些类根据实现的功能不同,可以划分为不同的集合&#xff0…

计算机四级网络工程师(操作系统多选)- 知识点

计算机四级网络工程师(操作系统单选) 计算机四级网络工程师(操作系统多选) 计算机四级网络工程师(计算机网络单选) 计算机四级网络工程师(计算机网络多选) 一、 操作系统 1、在计算…