文章目录
- 1 提出任务
-
- 1.1 实时数据采集
- 2 完成任务
-
- 2.1 创建Flume运行的配置文件
- 2.2 安装netcat
- 2.3 启动flume
- 2.4 启动netcat
- 2.5 Kafka消费数据
- 2.5 查看HDFS上的备份数据
1 提出任务
1.1 实时数据采集
- 在主节点使用 Flume 采集实时数据生成器 10050 端口的 socket 数据，将数据存入到 Kafka 的 Topic 中(Topic 名称为 order，分区数为 4)，使用 Kafka 自带的消费者消费 order(Topic)中的数据，将前 2 条数据的结果截图粘贴至客户端桌面【Release\任务
D 提交结果.docx】中对应的任务序号下； - 采用多路复用模式，Flume 接收数据注入 kafka 的同时，将数据备份到 HDFS 目录
/user/test/flumebackup下，将查看备份目录
下的第一个文件的前 2 条数据的命令与结果截图粘贴至客户端桌面【Release\任务 D 提交
