hdfs笔记

news/2024/5/20 2:22:18 标签: hdfs, 笔记, hadoop

1.HDFS shell
    1.0查看帮助
        hadoop fs -help <cmd>
    1.1上传
        hadoop fs -put <linux上文件> <hdfs上的路径>
    1.2查看文件内容
        hadoop fs -cat <hdfs上的路径>
    1.3查看文件列表
        hadoop fs -ls /
    1.4下载文件
        hadoop fs -get <hdfs上的路径> <linux上文件>

2.使用java接口操作HDFS
    见eclipse工程下的demo

3.hadoop通信机制
    不同进程之间的方法进行调用

4.HDFS源码分析
    FileSystem.get --> 通过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量
    在DFSClient构造方法里面,调用了createNamenode,使用了RPC机制,得到了一个NameNode的代理对象,就可以和NameNode进行通信了
    
    FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理
    
5.Hadoop学习资料下载

Hadoop-HDFS-Shell-学习资料及文档、Java代码


http://www.niftyadmin.cn/n/5100087.html

相关文章

七大排序 (9000字详解直接插入排序,希尔排序,选择排序,堆排序,冒泡排序,快速排序,归并排序)

一&#xff1a;排序的概念及引入 1.1 排序的概念 1.1 排序的概念 排序&#xff1a;所谓排序&#xff0c;就是使一串记录&#xff0c;按照其中的某个或某些关键字的大小&#xff0c;递增或递减的排列起来的操作。 稳定性&#xff1a;假定在待排序的记录序列中&#xff0c;存在…

【Gradio-Windows-Linux】解决share=True无法创建共享链接,缺少frpc_windows_amd64_v0.2

前言 随着机器学习技术的快速发展&#xff0c;将训练好的模型部署为实际应用变得愈发重要。Gradio作为一个强大的开源库&#xff0c;为我们提供了一个简单而高效的解决方案。然而&#xff0c;近期在使用 shareTrue 时可能会遇到一些问题&#xff0c;具体来说&#xff0c;问题可…

Atlas 200I DK目标检测与追踪技术记录

数据集 数据集采用MOT系列&#xff0c;MOT是多目标追踪常用数据集&#xff0c;MOT数据集对数据集进行了分帧&#xff0c;如要获得视频&#xff0c;需要先利用opencv里的cv2.VideoWriter模块便利图片文件夹&#xff0c;具体代码如下&#xff1a; import os import cv2img_path…

Linux基础工具|自动化构建工具make和makefile

文章目录 1.make概念2.编写.c/.cpp源文件3.编写makefile文件4.运行指令5.重复指令6.自动推导7.拓展学习 1.make概念 make是一个指令&#xff0c;makefile是一个在当前目录下存在的一个具有特定格式的文件。 如果在Linux中编写了大量的代码文件&#xff0c;难不成要一个一个使…

C++ Primer Plus第九章笔记

目录 单独编译 存储持续性&#xff0c;作用域和链接性 作用域和链接 自动存储持续性 静态持续变量 外部链接性 内部链接性 无链接性 定位new运算符 名称空间 using 编译指令和 using 声明 单独编译 C 支持模块化开发和单独编译。单独编译是指将一个程序分成多个独立…

如何系统性的学习报关知识

学习报关知识的方法如下&#xff1a; 学习法律法规&#xff1a;报关是受国家法律法规约束的&#xff0c;因此学习法律法规是非常重要的。可以去中华人民共和国海关总署官网查询相关法规。 学习关税分类&#xff1a;了解不同商品的分类和税率&#xff0c;可以去海关总署官网查询…

Spring Boot 3.0 已经就绪,您准备好了么?

Java 微服务开发框架王者 Spring 2014 年的 4 月&#xff0c;Spring Boot 1.0.0 正式发布。距离 1.0 版本的发布已经过去了 9 年多的时间&#xff0c;如今 Spring Boot 已经被 Java 开发者广泛使用&#xff0c;正如 JRebel 的 2022 年开发者生产力报告中提到的那样&#xff0c…

Python批量替换文件中内容,效率加倍

文章目录 我遇到的问题解决代码我遇到的问题 由于我的SQL文件太大了,手动去替换估计累死…所以需要一个批量替换。其它类似问题,同理处理。 解决代码 # 定义要替换的内容 replacements = {utf8mb4_0900_ai_ci: utf8_general_ci,utf8mb4: utf8 }# 读取文件内容 with open<…