大数据周会-本周学习内容总结03

news/2024/5/20 2:21:58 标签: 大数据, Hadoop, linux, finalShell, hdfs

目录

01【大数据导论与Linux基础】

Hadoop%E3%80%81HDFS%E3%80%91-toc" style="margin-left:0px;">02【Apache Hadoop、HDFS】

Hadoop%20MapReduce%E4%B8%8EHadoop%20YARN%E3%80%91-toc" style="margin-left:0px;">03【Hadoop MapReduce与Hadoop YARN】

04【数据仓库基础与Apache Hive入门】

05【Apache Hive DML语句与函数使用】

Hadoop%E7%94%9F%E6%80%81%E7%BB%BC%E5%90%88%E6%A1%88%E4%BE%8B%EF%BC%9A%E9%99%8C%E9%99%8C%E8%81%8A%E5%A4%A9%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E3%80%91-toc" style="margin-left:0px;">06【Hadoop生态综合案例:陌陌聊天数据分析】


01【大数据导论与Linux基础】

  1. 大数据导论
  2. Linux操作系统概述
  3. VMware Workstation虚拟机使用
  4. Linux常用基础命令
  5. Linux常用系统命令
  6. vi/vim文本编辑器基础使用

Hadoop%E3%80%81HDFS%E3%80%91">02【Apache Hadoop、HDFS】

  1. Apache Hadoop概述
  2. Apache Hadoop集群搭建
  3. HDFS分布式文件系统基础
  4. HDFS Shell操作
  5. HDFS读写文件基本流程

 

Hadoop%20MapReduce%E4%B8%8EHadoop%20YARN%E3%80%91" style="margin-left:0px;text-align:justify;">03【Hadoop MapReduce与Hadoop YARN】

  1. Hadoop MapReduce,分而治之思想、设计构思、官方示例、执行流程
  2. Hadoop YARN,介绍、架构组件、程序提交交互流程、调度器

04【数据仓库基础与Apache Hive入门】

  1. 数据仓库基本概念
  2. Apache Hive入门
  3. Apache Hive安装部署
  4. Hive SQL语言:DDL建库、建表

05【Apache Hive DML语句与函数使用】

  1. Hive SQL DML语法之加载数据
  2. Hive SQL DML语法之查询数据
  3. Hive SQL Join关联查询
  4. Hive SQL中的函数使用

Hadoop%E7%94%9F%E6%80%81%E7%BB%BC%E5%90%88%E6%A1%88%E4%BE%8B%EF%BC%9A%E9%99%8C%E9%99%8C%E8%81%8A%E5%A4%A9%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E3%80%91" style="margin-left:0px;text-align:justify;">06【Hadoop生态综合案例:陌陌聊天数据分析】

  1. 陌陌聊天数据分析案例需求
  2. 基于Hive数仓使用SQL实现需求开发
  3. 基于FineBI实现可视化报表

http://www.niftyadmin.cn/n/102021.html

相关文章

趣味数学题存疑待证1

原文出自:球面上随机 N 个点在同一个半球上的概率 要求任意N个点,全在同一个半球上的概率,我们需要构造使得分母为有限的样本集合,分子则为有N个点在同一半球的情况集 首先对任意N个点取其对称点使得可划分点为2N,在…

2023软件测试金三银四常见的软件测试面试题-【测试理论篇】

三、测试理论 3.1 你们原来项目的测试流程是怎么样的? 我们的测试流程主要有三个阶段:需求了解分析、测试准备、测试执行。 1、需求了解分析阶段 我们的SE会把需求文档给我们自己先去了解一到两天这样,之后我们会有一个需求澄清会议, 我…

AI - stable-diffusion(AI绘画)的搭建与使用

最近 AI 火的一塌糊涂,除了 ChatGPT 以外,AI 绘画领域也有很大的进步,以下几张图片都是 AI 绘制的,你能看出来么? 一、环境搭建 上面的效果图其实是使用了开源的 AI 绘画项目 stable-diffusion 绘制的,这是…

js:入门web component

什么是web component 首先丢几个网站 MDN 阮一峰 caniuse 现代 web 前端离不开组件&#xff0c;而我们平常写组件都是基于 react、vue 等框架来写的&#xff0c;web component 则是浏览器原生的组件&#xff0c;就意味着我们可以在浏览器直接运行。 实例 <!DOCTYPE html&…

Eureka服务注册与发现

注册中心是分布式开发的核心组件之一&#xff0c;而Eureka是spring cloud推荐的注册中心实现。简单分析一下Eureka的原理。Eureka基础概念与流程1、服务注册在微服务架构中&#xff0c;一个服务提供者本质上也是一个Eureka客户端。启动时&#xff0c;会调用Eureka所提供的服务注…

【人脸识别】FROM:提升遮挡状态下的人脸识别效果

论文题目&#xff1a;《End2End Occluded Face Recognition by Masking Corrupted Features》 论文地址&#xff1a;https://arxiv.org/pdf/2108.09468v3.pdf 代码地址&#xff1a;https://github.com/haibo-qiu/from 1.前言 人脸识别技术已经取得了显著的进展&#xff0c;主要…

gcc: 编译选项:-fdelete-null-pointer-checks、-fno-delete-null-pointer-checks

文章目录 说明实例:Linux 里的使用说明 这个说明写的有些理解不了,可能还是不太理解(有未知的东西在里面?)。但是从这个编译选项的命名上来看还是非常明确,就是删除不必要的空指针检查。使用时要小心了,这个优化超出了编译的界限! -fdelete-null-pointer-checks Assum…

pytorch 使用 xformers 库 加速多头注意力计算 和 大幅节省显存

效果概览&#xff1a; 好处&#xff1a;使用 google PALM 架构的小模型做 生成任务&#xff0c;改为 xformers 实现后&#xff0c;加速比为 2倍&#xff0c;显存消耗为原来的 1/3 &#xff0c;非常给力。 缺点&#xff1a;相比pytorch的原生实现&#xff0c;误差略大。。。 xf…