kettle 6.0安装并连接ORACLE,HADOOP CDH5.3.0以及hadoop客户端配置

news/2024/5/20 4:02:59 标签: kettle, kettle6.0, hdfs, hadoop 客户端, kettle oracle

到官网下载




下载完毕后解压,记得本机要有java环境并配置好


运行spoon.bat在linux下运行spoon.sh,亲测win7/centos6可以用


新建转换,选择输入拖出表输入,输出拖出表输出



双击设置


点击新建,建立一个oracle新连接


配置好后点击测试可以测试一下


显示测试成功


点击获取sql语句,可以查看现有的表

之后shift从表输入拖出箭头到表输出,然后点击播放键,表就可以导出了


hadoop文件传输,新建作业,右键hadoop cluster



配置hadoop的端口号默认是8020,我这里改成了自定义的54310,用户名密码不填写,填写了也没有作用,也就是说填错了也没有关系,这个和ssh的用户密码不一样


点击测试,hdfs没问题,其他环境服务器没有配置,就不管了


如图拖出从start到hadoop copy files 的箭头,然后双击hadoop copy files,设置源和目标

源位本地一个随意文件,目标为hdfs,填写完destination environment后,点击目标文件/目录中的...,可以预览hdfs文件系统结构


配置完后开始执行,如果报错,permission denied 的话,原因是服务器端hdfs配置了权限检查

hdfs-site.xml中增加或者修改为


就可以了


另hadoop客户端配置

http://blog.csdn.net/j3smile/article/details/7887826

 hadoop远程客户端安装配置
客户端系统:ubuntu12.04

客户端用户名:mjiang

服务器用户名:hadoop

下载hadoop安装包,保证和服务器版本一致(或直接copy服务器的hadoop安装包) 
到  http://mirror.bjtu.edu.cn/apache/hadoop/common/ 下载tar.gz安装包,解压。
tar zxvf hadoopx.x.x.tar.gz
配置
系统配置
修改 ~/.bashrc 文件
添加 export PATH=/path/to/hadoop/home PATH
hadoop配置文件修改
在客户端只需配置集群namenode 和 jobtracker 的相关信息,以及java安装目录。即修改conf目录下文件:
hadoop-env.sh:
export JAVA_HOME=/home/mjiang/hadoop_work/jrockit-jdk1.6.0_29
core-site.xml:
<property>
<name>fs.default.name</name>
<value>hdfs://master:8020< alue>
</property>
mapred-site.xml:
<property>
<name>mapred.job.tracker</name>
<value>master:8021< alue>
</property>
现在hadoop客户端已经配置好,可以运行基本的命令如:
hadoop fs -lsr /
但是由于服务器端还没有设置权限,所以向hdfs系统上传文件等命令还不能运行。 


 公司级应用时权限配置:
这里只进行简单的权限配置,远程用户能正常提交运行作业即可,更加专业、高级的权限配置暂时还用不到,也没有做过多研究。
在解决权限配置问题时,我们对hadoop多用户权限配置的问题,转移成单纯的hdfs文件的用户权限配置问题:

在服务器主机上添加客户端用户以及hadoop默认组名:
sudo  /usr/sbin/groupadd  supergroup
sudo  /usr/sbin/useradd  -e 20130630   -g supergroup -n  -r mjiang 
修改hadoop集群中hdfs文件的组权限使属于supergroup组的所有用户都有读写权限
hadoop fs -chmod 773 / 



http://www.niftyadmin.cn/n/761498.html

相关文章

这就要从双引号和单引号的作用讲起:

这就要从双引号和单引号的作用讲起&#xff1a; 双引号里面的字段会经过编译器解释然后再当作HTML代码输出&#xff0c;但是单引号里面的不需要解释&#xff0c;直接输出。例如&#xff1a; $abcI love u; echo $abc //结果是:I love u echo $abc //结果是:$abc echo "$ab…

kickstart安装centos6

一、简介 1.1 什么是PXE PXE(Pre-boot Execution Environment&#xff0c;预启动执行环境)是由Intel公司开发的最新技术&#xff0c;工作于Client/Server的网络模式&#xff0c;支持工作站通过网络从远端服务器下载映像&#xff0c;并由此支持通过网络启动操作系统&#xff0c;…

点滴记忆

1、用于 MySQL 的语法: ALTER TABLE table_name DROP INDEX index_name 用于 MS SQL Server 的语法: DROP INDEX table_name.index_name 2、 mysql> SELECT owner, COUNT(*) FROM pet GROUP BY owner; mysql> SELECT pet.name, -> (YEAR(date)-YEAR(birt…

CentOS 6.4出现Disk sda contains BIOS RAID metadata解决方法

http://www.linuxidc.com/Linux/2014-02/96872.htm 在安装CentOS 6.4系统的时候&#xff0c;当进到检测硬盘的时候&#xff0c;总是过不去&#xff0c;报错如下&#xff1a; Disk sda contains BIOS RAID metadata, but is not part of any recognized BIOS RAID sets. Ignori…

轻松实现Windows定时关机,何必麻烦第三方软件

有时候&#xff0c;当我们需要定时关闭计算机&#xff0c;根本不用去到处寻找第三方定时关机软件&#xff0c;Windows自己完全可以搞定的&#xff0c;而且实现的方法也非常的简单。几行字就搞定了~~ 比如我们现在想让计算机在1小时后后自动关闭&#xff0c;只需这样做&#xf…

投影机故障处理

1.投影机开机时&#xff0c;绿灯闪烁说明仍处于启动状态;当绿灯不再闪烁时&#xff0c;方可进行下一步操作。 2.投影机在使用过程中严禁剧烈震动。 3.在使用过程中&#xff0c;如出现意外断电却仍需启动投影的情况时&#xff0c;最好等投影机冷却5—10分钟后&#xff0c;再次启…

BIT_OR()学习

下面的例子显示了如何使用位组函数来计算每个月中用户访问网页的天数: CREATE TABLE t1 ( year YEAR ( 4 ), month INT ( 2 ) UNSIGNED ZEROFILL, day INT ( 2 ) UNSIGNED ZEROFILL); INSERT INTO t1 VALUES ( 2000 , 1 , 1 ),( 2000 , 1 , 20 ),(…

linux后台运行程序的方法

http://www.ibm.com/developerworks/cn/linux/l-cn-nohup/ 我们经常会碰到这样的问题&#xff0c;用 telnet/ssh 登录了远程的 Linux 服务器&#xff0c;运行了一些耗时较长的任务&#xff0c; 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口…