养生 装修 购物 美食 感冒 便秘 营销 加盟 小吃 火锅 管理 创业 搭配 减肥 培训 旅游

如何在hapdoop分布式环境中安装pig

时间:2024-11-15 19:51:38

hadoop作为热蜂擒萏赃门的技术越来越受到重视,但是对于传统系统管理员和DBA而言,java是个很让人晕菜的东西,因此hadoop就出现了很多帮助这些人鹚兢尖睁的子项目,比如pig,可以让传统管理员用类似传统角本的方式来完成map-reduce工作。

工具/原料

hardoop已安装,并启动

hapdoop0.20.2版本

方法/步骤

1、建议直接访问apache官方网站中pig项目页进行软件下载,具体链接就百度吧,很容易找到,进入网站后,依次选择project-releases页面,出现如下图的页面后,再选择download。

如何在hapdoop分布式环境中安装pig

2、在download页面有两个分支,一个指向0.8版本之前,一个为0.8版本以后,安装新一点的喽。之前再选择本站或镜像站点,就进入了如果的FTP目录清单界面,选择相应版本下载。

如何在hapdoop分布式环境中安装pig

3、如果要下载0.8版本以后,0.13版本之前的软件,需要选择上图上方的archives,点击进入后就会列出所有之前的版本,进入相应版本目录进行下载,针对linux有源码包和rpm安装包,建议下源码包,不需要编译,还可以控制安装的目录。

如何在hapdoop分布式环境中安装pig

4、下面就是用rz命令把下载擢爻充种的包搞到linux的机器上,当然也可以用wget命令直接在设备上下载上述包,如wg髫潋啜缅ethttp://archive.apache.org/dist/pig/pig-0.9.2/pig-0.9.2.tar.gz

如何在hapdoop分布式环境中安装pig

5、到下载目录找到该文件,下一步就解决源码文件了,使用tar-zxvfpig-0.9.2.tar.gz解包,注意不要用root用户呵,提前先切换到为hadoop的用户,如下图所示,出现一类文件解压显示后就OK了。

如何在hapdoop分布式环境中安装pig

6、pig安装完成,下面要修改一些配置评鲦易纪文件才能启动,首先要改的是用户登录文件,增加一些环境变量,用户环境文件根据linux版本和登录shell的不同聍铝遒灰有所差异,可以ls-la命令查看,注意一般为.bash_pfofile,直接用ls无法列出。

如何在hapdoop分布式环境中安装pig

7、如下图的红字部分,主要修改为增加hadoop和pig的执行文件搜索目录,增加java和hadoop的配置目录,其中java目录可以参考hadoop中hadoop.env文件中的java_home。

如何在hapdoop分布式环境中安装pig

8、保存退出后,还需要将刚才的用户logout一次,在shell下使用logout或exit命令都可以达到这个效果,然后再用刚才的hadoop环境用户登录以使环境文件生效,如下图。

如何在hapdoop分布式环境中安装pig

9、最后再对环境hosts文件作一次检查,位于/etc/目录下,集群内的设备都应该列在文件中,格式为一个IP对应一台设备,不过hadoop能正常启动的话,这个文件基本是正确的。

如何在hapdoop分布式环境中安装pig

10、OK,全部安装完成,相关配置文件也都修改好了,现在就可以正常启动,由于增加了pig执行文件的目录搜索,在shell直接执行pig命令就可以启动,出现grunt>的提示就代表系统启动成功

如何在hapdoop分布式环境中安装pig

11、如果要退出可以在grunt模式下键入quit即可退出pig。如果装个pig只想单机测试下就更简单了,只要在环境文件中增加执行搜索目录和java的执行目录,用pig-xlocal启动即可。

如何在hapdoop分布式环境中安装pig

© 一点知识