博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据虚拟化实例:Tarball方式部署Hadoop发行版
阅读量:6194 次
发布时间:2019-06-21

本文共 2859 字,大约阅读时间需要 9 分钟。

在博文《》中,我们介绍了vSphere Big Data Extensions(BDE)是解决企业部署和管理Hadoop发行版的利器,通过它可以很方便可靠地运维Hadoop多个主流的商业发行版(包括社区的Apache Hadoop)。本文的内容围绕上述主题,以具体实例深入讲解如何做到灵活部署和管理Hadoop发行版的。

实例:Tarball方式部署GPHD1.2发行版

首先,需要下载GPHD 1.2发行版到本地。这里是,完成后解压缩文件。可以看到一组目录:

这个实例,我们要部署的是黄色高亮的组件。

  1. serengeti账号SSH BDE服务器,Windows上推荐使用WinSCP 工具进行

  2. 在文件系统中,定位到/opt/serengeti/www/distros/,创建新的目录,命名为gphd/1.2.0.0/

  3. 将本地的GPHD 1.2发行版中的hadooppighive这三个文件夹中的tar文件上传到gphd/1.2.0.0/目录下,如图所示:

  4. 打开/opt/seregneti/www/distros/manifest文件,更新gphd相关tarball的注册清单。这个文件非常重要,记录了BDE支持的所有Hadoop发行版的信息

    需要更新的清单信息如下:

    1

    {

    2

       "name" : "gphd",

       "vendor" : "GPHD",

    3

       "version" :  "1.2.0.0",

    4

       "hveSupported" : true,

    5

       "packages" : [

    6

        {

    7

          "roles" :  ["hadoop_namenode", "hadoop_jobtracker",  "hadoop_tasktracker", "hadoop_datanode",  "hadoop_client"],

    8

          "tarball" :  "gphd/1.2.0.0/hadoop-1.0.3-gphd-1.2.0.0-GA.tar.gz"

    9

        },

    10

        {

    11

          "roles" : ["pig"],

    12

          "tarball" :  "gphd/1.2.0.0/pig-0.9.2-gphd-1.2.0.0-GA.tar.gz"

    13

        },

    14

        {

    15

          "roles" : ["hive",  "hive_server"],

    16

          "tarball" :  "gphd/1.2.0.0/hive-0.8.1-gphd-1.2.0.0-GA.tar.gz"

    17

        }

    18

       ]

    19

     }

    说明

    1:将这段信息加在Apache Hadoop清单信息之后,用逗号分隔。

    2name字段可以是任意名称,vendor字段必须是GPHD(不区分大小写)BDE以此识别为GPHD发行版。

    3:版本号和目录1.2.0.0保持一致

    4hveSupported表示这个Hadoop发行版是否已支持HVEGPHD1.2已经支持,所以填写true。(关于HVE,后续有文章介绍)

    5– 18:是描述GPHD当前包含的Hadoop组件,这个例子使用了HadoopPigHive,所以在Packages里,按照三个不同的tarball,分别描述tarball支持的角色。

    6– 9:描述gphdhadooptarball位置以及它支持的角色名称。其中,tarball的路径和实际路径应该保持一样,并且大小写一致。PigHive tarball的描述按照同样要求遵循。每个tarball的描述用{}包含,逗号分隔开

  5. serengeti账号SSH登录BDE服务器,重启Tomcat服务。

    sudo service tomcat restart

    这个重启过程中,BDE服务器会执行一些后台脚本,并重新加载更新后的manifest文件以识别新添加的GPHD发行版,

  6. 重启完成后,打开Serengeti CLI,输入distro listgphd已经列在其中了。

    注意:如果distrolist给出一些错误提示,表明用户在完成前5步中有一些问题,可以简单自查,如果问题依旧不明确,可以定位到/opt/serengeti/logs目录中的日志文件查看详细错误信息。

验证GPHD 1.2发行版

7.  验证发行版部署成功的有效办法,就是创建一个GPHD的新集群,这在BDE中非常方便,10分钟搞定。

CLI命令行如下:

cluster create --name gpcluster --distro gphd

--distrocluster create的一个参数,表示用户希望用哪个发行版创建集群,这里指定“GPHD”为发行版名称,必须大写。如果不提供distro参数,cluster create默认创建的是Apache Hadoop 1.2集群。

创建成功后可以运行cluster list查看该集群运行参数和状态,如下图所示

另外,也可以使用BDEWEB UI创建一个GPHD的集群,步骤如下:

  1. 打开vSphere Web Client,点击Big Data Extensions,进入BDE管理界面。

  2. 点击Big Data Clusters,进入集群管理界面

  3. 在中央的集群列表上方,点击【+】图标

  4. 填写创建集群的表单,在Hadoop Distribution选项里,选择GPHD。其余默认即可。

  5. 提交表单。

创建成功后如图所示:

了解更多大数据虚拟化精彩内容,欢迎报名参加VMware大数据沙龙。VMware中国研发团队邀请了直接参与vSphere Big Data Extension产品设计和开发的资深专家和工程师、具有丰富经验的美国解决方案架构师,通过精彩演讲和演示,探讨VMware大数据战略,讲解大数据最新技术和核心价值,深度介绍BDE产品的特性和应用场景。VMware大数据沙龙上海站报名:,北京站报名:。

如有任何问题,您可以发邮件至

关于vSphere Big Data Extensions:

VMware vSphere Big Data Extensions(简称BDE)基于vSphere平台支持大数据和Hadoop作业。BDE以开源Serengeti项目为基础,为企业级用户提供一系列整合的管理工具,通过在vSphere上虚拟化Hadoop,帮助用户在基础设施上实现灵活、弹性、安全和快捷的大数据部署、运行和管理工作。了解更多关于VMware vSphere Big Data Extensions的信息,请参见。

作者简介:

VMware大数据解决方案项目经理

目前负责VMware大数据解决方案的管理和市场工作。曾担任VMware数据库管理产品vFabric Data Director产品经理,对虚拟化、云计算、关系型数据库和大数据等企业产品、技术方案和市场有深入的理解和实战经验。在此之前,就职于Microsoft从事分布式系统的产品管理和研发工作。

转载地址:http://eyuca.baihongyu.com/

你可能感兴趣的文章
LEAVE LIST-PROCESSING和LEAVE TO LIST-PROCESSING事件的作用
查看>>
rest 的分页
查看>>
ZeroMQ 3.2.2 XP下无法运行 ...
查看>>
[asp.net core]project.json(2)
查看>>
ios operationqueue
查看>>
防抖与节流
查看>>
[原]Python安装和使用MySQLdb库(Windows系统)
查看>>
sql 递归查询,刁刁的
查看>>
被称"硬盘杀手"的几个win7系统服务如何关闭(转)
查看>>
iPhone开发 在多台电脑上发布应用
查看>>
ActiveMQ之Linux下安装
查看>>
工具-cloc代码行数统计工具
查看>>
元素外边距溢出(塌陷)
查看>>
常用快捷键总结
查看>>
dmesg命令详解
查看>>
简单团队-爬取豆瓣电影TOP250-需求分析
查看>>
【转自ITPUB】SYNONYM关于underlying table权限的小小发现
查看>>
oracle grant 详解(转)
查看>>
msfconsole邮件收集器模块
查看>>
秒级展现的百万级大清单报表怎么做
查看>>