• Uncategorized »
  • mac使用virtualbox和cloudera manager搭建大数据集群

mac使用virtualbox和cloudera manager搭建大数据集群

装备集群

利用virtualbox,创建4个guest虚拟机,一个作为管理机,其他3个作为worker。虚拟机网络设置为NAT + HostOnly。NAT保证虚拟机能访问WAN,但是虚拟机之间无法通信。Host Only保证Mac和4个虚拟机之间处在一个网络192.168.56.0/24,可以相互通信。

  • mac 192.168.56.1 安装virtualbox
  • master 192.168.56.10 虚拟机,安装cm server
  • app1 192.168.56.11 虚拟机,安装cm agent
  • app2 192.168.56.12 虚拟机,安装cm agent
  • app3 192.168.56.13 虚拟机,安装cm agent

安装cloudera manager

在master上运行

# wget http://archive.cloudera.com/cm5/installer/5.15.0/cloudera-manager-installer.bin
# chmod u+x cloudera-manager-installer.bin
# ./cloudera-manager-installer.bin

有些包很大,可能会卡很久,或者下载很慢。可以手动下载到/var/cache/yum/x86_64/6/cloudera-manager/packages,然后重新运行./cloudera-manager-installer.bin

最好先手动下载
– oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
– cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el6.x86_64.rpm
– cloudera-manager-server-5.15.0-1.cm5150.p0.62.el6.x86_64.rpm
– cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el6.x86_64.rpm
然后cp/scp到四个虚拟机的/var/cache/yum/x86_64/6/cloudera-manager/packages下。

下载
– CDH-5.15.0-1.cdh5.15.0.p0.21-el6.parcel
– CDH-5.15.0-1.cdh5.15.0.p0.21-el6.parcel.sha1

扔到master的/opt/cloudera/parcel-repo

配置集群

访问http://192.168.56.10:7180/ ,账号admin,密码admin,选择一些配置选项,加入机器,填写ssh用户名密码(所有机器使用同样账号密码,关闭iptables和selinux)。然后就开始安装jdk、cm agent。

This entry was posted in Uncategorized