Cludera Manager最新版をWimpyな環境に導入してみる（失敗

こんにちは。

この間Tokyo Impala Meetup 2014.10に参加してきて、実際に動きを把握したくなってきましたので、
まずは手始めとしてCludera Managerを導入してみて、環境を構築していってみます。

ただ、当然ながら自宅環境ですのでWimpyな環境ではあるのですがw

1. ハード環境

お決まりのハード環境前提です。

概要構成は下記の通り。

で、性能は下記の通りです。
Wimpyな上にホストの容量を超過するように仮想マシンを配置していますが、
まぁ気にしない方向で＾＾；
■Cloudera Manager用マシン

CPU                 : Core i5 U430
Memory              : 4GB
HDD                 : 500GB
OS                  : CentOS6.6 64bit(Basic Server)

■ホストマシン

CPU                 : Core i7 3770
Memory              : 32GB
HDD                 : 2TB

■仮想マシン（cluster1、cluster2、cluster3、cluster4）

CPUコア数           : 2
Memory              : 8GB
HDD                 : 200GB
OS                  : CentOS6.6 64bit(Basic Server)

2. 前提準備

前提として、下記の設定を行っておきます。

iptalbles無効化
SeLinux無効化
hostsに各サーバを追記し、名前でサーバを引けるようにする
ntp設定
OpenJDKアンインストール

3.Cloudera Managerダウンロード

まずはCloudera Managerをダウンロードします。

http://www.cloudera.com/content/cloudera/en/downloads.html にアクセスし、
Cloudera Managerを選択します。

Cloudera Expressを選択します。

選択後、各種情報を入力すると下記のようにダウンロード手順が表示されます。

4.Cloudera Managerインストール

手順はわかったため、Cloudera Manager用マシンで下記のように実行し、インストールを行います。
尚、バージョンを明確に固定しておきたいため、latestではなく5.2.0とバージョンを指定して進めます。

# wget http://archive.cloudera.com/cm5/installer/5.2.0/cloudera-manager-installer.bin
# chmod u+x cloudera-manager-installer.bin
# ./cloudera-manager-installer.bin

実行するとライセンスの確認がされますので、OKをして先に進みます。
すると下記のようにインストールが開始されます。

・・・それなりに時間がかかりますが、気になる場合は
/var/log/cloudera-manager-installer 配下に下記のようなログが出力されるので、
中身をtailすれば何か問題が起こっていないか、がわかります。
中ではリポジトリの追加を行った上で、普通にyumを実行しているようですね。
■2.install-oracle-j2sdk1.7.log

読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
Loading mirror speeds from cached hostfile
 * base: ftp.riken.jp
 * extras: ftp.riken.jp
 * updates: ftp.riken.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package oracle-j2sdk1.7.x86_64 0:1.7.0+update67-1 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================
 パッケージ          アーキテクチャ
                                バージョン           リポジトリー          容量
================================================================================
インストールしています:
 oracle-j2sdk1.7     x86_64     1.7.0+update67-1     cloudera-manager     135 M

トランザクションの要約
================================================================================
インストール         1 パッケージ

インストールが完了すると下記の画面が表示されます。
ポート番号は7180番ポートを使用しており、初期アカウント／パスワードはadmin／adminのようですね。

5. Cloudera Managerクラスタ設定

では、次はCloudera Managerの設定を行い、
実際にHadoopをインストールする先のクラスタの前準備を行います。

トップページにアクセスし、ログインします。

するとエディションを聞かれるため、Cloudera Expressとして「続行」します。

その後のページを「続行」すると、インストール先のホストが聞かれるため、
「cluster[1-4]」と入力してホストを検索すると下記のようにインストール先のホストが表示されますので、「続行」します。

すると次はインストールするパッケージ形態とバージョンについて確認されます。
Parcelを使う方式で、バージョンもそのままでいいため、特に変更せずに「続行」します。

次はJDKのインストールオプションです。
元々MinimalでJDKがインストールされていないこともありますので、
インストールオプションを有効にして「続行」します。

次はSSHログイン情報です。
こちらもユーザ名とパスワード情報を入力し、「続行」します。

すると、各サーバ上でインストールが開始されます。