こんにちは。前回Mesos上でのSparkをREPLで動作させることに成功したため、次はバッチアプリケーションとして動作させてみます。 1.バッチアプリケーションのクラスタ対応 まず、前回作成したTextCountApp.scalaを以下のように改造します。修正個所としては…

こんにちは。前回見事に上手くいかなかったため、設定を確認して再度動かしてみることにします。 と言いつつ、エラー自体には以下のメッセージが明確に出ているため、 HDFSのポート設定がHDFSとSpark間でずれているからということは明白なのですが・・・Twit…

こんにちは。ここまででSparkのローカルアプリケーションとMesosの環境構築が完了したため、 ついに実際にSparkのクラスタをMesosの上で動作させてみます。まずはHDFSは使わず、ローカルのファイルを読み込ませる形で動作させます。尚、分散クラスタ上で動作…

こんにちは。では、MesosのZooKeeperによる冗長化を確認してみます。 尚、前回の記事で「Hadoopインストールした前提」としましたが、 備忘録のため環境構築手順も残しておくことにします。 楽にインストールするよりは構成をきちんと把握してインストールで…

こんにちは。Mesosの起動ファイルの構成などはわかったので、実際に起動させて動作を確認してみます。 とりあえず、Masterのアドレスを起動時のオプションで指定するのではなく環境ファイルに書けるようになったのは非常に大きいですね。尚、「mesos-master-…

こんにちは。SparkのStandalone版を動作させたので、次はクラスタ環境用にMesosの環境を構築してみます。 ・・・Spark on YARNについてはCDHでまとまっているのでここではとりあえず省略。いえ、もちろんHDFSとかは使いますけどね。下記の以前の投稿でApache…

こんにちは。色々紆余曲折ありましたが、ようやくSparkの動作確認スタートです。 以前構築したMesosクラスタはソースをビルドして作ったいまいち使いにくいものですので、 とりあえず後で再構築するとして、まずはMesosを使わなくていい状態で出来ることを確…

こんにちは。CDH上でSparkがサポートされるという発表もあり、ニッチな領域をちょこちょこ調べていたはずが、 いきなりSparkがメジャーなステージに飛び出すのかなぁ・・と楽しみにしている今日この頃です。ただ、CDH上でのSparkはリソースマネージャとしてH…