こんにちは。 前回はビルド時にバージョン違いのJarが紛れてしまうことで動作しなかったので、 まずはビルド定義の見直しから行ってみます。 1.sbtのビルド定義を修正 Sparkのビルド定義（SparkBuild.scala）を見てみると、下記のように依存性を除外するルー…

こんにちは。前回でエラーが発生する原因についてはわかったので、run-exampleと同様の方式で 自作アプリケーションを走らせてみます。 1.ビルド方式更新／アプリ修正 run-exampleはassemblyという形で依存Jarも含めた状態でパッケージされ、それを配布して…

こんにちは。前回動かず、かつ原因がよくわからないままだったため、調べてみたのですが・・・ 関連があるかもしれないという問題事例が下記のみで、かつ実際には違う事象だったため、解決しませんでした（汗Spark running with mesos fails when submitting…

こんにちは。前回Mesos上でのSparkをREPLで動作させることに成功したため、次はバッチアプリケーションとして動作させてみます。 1.バッチアプリケーションのクラスタ対応 まず、前回作成したTextCountApp.scalaを以下のように改造します。修正個所としては…

こんにちは。前回見事に上手くいかなかったため、設定を確認して再度動かしてみることにします。 と言いつつ、エラー自体には以下のメッセージが明確に出ているため、 HDFSのポート設定がHDFSとSpark間でずれているからということは明白なのですが・・・Twit…

こんにちは。ここまででSparkのローカルアプリケーションとMesosの環境構築が完了したため、 ついに実際にSparkのクラスタをMesosの上で動作させてみます。まずはHDFSは使わず、ローカルのファイルを読み込ませる形で動作させます。尚、分散クラスタ上で動作…

こんにちは。では、MesosのZooKeeperによる冗長化を確認してみます。 尚、前回の記事で「Hadoopインストールした前提」としましたが、 備忘録のため環境構築手順も残しておくことにします。 楽にインストールするよりは構成をきちんと把握してインストールで…

こんにちは。Mesosの起動ファイルの構成などはわかったので、実際に起動させて動作を確認してみます。 とりあえず、Masterのアドレスを起動時のオプションで指定するのではなく環境ファイルに書けるようになったのは非常に大きいですね。尚、「mesos-master-…

こんにちは。SparkのStandalone版を動作させたので、次はクラスタ環境用にMesosの環境を構築してみます。 ・・・Spark on YARNについてはCDHでまとまっているのでここではとりあえず省略。いえ、もちろんHDFSとかは使いますけどね。下記の以前の投稿でApache…

こんにちは。CDH上でSparkがサポートされるという発表もあり、ニッチな領域をちょこちょこ調べていたはずが、 いきなりSparkがメジャーなステージに飛び出すのかなぁ・・と楽しみにしている今日この頃です。ただ、CDH上でのSparkはリソースマネージャとしてH…

こんにちは。前回でApache Mesos自体の機構は大体わかりました。 そのため、次は論文を読んでみようとしたのですが、Sparkの時と違い、概要とポイントさえわかっていれば 今後特に問題にならないため、流し読みしてポイントだけまとめてみました。読んだ論文…

こんにちは。とりあえず前回Apache Mesosの環境構築は出来たのですが構造がさっぱりだったため、 一度アーキテクチャ資料を読んでみます。 https://github.com/apache/mesos/blob/master/docs/Mesos-Architecture.md ＝＝＝＝＝＝＝ 1.Mesosの基本構造 下記…

こんにちは。では、Mesosの環境構築＆確認を続けたいと思います。 1. テストフレームワークの起動 まずはテスト用に提供されているフレームワークを起動します。Mesos-masterが起動しているサーバ上で以下のコマンドを実行します。 ・・・尚、C++とJavaのサ…

こんにちは。では、Mesosの環境構築＆確認を続けたいと思います。 1. mesos-masterの起動 Mesosをビルドしたディレクトリ配下にMesosがインストールされます。 かつ、シェルを見てみると以下のように「ビルドしたフルパス」が記述されているため、 一度ビル…

こんにちは。では、準備も整った（？）ということで、Apache SparkをMesos環境上に構築して動作させる・・・ ということをやっていこうと思います。http://spark.incubator.apache.org/docs/latest/running-on-mesos.html のページを読んでみると、Mesos上か…