読者です 読者をやめる 読者になる 読者になる

夢とガラクタの集積場

落ちこぼれ三流エンジニアである管理人の夢想=『夢』と、潰えた夢=『ガラクタ』の集積場です。

SparkバッチをMesosの上で動作させる(自作アプリ→一部成功

こんにちは。 前回はビルド時にバージョン違いのJarが紛れてしまうことで動作しなかったので、 まずはビルド定義の見直しから行ってみます。 1.sbtのビルド定義を修正 Sparkのビルド定義(SparkBuild.scala)を見てみると、下記のように依存性を除外するルー…

SparkバッチをMesosの上で動作させる(自作アプリ→またしても失敗

こんにちは。前回でエラーが発生する原因についてはわかったので、run-exampleと同様の方式で 自作アプリケーションを走らせてみます。 1.ビルド方式更新/アプリ修正 run-exampleはassemblyという形で依存Jarも含めた状態でパッケージされ、それを配布して…

SparkバッチをMesosの上で動作させる(exampleバッチ

こんにちは。前回動かず、かつ原因がよくわからないままだったため、調べてみたのですが・・・ 関連があるかもしれないという問題事例が下記のみで、かつ実際には違う事象だったため、解決しませんでした(汗Spark running with mesos fails when submitting…

SparkバッチをMesosの上で動作させる(その1

こんにちは。前回Mesos上でのSparkをREPLで動作させることに成功したため、次はバッチアプリケーションとして動作させてみます。 1.バッチアプリケーションのクラスタ対応 まず、前回作成したTextCountApp.scalaを以下のように改造します。修正個所としては…

【再】SparkのサンプルをMesosの上で動作させる(REPL)

こんにちは。前回見事に上手くいかなかったため、設定を確認して再度動かしてみることにします。 と言いつつ、エラー自体には以下のメッセージが明確に出ているため、 HDFSのポート設定がHDFSとSpark間でずれているからということは明白なのですが・・・Twit…

SparkのサンプルをMesosの上で動作させる(REPL) → 動作せず・・・(汗

こんにちは。ここまででSparkのローカルアプリケーションとMesosの環境構築が完了したため、 ついに実際にSparkのクラスタをMesosの上で動作させてみます。まずはHDFSは使わず、ローカルのファイルを読み込ませる形で動作させます。尚、分散クラスタ上で動作…

Mesos-MasterをZooKeeperで冗長化させる

こんにちは。では、MesosのZooKeeperによる冗長化を確認してみます。 尚、前回の記事で「Hadoopインストールした前提」としましたが、 備忘録のため環境構築手順も残しておくことにします。 楽にインストールするよりは構成をきちんと把握してインストールで…

Apache Mesosをrpmでインストールして動作を確認する(その2

こんにちは。Mesosの起動ファイルの構成などはわかったので、実際に起動させて動作を確認してみます。 とりあえず、Masterのアドレスを起動時のオプションで指定するのではなく環境ファイルに書けるようになったのは非常に大きいですね。尚、「mesos-master-…

Apache Mesosをrpmでインストールして動作を確認する(その1

こんにちは。SparkのStandalone版を動作させたので、次はクラスタ環境用にMesosの環境を構築してみます。 ・・・Spark on YARNについてはCDHでまとまっているのでここではとりあえず省略。いえ、もちろんHDFSとかは使いますけどね。下記の以前の投稿でApache…

Hadoop YARNとApache Mesosの違いって何?

こんにちは。CDH上でSparkがサポートされるという発表もあり、ニッチな領域をちょこちょこ調べていたはずが、 いきなりSparkがメジャーなステージに飛び出すのかなぁ・・と楽しみにしている今日この頃です。ただ、CDH上でのSparkはリソースマネージャとしてH…

Apache Mesosの論文メモ

こんにちは。前回でApache Mesos自体の機構は大体わかりました。 そのため、次は論文を読んでみようとしたのですが、Sparkの時と違い、概要とポイントさえわかっていれば 今後特に問題にならないため、流し読みしてポイントだけまとめてみました。読んだ論文…

Apache Mesosのアーキテクチャ

こんにちは。とりあえず前回Apache Mesosの環境構築は出来たのですが構造がさっぱりだったため、 一度アーキテクチャ資料を読んでみます。 https://github.com/apache/mesos/blob/master/docs/Mesos-Architecture.md ======= 1.Mesosの基本構造 下記…

Apache Spark on Mesos の環境構築(その3

こんにちは。では、Mesosの環境構築&確認を続けたいと思います。 1. テストフレームワークの起動 まずはテスト用に提供されているフレームワークを起動します。Mesos-masterが起動しているサーバ上で以下のコマンドを実行します。 ・・・尚、C++とJavaのサ…

Apache Spark on Mesos の環境構築(その2

こんにちは。では、Mesosの環境構築&確認を続けたいと思います。 1. mesos-masterの起動 Mesosをビルドしたディレクトリ配下にMesosがインストールされます。 かつ、シェルを見てみると以下のように「ビルドしたフルパス」が記述されているため、 一度ビル…

Apache Spark on Mesos の環境構築(その1

こんにちは。では、準備も整った(?)ということで、Apache SparkをMesos環境上に構築して動作させる・・・ ということをやっていこうと思います。http://spark.incubator.apache.org/docs/latest/running-on-mesos.html のページを読んでみると、Mesos上か…