こんにちは。現在遅ればせながらStorm-0.9.0系を動作させて試しているのですが、 まずこの後色々やってみるためのベースとして、各プロセスのJVMオプションを確認しておきます。何故こんなことを行うかというと、StormではWorkerプロセスを管理するのは Stor…

こんにちは。この間酷い目にあったのでその酷い目に対する対応策として。皆さん、ログを出力するときにログレベルを定義するかと思うのですが、 １ファイルに全レベルのログを出力していた場合、 「ログレベルの低いログにログレベルの高いログが塗りつぶさ…

こんにちは。前回は使い方がわからなかったGenn.aiですが、ドキュメントも公開されて使い方がわかったため、 とりあえず再度試してみることにします。http://pages.genn.ai/まず、gungnirのCLIを起動する前のヘルプを確認してみます。 > ./gungnir -h Unreco…

こんにちは。昨晩面白そうなページを見つけたので早速試してみました。リクルートテクノロジー製のリアルタイムプラットフォームで、StormとKafkaを用いて構築されたGenn.ai（源内）です。■紹介ページ http://genn.ai/ ■登録ページ（動作ホスト兼？） http:/…

こんにちは。前回でApache Mesos自体の機構は大体わかりました。 そのため、次は論文を読んでみようとしたのですが、Sparkの時と違い、概要とポイントさえわかっていれば 今後特に問題にならないため、流し読みしてポイントだけまとめてみました。読んだ論文…

こんにちは。とりあえず前回Apache Mesosの環境構築は出来たのですが構造がさっぱりだったため、 一度アーキテクチャ資料を読んでみます。 https://github.com/apache/mesos/blob/master/docs/Mesos-Architecture.md ＝＝＝＝＝＝＝ 1.Mesosの基本構造 下記…

こんにちは。では、Mesosの環境構築＆確認を続けたいと思います。 1. テストフレームワークの起動 まずはテスト用に提供されているフレームワークを起動します。Mesos-masterが起動しているサーバ上で以下のコマンドを実行します。 ・・・尚、C++とJavaのサ…

こんにちは。では、Mesosの環境構築＆確認を続けたいと思います。 1. mesos-masterの起動 Mesosをビルドしたディレクトリ配下にMesosがインストールされます。 かつ、シェルを見てみると以下のように「ビルドしたフルパス」が記述されているため、 一度ビル…

こんにちは。では、準備も整った（？）ということで、Apache SparkをMesos環境上に構築して動作させる・・・ ということをやっていこうと思います。http://spark.incubator.apache.org/docs/latest/running-on-mesos.html のページを読んでみると、Mesos上か…

こんにちは。前回まででApache Spark & Streamingの概要がわかったので、 とりあえず実際の環境を構築してみよう・・・と思ったら、Apache Spark自体がバージョンアップしていました。 Spark0.8.0になりますね。なので、とりあえずどんな機能が追加されたか…