こんにちは。意外に、どうやればいいか１か所にまとまっているサイトがなかったので、 まとめのためにロギングフレームワーク移行の手順を残しておきます。 1.新旧ロギングフレームワーク？ ここでいう移行元、移行先のロギングフレームワークは下記です。 …

こんにちは。とりあえず、次のものに移るためにも下記の２点くらいは まとめてしめましょうか＾＾； どんな情報が取得できるか 取得できない情報は何か？ まずは情報が１かたまりとして大量に出ており、 結果なにがなにやらわからなかったため、１段階整形し…

こんにちは。前回マシンの性能を計測していたような気もしますが、 とりあえずサーバマシン選定中でいまだ手に入っていないので今回もStormネタのようです。少し前にStormがZookeeperに保存している情報を確認したのですが、 それを何か楽に取る方法はないか…

こんにちは。とりあえず、次回以降のネタの下準備のために まずは自宅にあるミニマシンのスペック・・・というかベンチマークを確認しておきます。・・・ええ、ぶっちゃけ何故その流れになるかわからないかとは思いますが、 あまりお気になさらず＾＾； 1.何…

こんにちは。とりあえず前回のものだけではまだApacheDrillが何が何やらわからないため、 開発された背景や位置づけなども含めてまとめてみます。 1.Apache DrillProposalの内容 とりあえず、Apache DrillProposalの内容を要約して訳してみます。 概要 Apach…

こんにちは。とりあえずZookeeperの中身をざっと見て、一段落したので次のネタに移ります。 ＃中身を一覧化するのは時間がかかるので気長にということで＾＾；というわけで（？）、最近ビッグデータ／リアルタイム処理に続く 第３の処理形態として語られてい…

こんにちは。とりあえず、２回とりあえずコマンドラインでうって来たもののまとめです。StormのZookeeperに保存している情報は下記のような構成になっていました。 storm/ StormのZookeeperルートディレクトリ ├―workerbeats/ Workerプロセスの設定情報／Hea…

こんにちは。前回に引き続き、Zookeeperの中を（とりあえずわかる範囲で）見て行きます。 前回はStormのクラスタを起動した状態での確認だったので、 今回はTopologyをSubmitした状態での確認ですね。 1.TopologySubmit前の下準備 Stormの機能をフルに実行し…

こんにちは。最近テーマ・・・というのも無くなりつつあるので、 とりあえずその日その日で思いついた雑多ネタを投稿していくようなノリになりそうです。ハイ。とまぁ、そういうぼやきはさておき。 1.StormはZookeeperを何に使用しているのか？ StormはZooke…

GitHubでph-pagesを使って色々静的ページを公開することを行っていたのですが、 他のページを見てみると途中でコマンドラインが混ざるものが多かったので、 「GitHubのWeb画面 ＋ GitHub for Windows」のみで実際に導入する方法をまとめました。・・・ええ、…

こんにちは。引き続きメッセージ処理のページを読み進めます。今回はTaskがメッセージを受信したときの動作について。 Message処理実装 ＝＝＝＝＝＝ ■Taskがメッセージ受信時に行う動作はローカルモードか、分散モードかで異なる1.ローカルモードにおいては…

こんにちは。では、StormのTuple処理の肝であるMessage Passingについて読んでいきます。 Message処理実装 ＝＝＝＝＝＝ 本ページでは、Emit/TransferされたTupleがどう動作するかを記述する。■Workerがメッセージの転送について統括する。 1.Workerにおいて…

前回に引き続き、Topologyのライフサイクルの章について読み進めます。 Topologyのライフサイクル Topologyモニタリング ＝＝＝＝＝ ■Nimbusは起動している間ずっとTopologyのモニタリングを行う。 1.Timerスレッドにて定期的にTopologyモニタリングタスクが…

少し間が空いてしまいましたが、続きになります。今回からはLifecycle of a topologyの章を確認していきます。 ・・・とりあえず書いてみましたが、ひたすらべた書きになっているため、 一通り読み終わったらわかりやすくまとめる必要がありそうですね（汗 T…

こんにちは。日本時間昨日未明にStormの0.8.0がリリースされました！ 性能の大きな向上、リソース配分の動的調整など、 追加機能が多いリリースですが、ライブラリもかなり更新されています。そのため、まずはライブラリを比較して差分を出してみることにし…

こんにちは。前回に引き続き、Stormの内部実装説明資料の確認を進めます。 1.Structure of the codebase（続き Java interfaces ＝＝＝＝＝＝＝ StormのAPIインタフェースはJavaで定義されている。 主に、下記の３つのインタフェースが存在する。 IRichBolt …

こんにちは。最近StormのGitHubにおいて、『Stormの内部構造の解説ページ』が開設されています。 そのため、ソースコードリーディング・・・とは違いますが、 解説ページを読んで、その内容をまとめていこうと思います。 1.Structure of the codebase ＝＝＝…

ついにラストです。S3-6のセッション。 松下 雅和さんの「ソーシャルゲームにおけるAWS／MongoDB利用事例」。・・・なんですが、あまりにSlideShareの資料が充実しているため、 これ以上何をまとめろという状況（××；http://www.slideshare.net/matsukaz/aws…

とりあえず続きです。前回の投稿の続きで、S1-5での話のまとめを投稿します。 和智 右桂 さんによる、「現場で使えるドメイン駆動設計」。昨年ドメイン駆動設計がQConの一つのテーマではありましたが、 それを実際にどう現場で使えばいいのか、というセッシ…

おはようございます。とりあえず続きです。前回の投稿の続きで、S1-4での話のまとめを投稿します。 山本 裕介さんによる、「Twitterの最新アーキテクチャ」。やはりこういう超大規模サービスのアーキテクチャを知る機会はそうないので、 楽しみにして参加。…

続いてセッションまとめです。前回の投稿の続きで、S1-3での話のまとめを投稿します。 萩原 正義さんによる、「Big Dataを支える大規模並列分散技術の現状と今後の方向性」。BigDataを支える並列分散技術を分解し、 どうやって分散化が可能か、今の課題は何…

こんにちは。前回の投稿の続きで、S3-2での話のまとめを投稿します。 玉川 憲さんによる、「クラウドデザインパターン -AWSを用いたシステム設計のベストプラクティス-」。 クラウドデザインパターンのつくられた経緯と、 いくつかの例となるシナリオを基に…

こんにちは。前回の投稿の続きで、S3-1での話のまとめを投稿します。 相澤 歩さんによる、「Heroku Inside」。セールスフォースが提供するPaaS、Heroku（ヘロク）の特徴と内部動作についてのセッションでした。 とりあえず最初の収穫。Herokuは「ヘロク」と…

こんにちは。前回の投稿に続き、まとめ投稿です。今回はKeynote 2についての投稿です。 足立 昌彦 さんによる、「Androidに関わるエンジニアの視点」。 まとめは下記。足立さん自身も中で語っているように、 自身に対するエンジニア観察日記・・・という内容…

こんにちは。前回の投稿の続きで、Keynote 1での話のまとめを投稿します。 Jamie Kinneyさんによる、「怪しい都市伝説 - Mission Cloud Computing @ NASA」。尚、講演の資料はQConTokyoのHPにアップされていますので、そちらも参考に。 というか見れば今回ま…

こんばんは。本日去年に引き続き、QconTokyoに行ってきました。とりあえず、詳細は次回以降の投稿にまわすとして、 今回はQConTokyo全体のテーマと、後参加した各セッションのポイントについてまとめます。・・・尚、当然ながら理解できたレベルでしか書けな…

こんにちは。 とりあえず前回の続きを。 6.メッセージの永続化／保持 ファイルシステムを恐れるな！ Kafkaはメッセージの保存と保持にあたってファイルシステムに密接に依存している。 ディスクは遅いという一般見解があるため、 こう書いてしまうと性能を確…

こんにちは。とりあえず前回の続きで、Apache Kafkaについて確認してみます。 ・・・なんか長引きそうなので、全部ページを確認し終わったら特徴も改めてまとめますね。 5.基本設計方針 Apache Kafkaの持つ設計方針は下記の通り。 1.Kafkaは永続化する必要が…

こんばんは。 最近Stormを調べていると、 データ取得の手段としてApache Kafkaとの連携が記述されています。そのため、とりあえず何ができるか、の概要を調べてみました。 最初はFlumeを使おうかとも思ったんですが、 下記のようなモデルの祖語もあり、とり…

こんにちは。ニュースを読んでいると、こんなページを見つけました。 MySQL at Twitter http://engineering.twitter.com/2012/04/mysql-at-twitter.htmlどうやら、MySQLをTwitterでカスタムしたものを公開したようです。 Twitterのデータストアとしては、現…