AWSのNACLを試してみたのですが、 ネット上を調べたところ日本語の実例情報がそれほどなかったため、 とりあえずまとめておこう、ということでまとめてみました。 1. NACLとは？ 下記のページにもありますが、 「サブネットのインバウンドトラフィックとアウ…

こんにちは。前回論文の前半部、Stormの問題点を読みましたが、 今回は中盤部、Twitter Heronのアーキテクチャについてです。 あと、後半部のStormとHeronの性能比較については下記のページでまとめているのの 事例が増えただけでしたので、とりあえず省略す…

こんにちは。最近、Dockerでマルチコンテナのクラスタを組もう、ということをやっています。 で、そこで課題になってくるのがIPアドレスが一定しない、ということですよね。ですので、そのためにConsul等のサービスディスカバリの仕組みを使う形になります。…

こんにちは。前回あーいう形でサマリ記事を読んだので、次は実際に論文を読んでみるしかないだろう・・ ということで、Twitter Heronの論文を読んでみました。 今回は前半の、Stormの問題点を記述した個所と、設計検討結果についてです。Twitter Heronただ、…

こんにちは。前回TwitterBlogのHeronの記事を読み込んでみたので、 次は論文を読むか、とはりきってみた所、有料だったので撃沈した今日この頃です。 この後開発が進んでいくことを考えると今買って読んでしまうか悩みますね・・と思っていた所、下記のPaper…

こんにちは。今月頭、TwitterがHeronという新しいリアルタイム解析基盤について発表していました。 読んでみると、StormとAPIの互換性を保ったまま新しいHeronというリアルタイム解析基盤を開発したそうな。Flying faster with Twitter Heron | Twitter Blog…

こんにちは。では、引き続きStormのコマンドが遅い理由について確認してみます。 1.Topology起動と、他のコマンドの違いは何なのか？ 前回は、単にJVMの起動が遅いのではないか、レベルでとどまってしまいましたが、それではわからない点が１つあります。 「…

こんにちは。とりあえず気になることができたので、しばらくStormネタです。 1.Stormを使っていて気になる所 皆さんはStormを実際に使ってみたことがあるでしょうか？私は使って最初のうちは気にならなかったのですが、最近気になってきたことがあります。 …

こんにちは。 少し間が空いてしまったのですが、 Stormが0.9.4にバージョンアップしたので、バージョンアップ内容をざっとまとめてみます。 STORM-559: ZkHosts in README should use 2181 as port. storm-kafkaにおいて、READMEにあるZooKeeperの接続設定例…

こんにちは。Embulkが前回の投稿から今回の投稿までの間にJava用のプラグインもサポートしていますね。 これでようやくプラグインを書けるようになった・・・のですが、 とりあえずプラグインを書くのは裏で行っておくとして、ここではソースコードリーディ…

こんにちは。前回で初期化部分の確認が終わったため、今回は本処理の方に入ってきます。尚、ServiceLoaderでJava製プラグインがロード出来るかについてはとりあえず一通り読んでからの方針で＾＾； まず、基本構造としては 上記の図にあるRunnerが起動の起点…

こんにちは。前回は起動時のさわりだけでしたので、今回からまともに中身を読む形になりますね＾＾； 1.クラス概要構成 JRubyによる起動処理部分が終わり、 Javaに戻ったのでまずはJavaクラスの概要構成から確認してみます。 概要の構成はこれだけです。 Emb…

こんにちは。ようやくKinesisSpoutが一段楽したので次のネタを。先日「データ転送ミドルウェア勉強会」が開催され、 そこでバルクデータロードツール『Embulk』が公開されました。データのバルクロードというと、定番のOSSというのがなくて、 HDFSにバルクデ…

こんにちは。前回初期化処理周りの確認が終わったので、今回はメッセージの取得→送信や、 Ack/Fail機構周りを見ていきます。 尚、実際に見てみるとわかりますが、かなり煩雑な記述です（汗ですので、とりあえず概要を知りたい方は 下記のポイントを理解でき…

こんにちは。とりあえず前回で大体の構造がわかったので、 今後はStormで基本となる下記の処理単位ごとに実際に行われる処理を見てみます。 今回は初期化／有効化／停止周りまで。 コンストラクタ Stormではコンストラクタと、Topologyを生成するクラスの中…

こんにちは、前回に引き続き、 kinesis-storm-spoutのソースコードを読んでいきます。kinesis-storm-spoutのコードを確認した所、 コンポーネント構成は大体下記のようになっていました。 ＃単なるエンティティ等は省いています。 尚、下記のクラスについて…

こんにちは。今更感はありますが、Amazon Kinesisが最近個人的に熱くなり、改めて使い方を見ています。 aws lambdaでKinesisのイベントを取得することも出来ますし、色々組み合わせて使えそうなんですよね。ただ、当然Kinesisは単体では使用できないため、 …