夢とガラクタの集積場

落ちこぼれ三流エンジニアである管理人の夢想=『夢』と、潰えた夢=『ガラクタ』の集積場です。

2014-04-01から1ヶ月間の記事一覧

Kafkaインストーラを作成してみる(下調べ

こんにちは。今までKafkaBrokerを手動でインストールしてきましたが、 さすがにそれを何度も繰り返すのは面倒になってきました。そのため、Kafkaをrpmでインストールできるようにしたいと思います。色々探してみたところ、KafkaのRPMを生成している方々はい…

SSHを通してKafkaBrokerに対するデータ送受信を行う方法(解決編

こんにちは。前回(前の投稿に非ず)SSHポートフォワーディングを行った結果Producerからの投入に失敗してしまいました(汗 今回はその解決エントリになります。 1.投入失敗した原因 メーリングリストで質問しながらログを確認したところ、 Kafka起動後に下…

ストリームを処理するグラフィカルなツールStreamtools

こんにちは。先ほど下記のニュースを見てしまい、グラフィカルなストリーム処理ツール、ということで とりあえず動かしてみました。■New York Times Labがストリーム処理ツールを公開 http://www.infoq.com/jp/news/2014/04/nyt-streamtoolsまず、リリースペ…

SSHを通してKafkaBrokerに対するデータ送受信を行う方法(失敗

こんにちは。Kafkaのようなメッセージ収集サーバを使用していると、 遠隔地からもデータの送受信を行いたい、というケースが出てきます。ですが、Kafkaって通信は基本的に生のデータをネットワークに投入するので、 それはそれで気になるところがありますよ…

KafkaクラスタでConsumerを接続した際の動作

こんにちは。Producerからメッセージを投入時の動作を確認した前回に引き続き、動作を確認していきます。 今回はConsumerがKafkaクラスタに接続した時の動作について、です。 1-1.Consumerのコマンド確認 前回と同じく、Consumerのコマンドを確認します。重…