こんにちは。先ほど下記のニュースを見てしまい、グラフィカルなストリーム処理ツール、ということで とりあえず動かしてみました。■New York Times Labがストリーム処理ツールを公開 http://www.infoq.com/jp/news/2014/04/nyt-streamtoolsまず、リリースペ…

こんにちは。Kafkaのようなメッセージ収集サーバを使用していると、 遠隔地からもデータの送受信を行いたい、というケースが出てきます。ですが、Kafkaって通信は基本的に生のデータをネットワークに投入するので、 それはそれで気になるところがありますよ…

こんにちは。Producerからメッセージを投入時の動作を確認した前回に引き続き、動作を確認していきます。 今回はConsumerがKafkaクラスタに接続した時の動作について、です。 1-1.Consumerのコマンド確認 前回と同じく、Consumerのコマンドを確認します。重…

こんにちは。前回に引き続き、動作を確認していきます。 今回はProducerからメッセージを投入した時の動作について、です。確認する観点としては下記あたりが考えられますので、一つ一つ確認していきます。 レプリケーションあり、なしでも変わってきそうで…

こんにちは。前回に引き続き、Kafkaの動作を確認してみよう、の回です。 今回はトピックを作成した際の動作確認を行います。 1-1.レプリケーション数1のTopicの作成 まずはTopicを作成します。 作成する際にはパーティション数、レプリカ数等が指定可能です…

こんにちは。しばらく前にKakfa0.8.0正式版がリリースされているのですが、 0.8.0から追加されたレプリケーションの機能をきちんと試していなかったなぁ・・・ ということで、Kafkaクラスタを構築するところから再度確認しなおしてみます。まず、構築したい…

こんにちは。間が空いてしまっていますが、 Spark Summitの資料をとりあえず読んでみよう、の第２弾です。今回は「Spark Performance」を見てみました。 概要の次にいきなり性能の資料に入ってしまうあたり趣味を反映している気もしますが＾＾；では、見てみ…

こんにちは。Spark Summitの資料をとりあえず読んでみよう、の第１弾です。１番目ということでKeynoteである 「The State of Spark, and Where We’re Going Next」を見てみました。 多分、これがSparkの特徴を復習したり現状を把握するには一番早いと思いま…

こんにちは。思いっきり見逃していた話なのですが、2013/12にSpark Summit 2013が開催されていました。 幸い、資料はほとんど公開されているようなので、 内容を確認してみようと思うのですが、まずは概要を確認しておこう、ということで内容一覧と概要をま…

こんにちは。年明けサボっていましたが、まずはライトな更新から。 去年の年末にApache Sparkが0.8.1にバージョンアップしていたので バージョンアップ内容を備忘録としてまとめておきます。・・・内容的にはさっさかバージョンアップした方がいいものも混じ…