こんにちは。前回でRoutingの基本をやって、次に移ろうとした所、 設定ファイルの読み込みが前提になっているような話になってきたので、 一度設定ファイルの読み込み方の確認をしてみます。参考： Configuration − Akka Documentation Routing − Akka Docum…
こんにちは。前回Actorからの応答を受け取ることができたので、 今回はActorに対してメッセージを割り振るRouterの機能を確認してみます。参考： Routing − Akka Documentation上記の参考ページによると、 RouterはRoutingを行うLogicクラスとRouting先のRou…
こんにちは。前回、Actorからの応答を受信できないか試したところ空の結果が返ってきた・・ という結果だったのですが、これでは実際使いにくい、と調べてみたところ、案の定応答を受信する仕組みは存在しました。akka.patterns.askをインポートした上で ? …
こんにちは。今回はAkka Actorに対して送信したメッセージを受信する方法の確認をしてみます。 1. そのまま返り値は返る？ まず、receiveメソッドの結果返り値を返すように修正し、 呼び出し側でメッセージを送った際に返り値をキャストするようにしてみます…
こんにちは。内容的にScalaの復習も兼ねていますがまぁお気になさらず。前回とりあえず最低限動作するものを作成しました。 今回はActorに対してパラメータを渡す方法と、 初期化処理／終了時処理をどう記述するかを確認してみます。Actorのソースを見ると、…
こんにちは。前回でAkka-Streamsのソースを確認していましたが、 そもそものScalaとAkka自体に対する前提知識が不足しているため、 見事にはまってしまった感じでした＾＾；なので、何度かScalaを用いたAkkaの小さなアプリを作成し、 そこから広げていこうと…
こんにちは。前回に引き続き、Akka StreamsのコンポーネントがReactive Streamsで 定義されたコンポーネントのどれに対応しているかを見ていきます。・・・と思ったのですが、 Akka Streamsをまともに読んでも範囲が広すぎるため、 Akka Streamsの利用サンプ…
こんにちは。前回とりあえずAkka-Streamsを動かしてみたので、 今回はAkka-StreamsとReactive Streamsの対応を確認してみます。 1. Akka-Streamsのソース取得 まずはAkka-Streamsのソースがなければ始まりません。 そのため、前回のサンプルの依存性から辿っ…
こんにちは。最近気になっていた「Reactive Streams」について試してみました。 1. Reactive Streamsとは？ 少し前にReactive Streamという情報がWebに流れていました。 Reactive Streams 何かというと、 "Reactive Streams is an initiative to provide a s…
こんにちは。この間購入した「Apache Kafka入門」を読み終わったので、 どんな本かという概要と注意点を書いてみます。Apache Kafka入門作者: 伊橋正義,原田勝憲出版社/メーカー: リクルートテクノロジーズ発売日: 2014/04/01メディア: Kindle版この商品を含…
こんにちは。前回実は水を加えていないからまとまらなかったことに気付き、先が見えてきました。 ただ、結果香ばしさが減衰してしまったので、まとまって香ばしいを両立できるラインを確認した結果、 とりあえず下記位が暫定のレシピとなりそうです。尚、今…
こんにちは。懲りずにツーロングを再現すべく画策中です。 で、この間から調べていたところ、重大な前提を見落としていたことが判明しました。 ＃何やってんだ農林水産省の「加工食品の表示」ページより http://www.maff.go.jp/j/fs/f_label/f_processed/一…
こんにちは。前回ツーロングを再現しようとして色々やってみましたが、見事に失敗しました。ただ、多分下記のポイントを変えればいいのではないか、ということで再チャレンジしてみました。 全粒粉でなく、通常の強力粉を使う 強力粉とグラハム粉のバランス …
こんにちは。この間自然食品店を色々回ってみて面白い食品が無いか探している時に、非常に好みなお菓子を見つけてしまいました。 ＃色々回ってみるのは趣味です。何かというと、「木のひげのツーロングA」というお菓子です。 下記のようなお菓子です。 甘く…
こんにちは。RPMパッケージを作ったと思ったら元がバージョン更新されていたので、 Kafka-0.8.1.1での修正点をざっとまとめてみました。参照： https://archive.apache.org/dist/kafka/0.8.1.1/RELEASE_NOTES.html Kafka-0.8.1.1での修正点 不具合対応 [KAFK…
こんにちは。前回からかなり間が空いてしまいましたが、Kafkaのインストールパッケージ（RPM）を作成しました。 特に認証等は不要な場所においてありますので、下記のコマンド１発でダウンロードも可能です。 必要としている方がどれだけいるかは微妙ですが…
こんにちは。今までKafkaBrokerを手動でインストールしてきましたが、 さすがにそれを何度も繰り返すのは面倒になってきました。そのため、Kafkaをrpmでインストールできるようにしたいと思います。色々探してみたところ、KafkaのRPMを生成している方々はい…
こんにちは。前回（前の投稿に非ず）SSHポートフォワーディングを行った結果Producerからの投入に失敗してしまいました（汗 今回はその解決エントリになります。 1.投入失敗した原因 メーリングリストで質問しながらログを確認したところ、 Kafka起動後に下…
こんにちは。先ほど下記のニュースを見てしまい、グラフィカルなストリーム処理ツール、ということで とりあえず動かしてみました。■New York Times Labがストリーム処理ツールを公開 http://www.infoq.com/jp/news/2014/04/nyt-streamtoolsまず、リリースペ…
こんにちは。Kafkaのようなメッセージ収集サーバを使用していると、 遠隔地からもデータの送受信を行いたい、というケースが出てきます。ですが、Kafkaって通信は基本的に生のデータをネットワークに投入するので、 それはそれで気になるところがありますよ…
こんにちは。Producerからメッセージを投入時の動作を確認した前回に引き続き、動作を確認していきます。 今回はConsumerがKafkaクラスタに接続した時の動作について、です。 1-1.Consumerのコマンド確認 前回と同じく、Consumerのコマンドを確認します。重…
こんにちは。前回に引き続き、動作を確認していきます。 今回はProducerからメッセージを投入した時の動作について、です。確認する観点としては下記あたりが考えられますので、一つ一つ確認していきます。 レプリケーションあり、なしでも変わってきそうで…
こんにちは。前回に引き続き、Kafkaの動作を確認してみよう、の回です。 今回はトピックを作成した際の動作確認を行います。 1-1.レプリケーション数1のTopicの作成 まずはTopicを作成します。 作成する際にはパーティション数、レプリカ数等が指定可能です…
こんにちは。しばらく前にKakfa0.8.0正式版がリリースされているのですが、 0.8.0から追加されたレプリケーションの機能をきちんと試していなかったなぁ・・・ ということで、Kafkaクラスタを構築するところから再度確認しなおしてみます。まず、構築したい…
こんにちは。間が空いてしまっていますが、 Spark Summitの資料をとりあえず読んでみよう、の第２弾です。今回は「Spark Performance」を見てみました。 概要の次にいきなり性能の資料に入ってしまうあたり趣味を反映している気もしますが＾＾；では、見てみ…
こんにちは。Spark Summitの資料をとりあえず読んでみよう、の第１弾です。１番目ということでKeynoteである 「The State of Spark, and Where We’re Going Next」を見てみました。 多分、これがSparkの特徴を復習したり現状を把握するには一番早いと思いま…
こんにちは。思いっきり見逃していた話なのですが、2013/12にSpark Summit 2013が開催されていました。 幸い、資料はほとんど公開されているようなので、 内容を確認してみようと思うのですが、まずは概要を確認しておこう、ということで内容一覧と概要をま…
こんにちは。年明けサボっていましたが、まずはライトな更新から。 去年の年末にApache Sparkが0.8.1にバージョンアップしていたので バージョンアップ内容を備忘録としてまとめておきます。・・・内容的にはさっさかバージョンアップした方がいいものも混じ…
こんにちは。Amazon Kinesisについて調べたり実装してみたりしたため、 モデルがよく似たApache Kafkaとの類似点や相違点が気になってきました。というわけで、実際比べてみた結果どうだったのかをまとめてみます。 1.2つのプロダクトの類似点 Amazon Kinesi…
こんにちは。最近ストリームデータ処理サービスであるAmazon Kinesisのドキュメントを読んだり、 クライアントコードのソースを読んだり、実際の小さいアプリケーションを作ったりしたのですが、 その際にわかったことをとりあえずまとめておこうと思います…
