こんにちは。最近Dockerをはじめとしたコンテナを用いたアプリケーションの運用が広まっている・・・ ということで、Stormクラスタをコンテナのオーケストレーションツールで 構築できないか、と考えています。出来るようになれば、よりStormがお手軽に使え…

こんにちは。前回でCludera Managerが動作するようになったため、 Impalaを実際動く所までインストールしてみます。 1.OS設定実施 前回のvm.swappinessのエラーが出ていたため、それだけは解消してしまいます。各サーバで下記のコマンドを実行することで解消…

こんにちは。前回インストールに失敗してしまったので、その解決編です。 ＃CDH User JapanのMLでも色々サポートいただき、解決することができました。 ＃ありがとうございます。 1. インストール失敗した原因は？ 結果から言うと、yumの結果が日本語表記に…

こんにちは。この間Tokyo Impala Meetup 2014.10に参加してきて、実際に動きを把握したくなってきましたので、 まずは手始めとしてCludera Managerを導入してみて、環境を構築していってみます。ただ、当然ながら自宅環境ですのでWimpyな環境ではあるのです…

こんにちは。前回でPersistenceまで行ったので、今回はより大きなサンプルであるakka-distributed-workersを読み、 動作の確認を行ってみました。ソースコードは下記の場所から取得することができます。 typesafehub/activator-akka-distributed-workers中身…

こんにちは。はじめはTypedActorをやろうとも思ったのですが、 Akka-Meetupでもあったように、TypedActorは使いにくいので通常あまり使われないようです。 ＃実際、クラス階層も変わるためいまいち使いにくい、というのはありました。並行処理初心者のための…

こんにちは。前回、RemoteでRoutingを行おうとして上手くいかなかったため、 それをどうやって実現するのかを試してみます。あと、Routingを行うなら異なるプロセス間を跨がないといまいち面白くないため、 名前的には微妙ですが、下記の構成にして実際にRou…

こんにちは。前回に続き、今回はAkka-Remoteを使用してリモートからActorを作成する方法を確認します。 1. プログラム上でアドレスを定義してデプロイ まずは、プログラム上でアドレスを定義してServer側にActorを生成することを試してみます。クライアント…

こんにちは。今回はAkka-Remoteを用いて別プロセス同士でメッセージングを行う方法を確認してみます。参考： Remoting — Akka Documentation役割をわかりやすくするために下記のような構成で名前をつけて作ってみます。 1. 下準備 尚、定義は下記の構成にな…

こんにちは。今回は生成したActorに対してメッセージを送信するのではなく、 元々存在しているActorを取得してきてメッセージを送信することを試してみます。これができるようになれば、元々存在しているActorSystemにアクセスし、 Actorに対してメッセージ…

こんにちは。以前の投稿でActorから応答を受信するための方法について確認しましたが、 １つの応答ごとにFutureを用いる必要があり、正直な話かなり使いにくいものでした。そのため、もっと簡単に応答を受信できるものが無いかな・・ と確認してみたところ、…

こんにちは。前回に設定ファイルの設定方法について確認したので、 今回は実際に設定ファイルからActorの定義を読み込めるか試してみます。参考： Configuration − Akka Documentation Routing − Akka Documentation 1. 設定ファイルからActor(Router）の定…

こんにちは。前回でRoutingの基本をやって、次に移ろうとした所、 設定ファイルの読み込みが前提になっているような話になってきたので、 一度設定ファイルの読み込み方の確認をしてみます。参考： Configuration − Akka Documentation Routing − Akka Docum…

こんにちは。前回Actorからの応答を受け取ることができたので、 今回はActorに対してメッセージを割り振るRouterの機能を確認してみます。参考： Routing − Akka Documentation上記の参考ページによると、 RouterはRoutingを行うLogicクラスとRouting先のRou…

こんにちは。前回、Actorからの応答を受信できないか試したところ空の結果が返ってきた・・ という結果だったのですが、これでは実際使いにくい、と調べてみたところ、案の定応答を受信する仕組みは存在しました。akka.patterns.askをインポートした上で ? …

こんにちは。今回はAkka Actorに対して送信したメッセージを受信する方法の確認をしてみます。 1. そのまま返り値は返る？ まず、receiveメソッドの結果返り値を返すように修正し、 呼び出し側でメッセージを送った際に返り値をキャストするようにしてみます…

こんにちは。内容的にScalaの復習も兼ねていますがまぁお気になさらず。前回とりあえず最低限動作するものを作成しました。 今回はActorに対してパラメータを渡す方法と、 初期化処理／終了時処理をどう記述するかを確認してみます。Actorのソースを見ると、…

こんにちは。前回でAkka-Streamsのソースを確認していましたが、 そもそものScalaとAkka自体に対する前提知識が不足しているため、 見事にはまってしまった感じでした＾＾；なので、何度かScalaを用いたAkkaの小さなアプリを作成し、 そこから広げていこうと…

こんにちは。前回に引き続き、Akka StreamsのコンポーネントがReactive Streamsで 定義されたコンポーネントのどれに対応しているかを見ていきます。・・・と思ったのですが、 Akka Streamsをまともに読んでも範囲が広すぎるため、 Akka Streamsの利用サンプ…

こんにちは。前回とりあえずAkka-Streamsを動かしてみたので、 今回はAkka-StreamsとReactive Streamsの対応を確認してみます。 1. Akka-Streamsのソース取得 まずはAkka-Streamsのソースがなければ始まりません。 そのため、前回のサンプルの依存性から辿っ…

こんにちは。最近気になっていた「Reactive Streams」について試してみました。 1. Reactive Streamsとは？ 少し前にReactive Streamという情報がWebに流れていました。 Reactive Streams 何かというと、 "Reactive Streams is an initiative to provide a s…

こんにちは。この間購入した「Apache Kafka入門」を読み終わったので、 どんな本かという概要と注意点を書いてみます。Apache Kafka入門作者: 伊橋正義,原田勝憲出版社/メーカー: リクルートテクノロジーズ発売日: 2014/04/01メディア: Kindle版この商品を含…

こんにちは。前回実は水を加えていないからまとまらなかったことに気付き、先が見えてきました。 ただ、結果香ばしさが減衰してしまったので、まとまって香ばしいを両立できるラインを確認した結果、 とりあえず下記位が暫定のレシピとなりそうです。尚、今…

こんにちは。懲りずにツーロングを再現すべく画策中です。 で、この間から調べていたところ、重大な前提を見落としていたことが判明しました。 ＃何やってんだ農林水産省の「加工食品の表示」ページより http://www.maff.go.jp/j/fs/f_label/f_processed/一…

こんにちは。前回ツーロングを再現しようとして色々やってみましたが、見事に失敗しました。ただ、多分下記のポイントを変えればいいのではないか、ということで再チャレンジしてみました。 全粒粉でなく、通常の強力粉を使う 強力粉とグラハム粉のバランス …

こんにちは。この間自然食品店を色々回ってみて面白い食品が無いか探している時に、非常に好みなお菓子を見つけてしまいました。 ＃色々回ってみるのは趣味です。何かというと、「木のひげのツーロングA」というお菓子です。 下記のようなお菓子です。 甘く…

こんにちは。RPMパッケージを作ったと思ったら元がバージョン更新されていたので、 Kafka-0.8.1.1での修正点をざっとまとめてみました。参照： https://archive.apache.org/dist/kafka/0.8.1.1/RELEASE_NOTES.html Kafka-0.8.1.1での修正点 不具合対応 [KAFK…

こんにちは。前回からかなり間が空いてしまいましたが、Kafkaのインストールパッケージ（RPM）を作成しました。 特に認証等は不要な場所においてありますので、下記のコマンド１発でダウンロードも可能です。 必要としている方がどれだけいるかは微妙ですが…

こんにちは。今までKafkaBrokerを手動でインストールしてきましたが、 さすがにそれを何度も繰り返すのは面倒になってきました。そのため、Kafkaをrpmでインストールできるようにしたいと思います。色々探してみたところ、KafkaのRPMを生成している方々はい…

こんにちは。前回（前の投稿に非ず）SSHポートフォワーディングを行った結果Producerからの投入に失敗してしまいました（汗 今回はその解決エントリになります。 1.投入失敗した原因 メーリングリストで質問しながらログを確認したところ、 Kafka起動後に下…