こんにちは。最近技術的な内容は大体Qiitaに書いているので こちらは間が空いてしまっていますが、勉強会の参加記録はこちらに。RCO Study Night "RCOにおける機械学習と次世代量子情報処理技術「量子アニーリング」"に参加してきました。atnd.org正直な話、…

AWSのNACLを試してみたのですが、 ネット上を調べたところ日本語の実例情報がそれほどなかったため、 とりあえずまとめておこう、ということでまとめてみました。 1. NACLとは？ 下記のページにもありますが、 「サブネットのインバウンドトラフィックとアウ…

こんにちは。前回論文の前半部、Stormの問題点を読みましたが、 今回は中盤部、Twitter Heronのアーキテクチャについてです。 あと、後半部のStormとHeronの性能比較については下記のページでまとめているのの 事例が増えただけでしたので、とりあえず省略す…

こんにちは。最近、Dockerでマルチコンテナのクラスタを組もう、ということをやっています。 で、そこで課題になってくるのがIPアドレスが一定しない、ということですよね。ですので、そのためにConsul等のサービスディスカバリの仕組みを使う形になります。…

こんにちは。前回あーいう形でサマリ記事を読んだので、次は実際に論文を読んでみるしかないだろう・・ ということで、Twitter Heronの論文を読んでみました。 今回は前半の、Stormの問題点を記述した個所と、設計検討結果についてです。Twitter Heronただ、…

こんにちは。前回TwitterBlogのHeronの記事を読み込んでみたので、 次は論文を読むか、とはりきってみた所、有料だったので撃沈した今日この頃です。 この後開発が進んでいくことを考えると今買って読んでしまうか悩みますね・・と思っていた所、下記のPaper…

こんにちは。今月頭、TwitterがHeronという新しいリアルタイム解析基盤について発表していました。 読んでみると、StormとAPIの互換性を保ったまま新しいHeronというリアルタイム解析基盤を開発したそうな。Flying faster with Twitter Heron | Twitter Blog…

こんにちは。では、引き続きStormのコマンドが遅い理由について確認してみます。 1.Topology起動と、他のコマンドの違いは何なのか？ 前回は、単にJVMの起動が遅いのではないか、レベルでとどまってしまいましたが、それではわからない点が１つあります。 「…

こんにちは。とりあえず気になることができたので、しばらくStormネタです。 1.Stormを使っていて気になる所 皆さんはStormを実際に使ってみたことがあるでしょうか？私は使って最初のうちは気にならなかったのですが、最近気になってきたことがあります。 …

こんにちは。 少し間が空いてしまったのですが、 Stormが0.9.4にバージョンアップしたので、バージョンアップ内容をざっとまとめてみます。 STORM-559: ZkHosts in README should use 2181 as port. storm-kafkaにおいて、READMEにあるZooKeeperの接続設定例…

こんにちは。Embulkが前回の投稿から今回の投稿までの間にJava用のプラグインもサポートしていますね。 これでようやくプラグインを書けるようになった・・・のですが、 とりあえずプラグインを書くのは裏で行っておくとして、ここではソースコードリーディ…

こんにちは。前回で初期化部分の確認が終わったため、今回は本処理の方に入ってきます。尚、ServiceLoaderでJava製プラグインがロード出来るかについてはとりあえず一通り読んでからの方針で＾＾； まず、基本構造としては 上記の図にあるRunnerが起動の起点…

こんにちは。前回は起動時のさわりだけでしたので、今回からまともに中身を読む形になりますね＾＾； 1.クラス概要構成 JRubyによる起動処理部分が終わり、 Javaに戻ったのでまずはJavaクラスの概要構成から確認してみます。 概要の構成はこれだけです。 Emb…

こんにちは。ようやくKinesisSpoutが一段楽したので次のネタを。先日「データ転送ミドルウェア勉強会」が開催され、 そこでバルクデータロードツール『Embulk』が公開されました。データのバルクロードというと、定番のOSSというのがなくて、 HDFSにバルクデ…

こんにちは。前回初期化処理周りの確認が終わったので、今回はメッセージの取得→送信や、 Ack/Fail機構周りを見ていきます。 尚、実際に見てみるとわかりますが、かなり煩雑な記述です（汗ですので、とりあえず概要を知りたい方は 下記のポイントを理解でき…

こんにちは。とりあえず前回で大体の構造がわかったので、 今後はStormで基本となる下記の処理単位ごとに実際に行われる処理を見てみます。 今回は初期化／有効化／停止周りまで。 コンストラクタ Stormではコンストラクタと、Topologyを生成するクラスの中…

こんにちは、前回に引き続き、 kinesis-storm-spoutのソースコードを読んでいきます。kinesis-storm-spoutのコードを確認した所、 コンポーネント構成は大体下記のようになっていました。 ＃単なるエンティティ等は省いています。 尚、下記のクラスについて…

こんにちは。今更感はありますが、Amazon Kinesisが最近個人的に熱くなり、改めて使い方を見ています。 aws lambdaでKinesisのイベントを取得することも出来ますし、色々組み合わせて使えそうなんですよね。ただ、当然Kinesisは単体では使用できないため、 …

こんにちは。最近Dockerをはじめとしたコンテナを用いたアプリケーションの運用が広まっている・・・ ということで、Stormクラスタをコンテナのオーケストレーションツールで 構築できないか、と考えています。出来るようになれば、よりStormがお手軽に使え…

こんにちは。前回でCludera Managerが動作するようになったため、 Impalaを実際動く所までインストールしてみます。 1.OS設定実施 前回のvm.swappinessのエラーが出ていたため、それだけは解消してしまいます。各サーバで下記のコマンドを実行することで解消…

こんにちは。前回インストールに失敗してしまったので、その解決編です。 ＃CDH User JapanのMLでも色々サポートいただき、解決することができました。 ＃ありがとうございます。 1. インストール失敗した原因は？ 結果から言うと、yumの結果が日本語表記に…

こんにちは。この間Tokyo Impala Meetup 2014.10に参加してきて、実際に動きを把握したくなってきましたので、 まずは手始めとしてCludera Managerを導入してみて、環境を構築していってみます。ただ、当然ながら自宅環境ですのでWimpyな環境ではあるのです…

こんにちは。前回でPersistenceまで行ったので、今回はより大きなサンプルであるakka-distributed-workersを読み、 動作の確認を行ってみました。ソースコードは下記の場所から取得することができます。 typesafehub/activator-akka-distributed-workers中身…

こんにちは。はじめはTypedActorをやろうとも思ったのですが、 Akka-Meetupでもあったように、TypedActorは使いにくいので通常あまり使われないようです。 ＃実際、クラス階層も変わるためいまいち使いにくい、というのはありました。並行処理初心者のための…

こんにちは。前回、RemoteでRoutingを行おうとして上手くいかなかったため、 それをどうやって実現するのかを試してみます。あと、Routingを行うなら異なるプロセス間を跨がないといまいち面白くないため、 名前的には微妙ですが、下記の構成にして実際にRou…

こんにちは。前回に続き、今回はAkka-Remoteを使用してリモートからActorを作成する方法を確認します。 1. プログラム上でアドレスを定義してデプロイ まずは、プログラム上でアドレスを定義してServer側にActorを生成することを試してみます。クライアント…

こんにちは。今回はAkka-Remoteを用いて別プロセス同士でメッセージングを行う方法を確認してみます。参考： Remoting — Akka Documentation役割をわかりやすくするために下記のような構成で名前をつけて作ってみます。 1. 下準備 尚、定義は下記の構成にな…

こんにちは。今回は生成したActorに対してメッセージを送信するのではなく、 元々存在しているActorを取得してきてメッセージを送信することを試してみます。これができるようになれば、元々存在しているActorSystemにアクセスし、 Actorに対してメッセージ…

こんにちは。以前の投稿でActorから応答を受信するための方法について確認しましたが、 １つの応答ごとにFutureを用いる必要があり、正直な話かなり使いにくいものでした。そのため、もっと簡単に応答を受信できるものが無いかな・・ と確認してみたところ、…

こんにちは。前回に設定ファイルの設定方法について確認したので、 今回は実際に設定ファイルからActorの定義を読み込めるか試してみます。参考： Configuration − Akka Documentation Routing − Akka Documentation 1. 設定ファイルからActor(Router）の定…