こんにちは。Amazon Kinesisについて調べたり実装してみたりしたため、 モデルがよく似たApache Kafkaとの類似点や相違点が気になってきました。というわけで、実際比べてみた結果どうだったのかをまとめてみます。 1.2つのプロダクトの類似点 Amazon Kinesi…

こんにちは。最近ストリームデータ処理サービスであるAmazon Kinesisのドキュメントを読んだり、 クライアントコードのソースを読んだり、実際の小さいアプリケーションを作ったりしたのですが、 その際にわかったことをとりあえずまとめておこうと思います…

こんにちは。今回は年末も近いということで、一度この１年で書いてきたことを振り返って来年につなげようと思います。 1.今年一年どんな内容を書いてきたの？ 今年一年書いてきた内容と、時期をマッピングしてみると下記のようになりました。 ・・・実際に図…

こんにちは。 前回はビルド時にバージョン違いのJarが紛れてしまうことで動作しなかったので、 まずはビルド定義の見直しから行ってみます。 1.sbtのビルド定義を修正 Sparkのビルド定義（SparkBuild.scala）を見てみると、下記のように依存性を除外するルー…

こんにちは。前回でエラーが発生する原因についてはわかったので、run-exampleと同様の方式で 自作アプリケーションを走らせてみます。 1.ビルド方式更新／アプリ修正 run-exampleはassemblyという形で依存Jarも含めた状態でパッケージされ、それを配布して…

こんにちは。既に旬（？）自体は明らかに過ぎているre:Inventネタですが、個人的な勉強にもなるので続けます。 3つ目はBDT303、AWS上でグラフベースの製品リコメンドシステムを構築した事例の話になります。 3.BDT303 Using AWS to Build a Graph-Based Prod…

こんにちは。前回動かず、かつ原因がよくわからないままだったため、調べてみたのですが・・・ 関連があるかもしれないという問題事例が下記のみで、かつ実際には違う事象だったため、解決しませんでした（汗Spark running with mesos fails when submitting…

こんにちは。前回に続き、お勧めスライドを見ていきます。 2つ目はARC305、NetflixがマルチAZにおいていかに高い可用性を確保したかの内容です。 ・・・意外に、日本語情報がぱっと検索して見つからなかったのでどうせなのでサマリしてみます。 2.ARC305 how…

こんにちは。昨日Amazonの中の人によるAWS re:Invent 出張報告会に参加してきました。発表内容やプロダクトアップデートについてはこの後スライドがアップされるそうなので割愛し、 出張報告会で注目すべきと中の方達が説明していたBreakOutSessionについて…