夢とガラクタの集積場

落ちこぼれ三流エンジニアである管理人の夢想=『夢』と、潰えた夢=『ガラクタ』の集積場です。

AWS

AWS NACLの設定をCLIから行ってみた

AWS

AWSのNACLを試してみたのですが、 ネット上を調べたところ日本語の実例情報がそれほどなかったため、 とりあえずまとめておこう、ということでまとめてみました。 1. NACLとは? 下記のページにもありますが、 「サブネットのインバウンドトラフィックとアウ…

kinesis-storm-spoutのソースコードを読んでみる(その4

こんにちは。前回初期化処理周りの確認が終わったので、今回はメッセージの取得→送信や、 Ack/Fail機構周りを見ていきます。 尚、実際に見てみるとわかりますが、かなり煩雑な記述です(汗ですので、とりあえず概要を知りたい方は 下記のポイントを理解でき…

kinesis-storm-spoutのソースコードを読んでみる(その3

こんにちは。とりあえず前回で大体の構造がわかったので、 今後はStormで基本となる下記の処理単位ごとに実際に行われる処理を見てみます。 今回は初期化/有効化/停止周りまで。 コンストラクタ Stormではコンストラクタと、Topologyを生成するクラスの中…

kinesis-storm-spoutのソースコードを読んでみる(その2

こんにちは、前回に引き続き、 kinesis-storm-spoutのソースコードを読んでいきます。kinesis-storm-spoutのコードを確認した所、 コンポーネント構成は大体下記のようになっていました。 #単なるエンティティ等は省いています。 尚、下記のクラスについて…

kinesis-storm-spoutのソースコードを読んでみる(その1

こんにちは。今更感はありますが、Amazon Kinesisが最近個人的に熱くなり、改めて使い方を見ています。 aws lambdaでKinesisのイベントを取得することも出来ますし、色々組み合わせて使えそうなんですよね。ただ、当然Kinesisは単体では使用できないため、 …

Amazon KinesisとApache Kafkaの類似点/相違点まとめ

こんにちは。Amazon Kinesisについて調べたり実装してみたりしたため、 モデルがよく似たApache Kafkaとの類似点や相違点が気になってきました。というわけで、実際比べてみた結果どうだったのかをまとめてみます。 1.2つのプロダクトの類似点 Amazon Kinesi…

ストリームデータ処理サービスAmazon Kinesisについて調べた結果

aws

こんにちは。最近ストリームデータ処理サービスであるAmazon Kinesisのドキュメントを読んだり、 クライアントコードのソースを読んだり、実際の小さいアプリケーションを作ったりしたのですが、 その際にわかったことをとりあえずまとめておこうと思います…

Amazonの中の人によるAWS re:Invent 出張報告会での注目スライドサマリ(Gremlin)

aws

こんにちは。既に旬(?)自体は明らかに過ぎているre:Inventネタですが、個人的な勉強にもなるので続けます。 3つ目はBDT303、AWS上でグラフベースの製品リコメンドシステムを構築した事例の話になります。 3.BDT303 Using AWS to Build a Graph-Based Prod…

Amazonの中の人によるAWS re:Invent 出張報告会での注目スライドサマリ(Netflix)

aws

こんにちは。前回に続き、お勧めスライドを見ていきます。 2つ目はARC305、NetflixがマルチAZにおいていかに高い可用性を確保したかの内容です。 ・・・意外に、日本語情報がぱっと検索して見つからなかったのでどうせなのでサマリしてみます。 2.ARC305 how…

Amazonの中の人によるAWS re:Invent 出張報告会での注目スライドサマリ(EBS)

aws

こんにちは。昨日Amazonの中の人によるAWS re:Invent 出張報告会に参加してきました。発表内容やプロダクトアップデートについてはこの後スライドがアップされるそうなので割愛し、 出張報告会で注目すべきと中の方達が説明していたBreakOutSessionについて…