2013-09-01から1ヶ月間の記事一覧
こんにちは。Apache Spark Streamingに関する論文 「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf） について、概念と動作概要が書かれた１章〜５…
以下論文を読んでみようの続きで、今回は第５章です。「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf）内容としては、「Fault and Straggler Recov…
こんにちは。以下論文を読んでみようの続きで、今回は第４章です。「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf）内容としては、「System Archit…
こんにちは。以下論文を読んでみようの続きで、今回は第３章です。「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf）内容としては、「Discretized S…
こんにちは。以下論文を読んでみようの続きで、今回は第２章です。「Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing」 （http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-259.pdf）内容としては、「 Goals and Ba…
こんにちは。ここ何回かでApache Spark自体の機構は大体わかりました。 そのため、今度はApache Sparkを基にしたストリーム処理基盤であるApache Spark Streamingについても確認してみます。読んだ論文は以下です。 「Discretized Streams: A Fault-Tolerant…
こんにちは。Resilient Distributed Datasetsに関する論文 「Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing」 （http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf） について、概念と動作概…
以下論文を読んでみようの続きで、今回は第５章です。「Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing」 （http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf）内容としては、「Implementati…
こんにちは。以下論文を読んでみようの続きで、今回は第４章です。「Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing」 （http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf）内容としては、「…
こんにちは。以下論文を読んでみようの続きで、今回は第章です。「Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing」 （http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf）内容としては、「Sp…
こんにちは。以下論文を読んでみようの続きで、今回は第２章です。「Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing」 （http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf）内容としては、「…
こんにちは。最近色々手を出し過ぎな気もしますが、気になったものがあったのでちとまとめてみます。 それは、Spring XDです。 http://www.springsource.org/spring-xdぱっとトップページを見てみるとやたらと使えそうに見えたので、 実際にチュートリアルを…
こんにちは。前回、前々回でApache Spark、Spark Streamingの概要がわかりました。ですが、内部で使用している共有分散メモリ機構であるResilient Distributed Datasets(RDDs)が 鍵となる割に概要しか資料からはわからなかったため、論文を読むことでもう一…
こんにちは。Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。とりあえず、そんなわけ…
こんにちは。Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思った…
