本当にただのメモ

なるべく Qiita に投稿しよう

Kinesis

https://aws.amazon.com/jp/kinesis/

フルマネージド型リアルタイム大規模ストリーミング処理。

... つまりどういうことだってばよ ... ?

Amazon Kinesis は、リアルタイムのストリーミングデータを容易に収集、処理、分析できるため、タイムリーな洞察を得て、新しい情報に迅速に対応することができます。

Amazon Kinesis はストリーミングデータをコスト効率を考慮してあらゆる規模で処理する主要機能と、アプリケーションの要件に最適なツールを選択できる融通性を備えています。

Amazon Kinesis をお使いになると、機械学習、分析、その他のアプリケーションに用いる動画、音声、アプリケーションログ、ウェブサイトのクリックストリーム、IoT テレメトリーデータをリアルタイムで取り込めます。

Amazon Kinesis はデータを受信するとすぐに処理および分析するため、すべてのデータを収集するのを待たずに処理を開始して直ちに応答することが可能です。 https://aws.amazon.com/jp/kinesis/

何かリアルタイムでビッグデータを処理するってことは分かったけど、ストリーミングデータってのがいまいちピンとこない。

 

【AWS】Kinesisまとめ

一言で言うと、沢山の場所から送られてくる大量のデータを受け付ける窓口。

この膨大なデータの受付窓口を作ろうと思うと、大規模なインフラ環境が必要になります。数十台とか。機器コスト、さらに運用コストが半端ない。

でも、このKinesisを使うと、とても簡単にとてもリーズナブルな値段で利用できるという話です。

何十万ものソースから、1時間あたり何テラバイトにもなる膨大なデータを貯められます。

 

ただし、一時的なデータ置き場として24時間後にはKinesis上からデータが消えます。 なので、データを受けた後は、整形等のETL ( Extract、Transform、Load ) 処理に加え、S3・Redsift・dynamoDBにデータを永続化する必要があります。

コストがかなり安いらしい。