本当にただのメモ

なるべく Qiita に投稿しよう

EMR, Redshift

Amazon Redshiftの利点

EMR

HadoopクラスタとHiveを簡単に使うためのサービス。自由な台数のクラスタを自由なタイミングで起動したり破棄したりできる。

Redshift

利用者から見た基本的な用途・できることはEMRとほとんど同じ。ただ、仕組みが全く違う。

RedshiftはRDBのような(Postgresベースらしい)テーブル設計を持つ。

RDBのようなややこしいテーブル設計が必要な代わりに、クエリの実行速度はHiveよりも断然早い。(最大で10倍、通常は2~3倍くらい?)

いわゆる普通のSQLが使えるので、fromの後にテーブル名を2つ書いたりできて便利。HiveQLだとそういう省略記法が書けないのでJOINを丁寧に書いていく必要がある。