エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
EMRってなんじゃ?(ImpalaでCloudfrontの爆速ログ集計) | iret.media
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
EMRってなんじゃ?(ImpalaでCloudfrontの爆速ログ集計) | iret.media
EMRがImpalaをサポートするようになりました。ImpalaはClouderaが提供するオープンソースのクエリエンジ... EMRがImpalaをサポートするようになりました。ImpalaはClouderaが提供するオープンソースのクエリエンジンで、Hiveより断然速いそうです。 例として、Cloudfrontのログを、タイムスタンプをJSTに直して1時間ごとのアクセス数の集計をしてみます。 ログバケットの確認 まずCloudFrontのログが以下のS3にたまっているとします。 s3://memorycraft-impala-input/cf/logs EMRクラスタの起動 次に、EMRクラスタを起動します。 EMRのダッシュボードで「Create Cluster」をクリックし、新規クラスタ作成画面を表示します。 Cluster Configuration Cluster nameに適当なクラスタ名を入力します。また、今回はEMRのログは出力しないのでLoggingのチェックはOFFなんかにしておきます。起動し