Playground  Resume

Presto Meetup 3rd in Tokyo

6/15に行われたPresto Meetup 第3回に潜入捜査してきました。実際に運用されている方々の話はやっぱり勉強になるなあとしみじみ。

Presto Update by @Lewuathe
0.152から0.178へのアップグレード時の変更点などの説明。
EXPLAIN (type VALIDATE)は他のDWH製品から移行を検討する時に使えそう。Lambda式は使い所があまり分かっていなかったけれど、複数カラムに対しては便利ということに納得しました。

Presto at Treasure Data by @taroleo
単に時間がかかるクエリが問題なのではなく、普段より遅いクエリが問題という問題設定方法がおぉーと思いました。PrestoのログをPrestoで分析してるのは再帰的な感じがして面白いですね。

Prestoベースのマネージドクエリサービス Amazon Athena by 志村 誠さん
AWSユーザーが多かったのか、質問タイムが大盛況。Athenaについてはあまり調べてなかったのですが、これを機に今後はちょくちょくチェックしていきたいと思います。

Presto - 僕とヤフーと時々Teradata(仮) by @uokada
既存のシステムをPrestoに置き換えて97%高速化したお話。この夏、EmbulkのORCアウトプットが作成されるということで楽しみにしています。

DMMでのprestoおよび周辺エコシステムの運用事例 by @r_megane
主に日中に使われるアドホック用と夜間に使われるバッチ用にクラスタを分けていて、夜間帯はアドホック用のWorkerをバッチ用クラスタに追加するという使い方。ここらへん、わざわざクラスタを分けずに、ユーザーの設定や他DWHのスロットルみたいな感じでできたら便利そうな気がしますね。