フルサーバーレス×Snowflakeで開発した「超並列クローラー」の全て

オンライン広告の不正を減らすための仕組みであるads.txtに対応した配信を行うため，広告配信プロダクト共通で使用する基盤を開発しました。 Snowflakeの章では，Terraformを使用した基盤やRoleの設計，またPublic Suffix Listを使用しURLからeffective Top Level Domainを抽出するためのクエリを紹介しながら，どのような壁にぶつかり，どのようにしてパフォーマンス改善を行ったのかをお話しします。 インフラの章では，スパイクとの闘いやクローリングの状態監視手法などなど，数百万オーダーの超並列クローリングを実現するためのアーキテクチャ設計をメインに，フルサーバレスでメンテコストを極限まで抑えた"超並列クローラー"の全てをご紹介します。