はてなブックマーク

AWS Database Migration Service (以下、DMS) で Change Data Capture(CDC) を試してみました。 目的 構成 DMS のしくみ DMS の概要図 MigrationType 環境構築のポイント RDS パラメータグループ RDS への接続情報は SecretsManager に入れると便利 Replication Instance 用の Subnet Group を作成するときに特定の Role が必要 S3 への出力設定 捕捉対象とするスキーマとテーブルの指定 検証 EC2 から mysqlslap を実行 S3 出力結果 目的 目的は、Private Subnet にある RDS の変更レコードを、Google BigQuery へ転送することです。 CDC を行う OSS には Debezium がありますが、運用でなるべく楽を

この記事は、datatech-jp Advent Calendar 2021 の6日目の記事です。 こんにちは、GMOペパボ株式会社でデータエンジニアをしています、@tosh2230 と申します。 5日目は よしむらさんのデータマネジメント成熟度アセスメント、データ利活用機運アセスメントを行った話 でした。アセスメントの実施例は貴重ですね。参考にしつつ所属企業ではどう進めていけばよいのか、自分なりに考えていこうと思いました。 はじめに Stairlight をかいつまんで説明 ライブラリとしても使えます デモ用のアプリケーションをつくりました 初期表示 ノードを選んでみる ファイル名を表示 デモアプリケーションの構成 おわりに はじめに この記事では、先月に実装したデータリネージツール Stairlight を使って、データパイプラインで作成されるテーブル群(に見立てたテストデータ)の依存

Stairlight*1 という、テーブルレベルのデータリネージができるツールをつくりましたので、その特徴や使い方について書きます。 github.com 背景 ETL(Extract, Transform, Load) と呼ばれる一連のデータ加工プロセスにおいて、バッチ処理での Transform は、ある程度まとまったデータのかたまりが、その形を変えることを指します。その変換処理は SQLで操作されるのが一般的で、データ移動の単位はテーブルです。そのSQLは、CREATE TABLE AS SELECT... や CREATE VIEW AS SELECT... など形は様々ですが、 突き詰めると SELECT 文です。データパイプラインにはたくさんの SELECT 文が登場しますが、加工や参照が行われる場所・タイミングは様々で、データがいつ生成されて、いつどこで参照されているのか、全

業務都合で GCP を使う機会が増えたけど、サービスアカウントってなんかわかりにくいなぁってずっと思ってた。でもそれは AWS の考え方を引きずっていたからだと気づいたので、両者の権限付与について違いをまとめる。ざっくりしたまとめなので、詳細な仕様は公式を参照。 権限そのものの考え方は大体同じ Policy: 権限そのもの。基本的にサービスごとのAPIに対する権限と考える。細かいことを書き出すときりがないので割愛。 Role: 権限をグループ化したもの。細か(略 PolicyやRoleの付与対象 違いは一番下。人以外に対する権限付与のアプローチが違う。 AWS IAM User IAM Group Resource GCP Google Account Google Group Service Account 違いは「何を抽象化したか」 AWS リソース(=プログラム)を人に見立てて権限を

タイトルのとおり、Cloud Run で Streamlit を動かしてみました。また、特定の人のみがアクセスできるように、Identity-Aware Proxy(IAP) での保護を試しましたので、その設定やコードを紹介します。 Cloud Run で動かすのはすぐにできたのですが、複数の Streamlit コードを認証付きでいい感じにホストする手段を探すのにかなり苦戦しました... Streamlit 構成図 ソースコード リクエストから Streamlit が起動するまで よいところ 設定のポイント ユーザ認証方法 Cloud Run の Ingress 設定 IAP で必要な権限 パスルール設定 リクエストURL に Streamlit の起動URLを合わせる サーバーレス NEG と Cloud Run の設置リージョン 参考にしたページ Streamlit Streamli

BigQuery にストリーミングインサートしたい気持ちが高まってきて Cloud Dataflow と Apache Beam に入門しました。Cloud Pub/Sub -> Cloud Dataflow -> BigQuery のルートで取り込むにあたり、事前知識を得ることが目的です。 Apache Beam 特徴 Tour of Beam Transform Map FlatMap Filter Partition ParDo setup() start_bundle() process() finish_bundle() teardown() Custom Transform Windowing Fixed windows Sliding windows Session windows Beam パイプラインの設計 Cloud Dataflow 特徴 Pub/Sub to Big

AWS Step Functions から AWS Batch を呼び出す構成を AWS SAM で定義しました。 AWS Batch のジョブは、Fargate で動くようにしています。 すんなり定義できなかったところがいくつかありましたので、ひっかかったところをまとめました。 つくったテンプレートファイルは、こちらへアップロードしています。 github.com AWS Batch の実行環境として Fargate を指定する ジョブ実行環境として EC2 を指定している Cloud Formation テンプレートはたくさん見つかるのですが、Fargate を指定しているサンプルは見つかりませんでした。そのため、こちらのページを参照しながら Fargate 版をつくります。 AWS Batch on AWS Fargate - AWS Batch Cloud Formation の