- 2024/10/30
- https://finatext.connpass.com/event/333016/
Snowflake x dbtで作るセキュアでアジャイルなデータ基
- 株式会社ナウキャスト 大城 翼さん
- https://speakerdeck.com/tsoshiro/snowflake-x-dbtdezuo-rusekiyuadeaziyairunadetaji-pan
ナウキャストのデータ共通基盤
- Snowflakeとdtbでプライベートネットワーク内で完結させている
- データパイプラインの事例
- データホルダーは個人情報はセキュアな環境でのみ扱ってほしい
- セキュアな環境を担保しながら開発効率は落としたくない
- 個人情報出ないデータは社内で幅広く使いたい
- Snowflakeのセキュアな環境と通常の環境でアカウントを分ける
- セキュア側へのアクセスはPrivateLinkで絞る
- 個人情報出ないデータはセキュアから通常へはSecureDataSharingで連携
- データの実体は1つだけで参照ができるようになるのでコピーが不要
- データを共有するチームと共有されるチームで責任がきれいに分かれる
- セキュアでありながらスピードを落とさないように動ける
- 一部のCIがGitHubActionsでSnowflakeにアクセスできないから動かせない
- EC2上で動かしてる
最速最小からはじめるデータプロダクト
- キャディ株式会社 鈴木 天音さん
- https://speakerdeck.com/amaotone/data-product-mvp
データプロダクト
- データがあるとデータが使えるは違う
- 手軽に取り出せるか
- データがきれいに整っているか
- データが使えるようになってもプロダクト化するにはさらにハードルがある
- データが使えるとデータが使われるの違い
- ユーザが扱いやすいアウトプットか
- 本来取りに行くべきデータにたどり着けるか
- 最速最小から始めるといい
- MVPを定めてそこから進める
- 通常のプロダクトと同じようにアジャイルに小さくサイクルを回す
- とはいえ眼の前の今あるデータから始めるとなってしまっていいのか
- プロダクトのユーザのニーズから
- 分析できれば課題を解決できるのか
- 新しいデータを集める必要があるのか
- プロトタイピング
- まずは紙に書いたりFigmaで書いたりするところから
- プロトタイプでユーザテストしたり
- エクセルに手動でデータ入れたものを用意
- データ基盤と切り離せる
- ユーザが加工したことを確認できる
- BIツールを使う
- レポート機能が便利
- まずは紙に書いたりFigmaで書いたりするところから
小規模に始めるデータメッシュとデータガバナンスの実践
- 株式会社ダイニー Junya Kimuraさん
- https://speakerdeck.com/kimujun/xiao-gui-mo-nishi-merudetametusiyutodetagabanansunoshi-jian
