気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
tech.classi.jpエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
1
記事へのコメント1件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
S3上のログデータをBigQueryにニアリアルタイム連携する基盤を作った話 - Classi開発者ブログ
こんにちは、データプラットフォームチームの鳥山(id: to_lz1)とマイン(id: manhnguyen1998)です。 Clas... こんにちは、データプラットフォームチームの鳥山(id: to_lz1)とマイン(id: manhnguyen1998)です。 Classiでは、AWS上にあるサービスが出力したログをBigQueryに連携するプロダクト「Seneka」を開発し*1、社内の開発者・分析者に役立ててもらっています。 ログの連携はこれまでバッチ処理で行っていたのですが、この夏に技術的なチャレンジも兼ねてニアリアルタイムでの連携が出来るように移行しました。そこで、この記事で移行前後の構成と、移行時に気をつけたことについて、紹介できればと思います。 Senekaのそれまでの構成 改善方法を議論する前に、まずは従来の構成について簡単に紹介します。 バッチ処理を軸にしたSenekaの旧構成 アプリケーションまたはロードバランサーからS3にログファイルがアップロードされる Cloud Composerで毎時実行されるDAG
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
tech.classi.jp
tech.classi.jp
tech.classi.jp
tech.classi.jp
anond.hatelabo.jp
store-jp.nintendo.com
shueisha.online
anond.hatelabo.jp
www.itmedia.co.jp
automaton-media.com
www.itmedia.co.jp
www3.nhk.or.jp
zenn.dev/kazutosakagami
speakerdeck.com/yuichiro_serita
mainichi.jp
www.itmedia.co.jp
yoshi389111.github.io
umaimono-daisuki.com
