AWS FireLens

まえがき 名寄せログ収集プロジェクトのゴール 名寄せログ配信アーキテクチャ Before After A. Fluentd 上の名寄せログ gzip 圧縮 概要 発生した問題 ログが伸張できなくなる原因 結論 余談 ECS Exec を使ったデバッグ B. TCP ソケットを利用した Fluentd への名寄せログ送信 概要 発生した問題 環境 再現手順とサンプル 調査結果 結論 C. TCP ソケットで Fluentd に送信する名寄せログサイズの 300KB 制限 概要 発生した問題 再現手順とサンプル 調査結果 結論 余談 あとがき まえがき こんにちは。技術本部 Sansan Engi…

はじめに FireLens の構成 awsfirelens ログドライバー FluentBit・Fluentd の config 生成機能 ログ損失の回避策の課題 init を利用した INPUT の設定のカスタマイズによる解決策 おわりに カスタム init のソースコード はじめに AWS FireLens は、Amazon ECS で動作するコンテナが出力するログを、FluentBit または Fluentd を使って柔軟にルーティングするための仕組みです。特に、タスク定義のみでログルーティングの設定が可能なため、構成管理をシンプルにできる点が特徴となっています。 しかし、大量のログを欠…

よーわからん。複数出すのが最終目標だけどそもそも単品すら出ないからまとめ 説明はしょるところ 必要なもの STEP１：タスクの実行環境を作る STEP２：アプリケーション、ログのコンテナイメージを作る STEP３：タスク定義を作る STEP４：タスクを実行する STEP５： ログを確認する 途中困って解決したやつ 説明はしょるところ 大方端折るけど、大体以下は知っている前提 AWS VPC関連 ECSの用語（タスクとかタスク定義とかサービスとか） Dockerのコマンド CloudFormation シェルのコマンド 必要なもの ゼロから作るの面倒。大きく5STEPぐらいで。 STEP1：タス…

はじめに AWS Firgate タスクのログについて、どのように管理して行くか検討したい点はいくつかあります。 保存先をどこにするか CloudWatch Logs, S3, 外部... どの程度の期間保存するか アラート通知をどうするか 概ね、以下のような形にはしたいですが、料金や要件等によって変わってくるところもあるかなと思います。 S3: 出力される全てのログを保存し、長期間保存する (場合によっては Glacier へ保存する) 外部監視ツール CloudWatch Logs: アラームを出したいログ、Insightで見たい内容、または直近1ヶ月分等の短い期間のログ全量または一部