aws
SRE チームの市川恭佑です。 今回はコンテナに関連するDevOpsツールを作った話です。ecresolve と書いて「イーシーリゾルブ」と読みます*1。 github.com ecresolve は、ざっくり言うとコンテナイメージのタグが上書きされる前提で、複数タグを指定すると一番…
AWSアカウントを取り違えたことはないでしょうか？場合によっては重大な事故にも繋がりかねない取り違えを防ぐために実践している、「気をつける」以外の対策について紹介します。
AWS Systems Manager Parameter Storeを便利に使うツール "ssmwrap" がメジャーバージョンアップしv2になりました。 本記事ではv2にバージョンが上がることになった経緯や、v1からの移行方法などについて紹介しています。
SREチームの藤原です。 今回は Amazon CloudFront Functions をテストするためのOSSとして、cfft というものを書いたので紹介します。 github.com 3行でまとめ CloudFront Functionsのテストは手元ではできなくて面倒です CloudFront Functionsをテストする …
QuickSight向けデータマートを構築するときに、カーディナリィが1:Nの関係にあるテーブルをJOINしたときに、親側のテーブルのカラムの集計値が正しく算出できないというありがちな問題に関するTips
「Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた！」というタイトルでカヤックの池田がおはなしをさせていただきます。
Amazon RDSを7日間以上停止し続けるための仕組みを紹介します。使用していない期間はRDSインスタンスを停止することで、無駄な課金を削減します。
カヤックSREの今です。SRE連載8月のエントリーになります。 今回は自動で日時の集計クエリをAmazon CloudWatch Logs Insightsで実行し、結果をAmazon S3に保存する例をご紹介します。
開発用のサーバー環境の不足に悩まされたことはありませんか？ サッと専用のサーバー環境をセットアップできるツール "mrage-ecs" の初回と、まちのコイン開発チームでの活用例を紹介します。
AWS Fargateのタスクが時々再起動する必要があることと、自動化による管理の簡素化について解説。定期的にタスクを入れ換えることで、管理上の問題を解決することができます。具体的には、Step FunctionsのAWS SDK統合を使用してシンプルなstate machineを実…
SREチーム所属の@mashiikeです。皆様 Amazon RedshiftとAmazon QuickSightを使ってますでしょうか？今回は２つのサービスの間に存在しているちょっとした隙間に関しての記事になります。
誰かが設定した秘密情報の出どころがわからなくて苦労したことがある人からのお願いです。
カヤックが運用するサービス「まちのコイン」のアプリケーション基盤を、開発運用コスト削減のためにAmazon EKSからAmazon ECSに移行した事例を紹介します。
今回は、AWSのコンテナレジストリであるAmazon ECRから、不要になったコンテナイメージを安全に削除するツールをOSSとして作った話です。
Webアプリケーションのステージング環境では、検証の精度を高めるために、量・質ともに本番環境に類似したデータベースが求められる局面が頻出します。本記事では、カヤックにおける、この課題への取り組みについて紹介いたします。
SREチームの長田です。 3月24日(木)に行われるウェビナー「AWS で実践！Analytics Modernization ～事例祭り編～」に、 カヤックのSREチームメンバーである池田が登壇します。 pages.awscloud.com 「Amazon Redshiftを1年運用して感じた教訓とその対策方針」…
こちらはAWS Analytics Advent Calendar 2021の1日目のエントリーです。 こんにちは！今年からアナリティクスエンジニア（自称）を名乗ろうと思っている@mashiikeです。 Amazon Web Serviceには様々な分析向けのサービスがありますが、個人的に愛してやまな…
こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果を…
SREチームの長田です。 CloudFrontでstaticなファイルを配信しようとした時に少々ハマったのでそのメモです。 TL;DR CloudFront distributionのS3 Originは、Managed Policyの Managed-AllViewer を使うと機能しない。 何をしたのか statcなファイルを配信す…
こんにちは。技術部の自称データエンジニアの池田です。 最近、Amazon Managed Workflows for Apache Airflow (MWAA) を使い倒すことに注力しています。 この記事では、MWAAの環境に任意のツール（バイナリファイル）を送り、BashOperatorで実行する方法につ…
こんにちは。技術部の池田です。 この記事では、Amazon Managed Workflows for Apache Airflow (MWAA) のAirflow v2系への移行を行いましたので、その時の話をしたいとお思います。 内容としては、主に以下となります。 MWAA では v1.10.12の環境を直接 v2.0…
こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信…
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift …
こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察…
SREチームの長田です。 Advent Calendar Migration Track 22日目の記事です。 今回は弊社で運用しているLobiというサービスの、Webブラウザ版(Web版)をECSに移行したはなしです。 web.lobi.co なぜ移行したのか おなじみ、Amazon Linux1 EoL対応です。 すべ…
SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 19日目の記事です。いよいよ年も押し詰まってきましたね…! AWS Lambda、使ってますか？最近はサーバーレスという文脈で取り上げられることも多い Lambda ですが、カヤックではそこまでサー…
SREチームの長田です。 Tech Kayac Advent Calendar Migration Trackの15日目です。 S3バケットのバックアップ Lobiでは投稿された画像ファイルをS3に保存しています。 S3に保存しているだけでは、S3から誤って削除した場合に復元することができません。 主…
SRE チームの藤原です。Tech Kayac Advent Calendar Migration Track 13日目の記事です。 AWS を使っていれば、ほぼ100%なんらかの形で S3 と関わっているでしょう。仮に自分で明示的に S3 にアクセスしなくても、EC2 などのスナップショットは実際には S3 …
この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは！技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先…
こんにちは、ソーシャルゲーム事業部ゲーム技研チームの谷脇です。今日は一石n鳥の話、もしくは桶屋が儲かる話をします。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの2日目の記事です。1日目はMongoDBであるメリットが無くなってしまった…
