AWS カテゴリーの記事一覧 - 自由帳

自由帳

主に Web サービスのシステム基盤や運用に関する覚書です

AWS

Apache Icebergの概要を浅く掴みながらAmazon S3 Tablesを触ってみたメモ

はじめに 2024 AWS re:Invent で Amazon S3 Tables という新しいストレージサービスが発表されて話題になっていました。 データレイクに関連するサービスのようですが、あまりよくわかってないので、概要を理解するためにざっと調べながら触ってみました。

AWS CDK in TypeScript で VPC を作る

はじめに https://dshimizu.hatenablog.com/entry/2024/01/21/000000 で AWS CDK を触ってみました。 しばらく時間が空いてしまったので、復習もかねつつ、今回は AWS CDK in TypeScript で VPC の作成をやってみました。

久しぶりに Amazon VPC でネットワーク環境を 1 から作ってみたメモ

はじめに 直近で Amazon VPC の作成から何度かやったのですが、久しぶりに1からやってみた時の覚書です。

AWS CDK について調べながら AWS CDK in TypeScript のサンプルアプリケーションを動かしてみた時の備忘録

はじめに AWS CDK に触れたいと思っていたのと、TypeScript を学びたいと思っていたので、AWS CDK について調べながら AWS CDK in TypeScript でサンプルアプリケーションの内容等を見てみました。

Aurora MySQL のバイナリログ利用に関して調べたことのメモ

はじめに Aurora MySQL の BG デプロイを試そうとしたところ、バイナリログの有効化が必要でした。しかし、Aurora MySQL ではデフォルトでバイナリログがオフになっています。 では有効化すれば良いのではと思いましたが、パフォーマンスに影響が出る可能性…

EC2 Spot Instance, Fargate Spot が停止したりECSタスクが異常終了した時に Slack に通知する仕組みを CloudFormation で作ってみた

はじめに ECS on EC2 の Spot Instance や Fargate Spot を結構使っているのですが、停止した時に気づくための仕組みが Lambda だと管理が面倒です。 AWS Chatbot が EventBridge をサポートしているので、EventBridge でイベントを拾って SNS を経由して Sl…

Application Load Balancer の前段に CloudFront を置いておいた方が良いのかどうなのか

はじめに Application Load Balancer の前段に CloudFront があると何が良いのかと稀によく聞かれるので、簡単に整理してみました。

AWS Health のイベントを Slack へ通知する

はじめに AWS Health の Dashboard に表示されるイベントをマネジメントコンソールから確認するのは手間なので、 Slack へ通知できるようにしたいと思い、やり方を調べていました。 EventBridge + SNS + Chatbotを使って自前で作成するやり方があるのは知っ…

Serverless Framework で定義していた、複数ある Amazon EventBridge のルールの一部のみの削除に失敗する時のワークアラウンド

はじめに Serverless Framework の serverless.yml で定義していた複数の EventBridge のルールで、一部のルールを削除してデプロイしたところ、エラーが発生してデプロイに失敗しました。 そのことに関して調べたことのメモです。

AWS SDK for Go v2 で Assume Role を実行するサンプル

はじめに AWS SDK for Go v2 で Assume Role を実行しようと思ってのサンプルコードです。

MFA 有効化時に AWS CLI で AssumeRole を実行する設定

はじめに AWS CLI を使う時に、MFA が設定されている IAM ユーザーのクレデンシャル情報を利用して、他のAWSアカウントにある IAM Role を AssumeRole して使う(Switch Roleを実行する)設定について調べてやったことのメモ書きです。

USENIX カンファレンス 2022 の Amazon DynamoDB の論文を読んで今の DynamoDB のアーキテクチャ周りに関する内容のメモ

はじめに USENIX カンファレンスで公開された Amazon DynamoDB に関する論文を読んでみたので主にアーキテクチャ周りの内容のメモ書きです。 https://www.usenix.org/system/files/atc22-elhemali.pdf

Amazon Cognito ユーザープールを新規作成する際、TOTP を使用する MFA を有効化するものは作成できないらしかった

はじめに AWS CLI で TOTP を使用する MFA を有効化する場合の Cognito ユーザープールを作成しようとするとエラーになった。 どうも現時点では、ユーザープール新規作成時に、TOTP を使用する MFA 必須の状態のものは作成できないらしいかった。その際の対…

今更ながら「Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases」 を読んで調べたことのメモ

Auroraのアーキテクチャとその設計上の考慮事項について書かれている論文が 2017 年に公開されている。有名なのでその時読まれた方も多いと思う。私はその時 Aurora を触ってなくて存在を知っていただけだったので今更ながら目を通してみた。 Amazon Aurora:…

AssumeRole で Terraform を実行するための設定メモ

Terraform を実行する際に、踏み台となる AWS アカウントから AssumeRole で別の AWS アカウントに Terraform を実行するために必要な設定メモ。

Organization で複数の AWS アカウント利用時に他のAWS アカウントの IAM ロールに切り替えれるような IAM 設定を Terraform でやるときのサンプル tf ファイル

他の AWS アカウントの IAM ロールを使って操作できるよう IAM 設定を Terraform で行いたい。

個人用 AWS アカウントの CloudTrail を CloudFormation で雑に設定する

CloudFormation で CloudTrail を設定する。

Amplify で作成された Amazon OpenSearch Service に関して調べたことのメモ

Amplify で作成された Amazon OpenSearch Service に関するメモ書き。 特に何がどうということはなく、本当にただ調べたことのメモ。

AWS Budgets を設定して日々の利用料金が一定額を超えたら AWS Chatbot で Slack 通知させる CloudFormation テンプレートのサンプルを作ってみた

AWS Budgets を設定して、料金が一定額を超えたら AWS Chatbot で Slack へ通知させるような設定ができる CloudFormation テンプレートを作った。

macOS へ git-secrets をインストールする

AWS のクレデンシャル情報を誤って git に commit されるのを防ぐために、git-secrets を使う。 github.com

IAM ユーザー・グループ・ロール・ポリシーからどの AWS リソースへアクセスしているのか確認する時のコマンドメモ

元ネタは、結構前に流れてきたこちらのツイート。 1/ Hey all! If you were watching #containersfromthecouch earlier today, I mentioned an aws cli command that you can run to get insight into what #AWS resources were accessed from a particular …

AWS CLI v2 のDockerイメージを使ってみる

AWS CLI v2 のDockerイメージがAWSから公開された。 AWS CLI v2 Docker image | AWS Developer Blog

AWS SAM CLIをDockerで利用してみる

AWS SAM CLIをDockerで使えるようにしてみる。

Amazon Lightsail上のログ(Nginxのアクセスログ)をCloudWatch Logsへ送る設定

Amazon Lightsailで動かしているAmazon Linuxの中にあるログをCloudWatch Logsへ送りたい、と思って調べたらやれたのでメモしておく。

S3ウェブホスティングをAWS CodePipelineを使ってGitHubにpushした時にデプロイする

S3ウェブホスティングのデプロイを手動でやっていたけど、AWS CodePipelineを利用してGitHub上にコードをPushした時にデプロイされるようにした。 公式ドキュメントのチュートリアルをベースにやればだいたい良いけど自分用にメモとして記載しておく。

Github上でLambda関数のコードのPull Reqをマージした時に、CodeBuildを使ってビルド(zipをs3へ配置)する

GithubでマージされたLambda関数を、CodeBuildを使ってビルド...と言うべきかzipをs3へ配置してみる。

AWS CLIを使ってPythonのAWS Lambda関数を更新する

とりあえずaws cliを使ってPythonのAWS Lambda関数を更新するやり方がドキュメントにあったのでメモ。 Python の AWS Lambda デプロイパッケージ - AWS Lambda

Amazon ElastiCache for Redis の構成要素とクラスターモード有効と無効の違いに関するメモ

はじめに ElastiCache(Redis)をクラスターモードの有効と無効があるが、どっちを選んでもElastiCacheとしてはクラスターとなり、Redisの経験も浅い自分としてはよくわからなかったので調べた。

ネストされたCFnテンプレートを作ってみる

CFnのテンプレートを1つにしておくと可読性が悪くなったりなどはよく言われているのでNested Stackを使って分割するサンプルを書いてみた。

AWS CLIでLightsailのVPCピアリングを有効化する

LightsailはAWSアカウント上のVPCとは別のネットワーク環境で起動する。(Lightsail専用のVPC上で起動しているように見える) そのため、何もしてない状態でAWSアカウントの他のリソース(例えばRDS等)に接続しようとすると、インターネットを経由しなければな…