Codebuild

はじめに とあるWebアプリをCodeBuildにてコンテナイメージを作成し、ECRにpushすることをやったのですが、細かい点でTipsが出てきたので、ここでまとめて書いておきます。 ECRの権限 ECRにpushする際にaws ecr get-login-passwordを使ってパスワードを取得する必要がありますが、CodeBuild作成時に作成されるサービスロールでは権限が足りず以下のエラーメッセージが出力されます。 An error occurred (AccessDeniedException) when calling the GetAuthorizationToken opera…

はじめに 仕事でCodeBuildで実行するテストが遅い場合に通知する処理が欲しいよね、ということがあり、CloudWatchアラームとSNSを組み合わせて実現できそうだったので、構築手順をまとめてみます。 サンプル AWS CLIコマンドで構築しようと思いますが、サンプルではシェルスクリプト内にまとめる形式にします。 構築する内容は CodeBuild全体の処理時間が3分超えた場合にアラートを発報してSNSに通知する です。 #!/bin/sh # SNSトピックの作成 aws sns create-topic \ --profile [任意のプロファイル名] \ --name [任意のSN…

プライベートではGitHub Actions使ったEEの自動ビルドを1年前に試したけど、業務だとCodeCommit環境を使ってたりするので、せっかくなのでAWSのサービスを使ったビルド環境を試してみた。 初めに軽く検索した感じだと、CodeBuildではコンテナで処理がされるという情報を見かけたので、コンテナビルドはどうするのかと思ったけど、普通にCodeBuild内でコンテナビルドも動くようだ。 やりたいことは以下。 EEのソースはCodeCommitのものを使用 Ansible Builderをインストール Red Hat RegistryからEEとRunnerのベースイメージをpull…

ENECHANGE所属のエンジニア id:tetsushi_fukabori こと深堀です。 最近、愛犬のバーニーズマウンテンドッグが当たり前のように飼い主のベッドに乗って寝るようになりました。 飼い主の体の位置など何も気にしないので踏み潰されて起きることもしばしばです。 いつか痛い目を見ると思います（飼い主が）。 今回は2024年2月にオープンされたDocker Build Cloudを触ってみました。 www.docker.com 弊社ではコンテナで稼働するアプリケーションが増えてきており、コンテナイメージのビルドにはCodeBuildを使用しています。 CodeBuildと比較してのメリ…

こんにちは、株式会社FLINTERSの栗原です。この記事は10周年記念として133日間ブログを書き続けるチャレンジの67日目の記事になります。 はじめに 今回の記事では、業務中に遭遇したCPUアーキテクチャに起因するソフトウェアの不具合に焦点を当てます。この事例を通じて、CPUアーキテクチャとコンテナについての理解を深めます。記念ブログとしてはかなり内容が局所的ですが、MacBookを利用している会社では業務用PCがM1/M2に変わってきている頃ですし、どこかで需要が1つでもあれば...と思い執筆しています。 業務中に発生した互換性問題 私が所属するプロジェクトで、M1チップを搭載した環境での…

CS1の石井です。 今回の記事は前回の「ECSでBlueGreen DeployをCDKで試す記事 part1」の記事の後編です。 こちらはパイプラインを用いてB/Gデプロイを行う実装となります。 ※本記事もコードだけ欲しい人は「早速結論」の項目まで飛んでください。 記事を書いた動機 part1に続き、B/Gデプロイの話をCDKで実践したいと思っていました。 ただ、B/GデプロイはCI/CD環境との組み合わせで旨みが出るものと理解しています。そのため、記事としてはこちらが本命です。 また、パイプライン自体はCDKのpipelinesモジュールという要素を用いてパイプラインを構成します。 しかし…

1. はじめに こんにちは、SWEのあかりです。 今回のテーマは、SRE NEXT 2023のCall For Proposals（CFP） に応募したものの、残念ながら不採択になってしまったものです。話せるネタとしてはまとまっていたので、テックブログとしてここに捧げます😇 2. 本記事の概要 社内で最も古くから稼働している施工管理アプリでは、主にデータ修正と有事の際のログイン環境として開発者向けのEC2インスタンス（以降、「バッチサーバ」と表現）が存在していました。この記事では、このバッチサーバの廃止1を目的として、このサーバが担っていた役割をサーバレス環境・コンテナ環境へ移行し、EC2イン…

codebuild: AWS CodeBuildが予約済み容量での非コンテナ化LinuxおよびWindowsビルドをサポート payment-cryptography: ListAliases APIにKeyArnフィルタを追加 shorthand: @=代入演算子を使用してファイルからパラメータを読み込むための簡略構文をサポート controltower: ResetEnabledControl APIを追加 gamelift: Amazon GameLiftがLinuxベースのコンテナ化されたゲームサーバーのホスティングをサポートするコンテナフリートを一般提供 rds: Amazon Au…

lakeformation: 名前付きタグ式（Named Tag Expressions）機能に対応するAPI変更を追加 codebuild: AWS CodeBuildで予約容量フリート向けに追加のコンピュートタイプをサポート qapps: AmazonQAppsでカテゴリーAPIを導入、ライブラリ項目をタグ付けおよびフィルタリング可能に guardduty: GuardDuty RDS ProtectionがAmazon Aurora PostgreSQL Limitless Databasesをサポート s3control: ListStorageLensConfigurationsおよ…

AWS CodeBuildのランタイムバージョンを確認するときの備忘録を残す。 サポートしているバージョンはもちろん、ドキュメントにある。 ただ稀に、サポートバージョンよりも最新を利用したいことがある。 そして、ごくごく稀にドキュメントにはないが、dockerのリポジトリをみるとサポートしている場合があるので、忘れないようにしておく。 Linuxイメージの指定 Amazon Linux 2023 x86_64 standard:5.0 のイメージを利用した場合 e.g.) CloudFormationのテンプレート Resources: APICodeBuild: Type: AWS::Cod…

これは、なにをしたくて書いたもの？ ちょっとAWS Step Functionsを調べてみようと思いまして。 ローカルで動かせる仕組みもあるみたいなので、こちらで試してみたいと思います。 AWS Step Functions AWS Step Functionsのドキュメントはこちら。 Step Functions とは - AWS Step Functions AWS Step Functionsはステートマシンと呼ばれるワークフローを使って、アプリケーションを構築するサービスです。 ワークフローには標準ワークフローとExpressワークフローがあります。 Step Functions とは…

codebuild: AWS CodeBuildでビルド失敗時の自動リトライをサポート lambda: LambdaのGetFunctionResponseにTagsErrorフィールドを追加し、タグ取得エラーの詳細を表示 logs: Anomaliesで動的トークンに推測されたトークン名を追加 bedrock-agent: Bedrock Agentsで新しいモデルタイプのサポートを追加、フローとプロンプト管理で推論プロファイルをサポート、追加の推論設定用フィールドを追加 supplychain: APIドキュメントの更新と、失敗したインスタンスでエラーメッセージの表示をサポート githu…

codebuild: 予約済み容量フリートでプロキシを有効化 sesv2: メールの最大配信秒数を設定し、送信試行時間を制御する機能を追加 redshift: Zero-ETL統合を作成・管理するための新しいAPIをリリース resiliencehub: AWS Resilience HubがmyApplicationsプラットフォームと統合 ivs: priorityパラメータで新しいストリームへの置き換えをサポート cloudformation: CloudFormation APIリファレンスのドキュメント更新 amplify: StartDeploymentリクエストにsourceUr…

こんにちは、モノタロウ コアシステムエンジニアリング部門 配送ドメイングループの安見です。 この記事では私が関わっていた社内システムを仮想サーバ(AWS EC2)からコンテナに移行した後にコンテナをやめて仮想サーバに戻した話をご紹介します。 諸説明 コンテナ移行について コンテナ化対象システムについて 直面した様々な問題 リリース後の多数の残課題 展開する機能の数が多すぎる コンテナ化のメリットが薄かった なぜこうなったか よかったこと まとめ 追記： 現在なら... 諸説明 コンテナ移行について システムのコンテナ移行とは、アプリケーションやサービスを動作させるための必要なすべての環境を、一…

こんにちは。弁護士ドットコム クラウドサイン事業本部で SRE をしています、大内と申します。 クラウドサイン事業本部の SRE ではサービスの可用性、信頼性の向上や開発の高速化、省力化を目指した開発を日々行っています。 クラウドサインは 2024 年 10 月で 10 年目のサービスとなりました。 裏ではさまざまなアプリケーション（定期実行バッチ、常駐バッチ、内部 API サーバーなど）が稼働し、相互に連携してサービスを提供しているのですが、中には非常に古くから稼働しているものも存在します。 今回お話する nginx もその 1 つです。 クラウドサインの裏で稼働するアプリケーションのほとん…

はじめに 検証環境 診断の流れ 診断用 IAM ユーザを追加 IAM ユーザを作成 ２つの インラインポリシー を追加 ２つの AWS管理ポリシー を追加 アクセスキー の発行 Prowler 実行環境の構築 pip コマンドのインストール Prowler のインストール AWS 認証情報の設定 prowler で診断を実行 ブラウザ上で検査結果の確認 まとめ メモ書き はじめに Prowler を利用した クラウドセキュリティ設定診断 を紹介します。（※ 本記事はAWSが対象） 先日は別の診断ツールである「CloudSploit」を活用したクラウドセキュリティ診断を紹介しましたが、 Prow…

はじめに こんにちは！トモニテにて開発を行っている吉田です。 今回は API を本番のデータにつなぎながら確認できるようステージング環境を作成したのでそのことについて書いていきます！ 目的 本番環境へのリリース前には、さまざまなケースを考慮したテストを行うことが不可欠です。しかし、開発環境で考えられる限りのケースを網羅しても、どうしても考慮漏れが発生することがあります。このようなリスクを軽減するために本番環境を利用したステージング環境を構築しました。 これにより、実際のデータを使用しながら運用時を想定したテストを行うことが可能になりリリース前に潜在的な問題を早期に発見し、サービスの品質を向上が…

お疲れ様です、SREの西田 ( @k_bigwheel ) です。 最近、バッチ処理を実行するための新しい基盤を構築したので、この記事ではそれの紹介をしたいと思います。 少々前提の説明を丁寧にやりすぎてしまったので、作ったものをまず見たいという方は「構築したバッチ実行基盤のアーキテクチャ図と概要」の項目へジャンプしてください。 バッチ実行基盤とは バッチジョブ、バッチ処理のための仕組みは、多くのWebサービスで設けられていると思います。 とてもプリミティブなものであれば、Webアプリが動いているEC2インスタンス/コンテナにログインして rake task ... などを実行するパターンが典型…

はじめに 8月19日から9月30日までの一ヶ月半MIXIでインターンをさせていただきました。 普段参加記は書かないんですが、あまりにも楽しすぎたのでインターン期間中に行った作業内容の一部とか個人的に感じた会社の雰囲気などを書こうと思います。 参加したプロダクト インターンにはminimoという「サロンスタッフを直接予約できるサービス」のバックエンドとして参加しました。 一ヶ月半のインターン期間を得てサービスが参加前よりもさらに好きになったので本題に入る前にminimoのサービスについて少し紹介します。 minimodel.jp 『minimo』の一番の特徴は、サロン（店舗）を予約するのではなく…