EKS

はじめに 本記事について 想定読者 書くこと 書かないこと その他 EKS Pod Identityとは？ なぜ必要なのか？ IRSA(IAM Roles for Service Accounts)について なぜ仕組みを知る必要があるのか？ 私の経験談(余談) 仕組み解説 全体像 登場人物 仕組みの詳細 ①IAMロールの作成 ②Pod Identityの関連付け作成 ③Pod作成(kubectl apply) ④一時的な認証情報取得 ⑤アクセス 終わりに 参考リンク集 はじめに こんにちは！クラウド事業部の中根です。 半年ほど前から、Kubernetesを学びEKSを使うようになりました。 そ…

現象 Karpenter Controller Pod が CrashLoopBackOff のまま起動しない。 エラーログ $ kubectl logs -n kube-system karpenter-c66f6f595-xqq8x panic: AWS.SimpleQueueService.NonExistentQueue: The specified queue does not exist or you do not have access to it. goroutine 1 [running]: github.com/samber/lo.must({0x2a44ee0, 0xc0…

モノタロウのプラットフォームエンジニアリング部門 コンテナ基盤グループの宋 明起です。 私たちは、アプリケーション開発者からコンテナシステムの認知負荷を取り除き、アプリ開発に専念できるコンテナ基盤の構築と基盤を改善し、開発者はより楽に、より安全にアプリケーションのデプロイと運用できるように支援しています。 背景 基本設計 方針 構成 サンプル モニタリング サンプル 障害 障害1. Memory overflowエラーが発生 障害2. 大量のログが欠損になっている (refresh_interval) 障害3. まだ一部ログが欠損になっている (Prestop) [FAQ] 背景 モノタロウで…

現象 Karpenter で起動したクラスターが node として起動される前に落ちる。 AWS コンソールからは EC2 インスタンスは正常に起動しているが、kubectl get node しても表示されない。 エラーメッセージなど NodeClaim 調査 $ kubectl describe nodeclaim default-cfxh5 〜略〜 Last Transition Time: 2024-09-24T13:33:19Z Message: Node not registered with cluster Reason: NodeNotFound Status: Unknown…

Karpenter導入によるメリットとデメリットと躓いた点 こんにちは。SREグループの蜂須賀です。 弊社ではEKSを利用しており、これまでノードのオートスケールにはCluster Autoscaler(CA)を利用していました。 2024年6月頃にCAからKarpenterに移行したので、Karpenter導入によるメリットとデメリット、躓いた点を紹介します。 (Karpenterのバージョンはv0.37になります) karpenter.sh Karpenter導入によるメリット ノードの起動速度が速い CAでは、Amazon EC2 Auto Scalingグループを経由してノードのスケー…

はじめに オンプレ型バッチ処理の特徴とクラウドネイティブ技術 バッチ処理の構成要素と概念 バッチ処理 バッチ処理の構成要素 商用ジョブ管理ソフトとバッチ処理 クラウドネイティブ技術によるバッチ処理の実現 Apache Airflow とは MWAA のアーキテクチャ スケジューラー ワーカー ウェブサーバー データベース オペレータ ポピュラーなオペレータ AWS Operator サーバレス化のメリット サーバレス・バッチの構成イメージ 可用性とスケーラビリティ MWAAの可用性とスケーラビリティ タスクの可用性とスケーラビリティ DevOpsの実践とアジリティの向上 Webアプリケーション…

今回はGitLabからAmazon EKS上のPodを更新する方法を紹介します。 docs.gitlab.com 背景 GitLabからAmazon EKSに接続し、リソースを更新するには、大きく3つの方法があります。 AWSアクセス情報を使ってkubectlで接続する GitLab Agent for Kubernetesをインストールする Flux CDなどを使ってGitOpsを利用する 今回はこのうち上2つを紹介します。 検証 準備 検証の前に事前に以下の準備をしておきます。 Amazon EKSクラスターの作成 GitLab Projectの作成 テスト用マニフェストファイルの配置 A…

ozawaです。めっきり寒くなりました。子供の保育園の送迎時はネックウォーマーにマスク、帽子と完全防備です。不審者感が増しました。 最近re:Inventのおこぼれ的なアップデートがよく出てきていますが、今回はECS関連で気になるアップデートがあったのでまとめてみます。 VPC LatticeとECSがネイティブ統合されました！ VPC Latticeとは VPC Latticeの概念 サービスネットワーク サービス ターゲットグループ ECSとのネイティブ統合 実際にやってみた ECSの設定 VPC Lattice統合を有効化 VPC Latticeの設定 サービスネットワークの作成 サービ…

cert-manager によって Nginx で TLS 終端をするための証明書を管理している。cert-manager によって証明書は自動更新されるが、Nginx を再起動する必要がある。このために Reloader が使えるらしいので、動作を確認する。 https://github.com/stakater/Reloader Reloaderを試す - TECHSTEP aws-privateca-issuer も合わせて確認する。 https://github.com/cert-manager/aws-privateca-issuer クラスターの作成 クラスターを作成する。 CLU…

こんにちは、Red HatでOpenShift関連のプリセールスをしている北村です。 今回から "Developer Hub 実践" と題して、不定期にRed Hat Developer Hub (以下Developer Hub)関連の記事をアップしていこうと思います。 記事の内容はDeveloper Hubの具体的な設定方法など、 Developer Hubのツールとしての使い方を掘り下げていくものを想定しています。 以前「Red Hat Developer Hub (Backstage) でGolden Pathを作ろう」というタイトルでQiitaに記事をあげていますが、Developer…

垣見です。 IAM Instance ProfileとAWS IAM Roleの違い、説明できますか？ 私は誤解していて、Instance Profileにタグ付けをしてもIAMコンソール上で確認が出来ない！？とハマったのでまとめました。 結論 IAM Instance ProfileとAWS IAM Roleの関係 リソースタグについて 対象読者 IAM Instance ProfileとAWS IAM Roleの関係 二者の分離 IAM Instance Profileを確認する場所 リソース名称とIAM Instance Profileの作成・削除について タグ付与・閲覧について AWS…

この記事には、Kaigi on Rails 2024 の Day2 に聞いたセッションの感想と記録を書きたいと思います。 kaigionrails.org セッション会場は2つあったのですが、2日目は特にどちらの発表も面白そうでどちらを聞くか悩ましかったです。 また、発表の中で、1日目や他の方の発表内容に言及していたりしているのも、おお、繋がっている！！となりました。 （ イベントで思ったことと、Day1 のセッションについては別記事を書いています） 作って理解する RDBMSのしくみ Cache to Your Advantage: フラグメントキャッシュの基本と応用 基本：フラグメントキャ…

firehose: Amazon Data Firehoseに新しいDeliveryStreamType「DatabaseAsSource」を追加。MySQLおよびPostgreSQLのCDCイベントをIceberg Tableにストリーミング可能 eks: Amazon EKS管理ノードグループで新しいエラーコードEc2InstanceTypeDoesNotExistを追加 controlcatalog: AWS Control CatalogのGetControl APIで、ImplementationおよびParametersなどの追加データを返すように更新 bedrock-agent-…

３行で Karpenter v1 では expiration の方式が Forceful に変更され、drifted や consolidation と同様の PDB や do-not-disrupt の考慮がなくなりました これにより、クラスタ管理者はノードを一定期間で強制的に削除できるようになり、高いセキュリティを維持しやすくなりました この変更を踏まえ、expireAfter の設定を再検討することが重要そうです そもそも Karpenter の Expiration とは Karpenter の expiration は、alpha 版の Provisoner リソースで導入された s…

こんにちは、研究開発部 Architectグループ ML Platformチームでインターンをしていた上田です。 今回はCI/CDパイプラインで利用されていたArgoCD Image Updaterを内製ツールに移行した経緯について紹介します。

Suceeded または Failed の Pod は controller-manager によって GC される。その閾値について確認したメモ。 Pod Lifecycle | Kubernetes kube-controller-manager | Kubernetes --terminated-pod-gc-threshold のデフォルト値は 12500 だが、閾値を超えたとき、全部削除されるのか、閾値まで削除されるのかを確認する。 クラスターの作成 EKS ではコントロールプレーンコンポーネントをカスタマイズできないので、今回は kind を使用する。 以下あたりを参考にして、設定…

これは、なにをしたくて書いたもの？ ちょっとAWS Step Functionsを調べてみようと思いまして。 ローカルで動かせる仕組みもあるみたいなので、こちらで試してみたいと思います。 AWS Step Functions AWS Step Functionsのドキュメントはこちら。 Step Functions とは - AWS Step Functions AWS Step Functionsはステートマシンと呼ばれるワークフローを使って、アプリケーションを構築するサービスです。 ワークフローには標準ワークフローとExpressワークフローがあります。 Step Functions とは…

IBM Coredump Handler を試すメモ。 https://github.com/IBM/core-dump-handler クラスターの作成 EKS クラスターを作成する。本当は Ubuntu で試したいが、まず AL2 から。 CLUSTER_NAME="coredump" MY_ARN=$(aws sts get-caller-identity --output text --query Arn) AWS_ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account) cat << EOF > c…