DynamoDB

ランキング参加中AWS (Amazon Web Services) 背景 CloudTrailは、証跡を集めるサービスです。 AWS上の様々なアクセスログを自動的に集めてくれます。 DynamoDBにおいては、 CreateTable DeleteTable UpdateTable などの基本的な挙動はデフォルトで記録してくれます。 しかし、 GetItem PutItem Query Scan などの挙動はデフォルトでは収集してくれません。 Ref. AWS CloudTrail を使用して DynamoDB オペレーションをログに記録する - Amazon DynamoDB やりたいこと …

こんにちは！ 株式会社iimonでエンジニアをしている遠藤です。 NoSQLデータベースってどんなタイプのものがあって、それぞれどういう特徴があるのか、概念的なことは何となくわかってきたような気がする(?)けど、実際にNoSQLのデータベースを使用して開発するイメージ(DBとSQLを使わずにやりとりするイメージ)があまり沸かないな…と思ったので、 今回はDynamoDB Localでローカルにデータベースを立てて、Djangoでデータをやり取りする簡単なAPIを生成することで、少しでもイメージを掴んでみよう！という記事になります。 この記事でやることは以下になります。 実際にローカルで動かせる…

現在、下記の書籍でサーバレスアプリについて学習中です。 動かして学ぶ！Pythonサーバレスアプリ開発入門 この本の Chapter.7 で、Flask・PynamoDBを使用してDynamoDB localのテーブルを作成する手順があるのですが、少々詰まってしまったので、備忘のために経緯をメモに残しておきたいと思います。 はじめにお断り 今回利用したライブラリやサービスに関する簡単な紹介 Flask PynamoDB DynamoDB local 経緯・原因・対策 経緯1：flask-script を使ったところ、エラーが発生 原因：Flaskのバージョン2.0以降ではflask-scrip…

前書き 注意点 参考リンク 環境 全体像 0. 事前準備 1. CDKのプロジェクト作成 2. S3 3. DynamoDB 4. IAM Role 5. Amazon OpenSearch Service Data Access Policy Encryption Policy Network Policy 6. IAM Policy 7. Pipeline デプロイとテスト 削除 まとめ CDKの定義全体 前書き 昨年末に公開された、DynamoDBとOpenSearch Serviceのzero-ETL integrationを AWS CDK で構築する例です。 本記事は、こちらのCL…

version情報 "aws-amplify": "^6.3.4", 起こったこと（長い前置き） 以下のようなamplify/date/resource.tsがあるとする。 EventテーブルのstartDateについて、a.date()という型があるのでDate型を挿入できるのかと思っていた。 import { type ClientSchema, a, defineData } from "@aws-amplify/backend"; const schema = a.schema({ //.... Event: a .model({ id: a.id().required(), star…

はじめに こんにちは、アプリケーションチームの辻です。 今回、 AWS の 様々なサービス・機能を利用して、分析用データの収集基盤のプロトタイプを作ってみました。 その中で、 Amazon DynamoDB(以下、DynamoDB) の Amazon S3 へのエクスポートと Amazon S3(以下、S3) のレプリケーションという機能を使用してみたので、学んだことを備忘録として残したいと思います。 はじめに 分析用データの収集基盤 - 概要 DynamoDB の S3 へのエクスポート 実行前の注意点 エクスポート時の挙動 まとめ S3 のレプリケーション レプリケーションするために必要な…

背景 AWS Lambda を使うと様々な処理を簡単かつサーバレスに実現することができます。お手軽に使える一方でいくつか考慮しておかないと実運用時に痛い目を見ることも沢山あります。いくつかある考慮ポイントの中で、実際にハマった冪等性の観点について少しまとめておこうと思います。 発生したこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda でオブジェクトの種類ごとに様々な処理を行っていました。当初は冪等性を考慮した作りになっていなかったのですが、多くないオブジェクト数（10～100）でテストした限りでは特段問題なく動作していたので本番環境へデプロイしました。実際…

※はじめにお断り DynamoDB StreamsとLambdaを統合したからといって、必ずCloudWatch Logsの利用料が増えるわけではありません。今回は、いくつかの設定変更が重なってこのような事態になりました。その辺りは、順を追って説明していきたいと思います。 先日、AWSから「CloudWatchのログ利用量がそろそろ無料利用枠の5GBを超えそうだぜ！（意訳）」というメールが届きました。 問題のメール 「そんなに利用が増えることをしたかな？」と思いつつ、このままログが増え続けて料金が高騰しては大変なので、とにかく原因を調べることにしました。 まずは対象のロググループを特定する 次…

はじめに スピーカー紹介 「計算されたリスク」とは何か？ リスクを取る前に考えること 「計算されたリスク」を取るためのフレームワーク 1. Think Bigger! まず行動を起こすことが重要、無行動こそ最大のリスク リスクを取る際は「何がうまくいくか」に焦点を当て、それを最大化する方法を考える 2. De-risk リスクの影響を軽減する手法を取り入れる 冗長性を活用する 3. Be Wrong, a Lot 「Ready, Fire, Aim」の精神 失敗を受け入れ、学びを得る まとめ 感想 参考：火星探査機「Curiosity（キュリオシティ）」 はじめに ソーシャル経済メディア「Ne…

.entry-content img { border: 1px solid #ddd; } はじめに こんにちは！ 株式会社クロスパワー クラウドシステム開発部の N です。 この記事は連載『デジタルヒューマンと Amazon Bedrock で召喚！バーチャル事務職員』の第4回となります。 前回の記事はこちらです。 xp-cloud.jp 第4回では RAG という手法を用いてチャットボットがより"正確な"回答を生成するようにする方法について解説していきます。 目次 はじめに 目次 RAG とは アプリケーションの概要 構成 RAG の仕組み 準備フェーズ 検索フェーズ チャットボットのキ…

引っ越しの結果、通勤時間は長くなったのだが電車の乗り換えが不要になり、しかも帰りはほぼ確実に座って帰れるようになった。 せっかくなので勉強の時間に当てることにした。 今はAWSの資格対策と、ロシア語の勉強をしている。 AWS デベロッパーアソシエイト k5trismegistus.me AWS ソリューションアーキテクト アソシエイトが更新の年だったのだが、更新するのを忘れてしまい失効してしまった。 せっかくなので、ソリューションアーキテクトとは違う範囲を勉強しようと思い、AWS デベロッパー アソシエイトを目標に据えてみた。 ソリューションアーキテクトと結構似ている部分も多いのだが、ソリュー…

cloudtrail: GenerateQuery APIを追加し、イベントデータストアのデータに基づいた自然言語プロンプトからSQLクエリを生成可能に mediaconvert: PlayReady DRM保護出力のマニフェストにMSPRフィールドを追加し、Kantar認証シークレット名でARN入力をサポート billing: AWS Billing ConductorのListBillingViews APIを一般提供し、プログラムでプロフォーマコストおよび使用レポートを作成可能に macOS: macOS 10.15のサポート終了 accessanalyzer: リソースコントロールポリ…

読んだ本 楽々ERDレッスン 読むに至った経緯 今までRDBMSやDBテーブル設計に関わる機会がなかったため、基礎的な部分から実践的な勘所まで把握したいと思い、評判の良さそうな本書を読んでみました。 感想 数年前にドメイン駆動設計やドメインモデリングにのめり込んだことがあるが、DBテーブル設計で考える事も基本的には同じことだと思った 第１部 DB設計総論、第２部 RDBMS総論の内容は、基礎的なことから実践的な考え方まで参考になることばかりで大変良かった その技術が登場した背景と歴史を理解するのは大事なことだと思ってるので、Codd氏がリレーショナルモデルを発表した時代以降の歴史が知れて良かっ…

例えばDynamoDBをDDBとかでいきなり書かないようしている。3-4文字の略語って 一般的な単語 一般的な技術用語 別の業界の用語 特定コミュニティだけで使う略語 会社全体として使う略語 その組織だけ そのチームだけ みたいなものが多すぎてあまりにもその名前空間が汚染されている事が多い。 冗長さをなくすために略語を使っているはずなのに結局「この略語何？」からスタートすることが非常に多いと思っている。自分もslackとかで書かれているものが一体なんの略語なのか聞くことが凄い多い。 なので、なるべく自分はどんなに冗長でもはじめに ABC(正式名称 :AaaaaaBbbbbbbCcccc)みたい…

垣見です。 IAM Identity Center運用を効率化するTEAMについて、要望パターン別に手順をご案内いたします。 はじめに 注意事項 TEAMにログインしたい TEAMで申請・承認の流れを試したい・方法が知りたい 注意事項 承認ペルソナを設定したい 申請ペルソナを設定したい 権限の自動付与設定をしたい TEAMを使えるユーザー・グループを確認したい/増やしたい/減らしたい 監査ペルソナ・管理ペルソナを確認・更新したい これまでにあった申請/承認を確認したい 各セッションでどんなCloudTrail Eventが行われたか確認したい 通知を設定したい SES SNS Slack TE…

こんにちは、プロダクト開発部の中田です。 今回は、イベント連携基盤の技術選定の記事の続きです。 MessageBrokerの候補として挙げたAmazon EventBridge（以降、EventBridgeと記述）について、実際にさわってみて気づいた点をご紹介します。 イベント連携基盤の技術選定をした話 〜背景・課題編〜 イベント連携基盤の技術選定をした話 〜EventBridgeさわってみた編〜 ←今回はこの話 イベント連携基盤の技術選定をした話 〜Axon + MSKさわってみた編〜 イベント連携基盤の技術選定をした話 〜比較・結論編〜 本記事の概要 まず、イベント連携基盤のMessage…

はじめに ラストエージェントルーティングとは 前提条件 実装概要 手順 1. DynamoDB テーブルの作成 2. Lambda 関数の作成 情報取得関数 情報登録関数 5. Lambda関数のAmazon Connectへの紐付け 6. Amazon Connectの設定 おわり はじめに こんにちは、サーバーワークスのディベロップメントサービス2課の池田です。 今回は、Amazon Connectを活用して「ラストエージェントルーティング」を実装する方法についてご紹介します。 ラストエージェントルーティングとは ラストエージェントルーティングとは、以前対応したオペレーターに再度お客様の電…

はじめに こんにちは、アプリケーションチームの辻です。 前回の記事では、ユーザーの利用状況データを収集する部分で活用した「DynamoDB の S3 へのエクスポート」と「S3 のレプリケーション」についてお話をしました。 今回は、収集した利用状況データをどのように可視化しているのかに焦点を当ててお話したいと思います。 はじめに 利用状況データの可視化システム - 全体像 利用状況データの可視化の仕組み 1. 別の AWS アカウントの S3 に利用状況データをレプリケーション DynamoDB テーブル単位で S3 フォルダーを作成した理由 S3 にdate=YYYY-MM-DDというフォル…