QuickSight

バトンズエンジニアのほんま@CkRealです。 バトンズでは、社内のBIツールとしてQuickSightを利用しています。 先日、このQuickSight上に作成されていた、とあるダッシュボードをエクスポートしておきたい要件が発生しました。 その作業中、表題のようなエラーに遭遇したので、今回はその対応内容を備忘録として記事を執筆させていただいています。 どのような状況が発生したのか 今回の作業では、下記のブログでも紹介されているQuickSightのアセットをエクスポートするコマンドを使って、 作業担当者がQuickSightのダッシュボードをエクスポートを試みていました。 dev.class…

目次 目次 はじめに どんなひとに読んで欲しい QuickSightとは 料金 CSVファイルの中身 手順 おわりに お知らせ はじめに こんにちは、クラウド事業部の清水です。 今回は施策チームで今年投稿したブログ関連のCSVファイルを基に QuickSightでグラフ化してみたので その手順を記載します。 どんなひとに読んで欲しい こんな感じのグラフを作りたい方 QuickSightを初めて使う人 CSVファイルをExcel以外でグラフ化してみたい人 QuickSightとは AWS QuickSightは、Amazon Web Servicesが提供するスケーラブルなビジネスインテリジェン…

はじめに こんにちは、アプリケーションチームの小沼です。 以前の記事にて紹介した、AWS Cost and Usage Reports の活用事例を紹介したいと思います。 tech.motex.co.jp 見える化したかった内容 アプリケーションチームの中に、 - 自分たちの作った機能の維持費にどれくらいかかっているのだろう. - 作ったけど、どれくらい使われているのだろう. - 使われ方に対して、維持費は見合っているのだろうか. という、AWS コストと利用状況に対する疑問が出てきました。 その疑問を解消するために、「機能毎の維持費と機能の利用状況」をまとめた QuickSightのダッシュ…

はじめに こんにちは、SREチームの植松です。 以前に公開した記事では、AWS Cost and Usage Report(CUR)に蓄積されたコストデータをAthenaやQuickSightを用いて分析・可視化する取り組みについてご紹介しました。 tech.motex.co.jp 今回の記事では、前回からのアップデートとして、SREチームで実際に使用している分析・可視化の具体例や、 LANSCOPE エンドポイントマネージャークラウド版のAWSコスト最適化事例について紹介したいと思います。 AWS Cost and Usage Reportの導入方法については、前回のブログやAWS公式資料で…

事象と経緯 QuickSightを用いてデータの可視化を行っています。 データセットとして、Athenaを使っており、セキュリティとアクセス権限から書き込み権限を追加しています。 起こったエラーとしては、対象バケットにアクセス権を追加した後に、下記のような書き込み権限に関するエラーが出ました。 解決策 解決策1 クラスメソッドさんが出されているブログにて、同様の問題・解決法がありましたので、こちらを参照してみてください。 ポイントは、 アクセス権を与えているIAMポリシーを削除してやり直す です。 dev.classmethod.jp 私の場合は、 IAMポリシーを削除したくない。 （既存のバ…

この記事はAWS Analytics Advent Calendar 2023の7日目の記事です。 こんにちは、SREチーム所属の@mashiikeです。 皆様はAmazon QuickSightを活用していますでしょうか？ QuickSightで言うところのデータセット。一般的にはデータマートとも呼ばれるものの設計・構築おけるTipsな話です。 他のBIツールにも応用できるとは思いますが、主にQuickSightをターゲットにした話になります。 データマートについて AWSのサイト上ではデータマートについて以下のように書かれています。 aws.amazon.com データマートは、組織のビジ…

はじめに こんにちは、インフラチーム改め、SREチームの植松です。 以前の記事にてチームで取り組んでいるAWSコストのモニタリングや、コスト最適化のために取り組んでいることを紹介しました。 今回はそこからのアップデートとして、AWS Cost and Usage Reportsと呼ばれるサービスを活用した可視化の取り組みをご紹介したいと思います。 tech.motex.co.jp はじめに AWS Cost and Usage Reports(CUR)とは CURと他のサービスとの連携 可視化基盤の構成 QuickSight エムオーテックスで運用しているコストダッシュボード AWSアカウント…

JAWS-UG東京 ランチタイムLT会 #17 jawsug.connpass.com セッション AWS Ambassadorが語る、AWS認定全冠の先 Yuki Tsumitaさん AWSの認定に意味ある？ない？ 全冠は1,222名、ただしAPNの人の数 140万人のITエンジニアに対して、0.09%の人が全冠 個人的に自分のキャリアに対しては意味があると感じてる 資格がないと業務ができないわけではない キャリアステージに対して意味あるないが変わる ベテランほど資格以外の価値が大事になる ポジショントーク 学生とCXOでは価値や考えが違う 全冠のメリット 複数のソリューションが浮かぶ、相談…

はじめに こんにちは、開発本部のデータ＆AIチームの24新卒の蜜澤です。 現在取り組んでいる業務で、Amazon QuickSight(以下quicksight)を使用しているので、quicksightでSPICEに入れるデータを加工する際に注意することについてまとめたいと思います。 SPICEというのはインメモリエンジンで、SPICEにデータを取り込むことで、クエリ速度の向上とクエリを叩くコストの節約をすることができます。 作成したいデータセット 今回SPICEに入れたいデータは以下のようになっています。 レシピ動画サービスの検索傾向を可視化するために、ユーザーの検索ログを集計したデータとい…

はじめに こんにちは、アプリケーションチームの辻です。 前回の記事では、ユーザーの利用状況データを収集する部分で活用した「DynamoDB の S3 へのエクスポート」と「S3 のレプリケーション」についてお話をしました。 今回は、収集した利用状況データをどのように可視化しているのかに焦点を当ててお話したいと思います。 はじめに 利用状況データの可視化システム - 全体像 利用状況データの可視化の仕組み 1. 別の AWS アカウントの S3 に利用状況データをレプリケーション DynamoDB テーブル単位で S3 フォルダーを作成した理由 S3 にdate=YYYY-MM-DDというフォル…

これは、なにをしたくて書いたもの？ ちょっとAWS Step Functionsを調べてみようと思いまして。 ローカルで動かせる仕組みもあるみたいなので、こちらで試してみたいと思います。 AWS Step Functions AWS Step Functionsのドキュメントはこちら。 Step Functions とは - AWS Step Functions AWS Step Functionsはステートマシンと呼ばれるワークフローを使って、アプリケーションを構築するサービスです。 ワークフローには標準ワークフローとExpressワークフローがあります。 Step Functions とは…

こんにちは、RAKSUL技術広報の和田です。 2024年11月5日、primeNumber社のみなさまをRAKSULにお招きし、合同勉強会を開催しました。この記事では、その様子をレポートしたいと思います！ 発表内容 今回の合同勉強会は、primeNumber社CIO山本さんからの挨拶で幕を開け、各社のメンバーが主に「データエンジニアリング」をテーマにプレゼンテーションを行いました。 プレゼンテーションでは、各社が日々直面する課題と、それに対する技術的な解決策が紹介され、活発な意見交換と知見の共有が行われました。 primeNumber社CIO山本さんによる開会の儀 1.「BI ダッシュボードの…

ecs: Amazon ECSのドキュメントのみの更新 workspaces: Active DirectoryのDomainNameパターンを更新 quicksight: StartDashboardSnapshotJobSchedule APIを追加、RestoreAnalysisがフォルダへの復元をサポート pinpoint-sms-voice-v2: 登録ステータスにREQUIRES_AUTHENTICATIONを追加 bedrock-agent: PromptModelInferenceConfigurationオブジェクトでtopKプロパティを削除、PromptTemplateCo…

エブリーでデータエンジニアを担当している塚田です。 QuickSightを活用したビジュアライズを進めていますが、そのビジュアルの埋め込みで外部のサイトで表示する部分を検証しています。 今回はその検証過程で利用したamazon-quicksight-embedding-sdkについて、使用方法などを紹介します。 Amazon QuickSightとは Amazon QuickSightは、AWSが提供するビジネスインテリジェンス (BI) サービスです。AWSとの連携が容易で、比較的簡単に利用を開始することができます。 QuickSightの大きな特徴として、SPICEと呼ばれるインメモリエン…

はじめに こんにちは。クックパッド SRE の @mozamimy です。先日この開発者ブログで One Experience プロジェクトについての紹介がありました。 このプロジェクトにおいて、わたしは日本版からグローバル版への移行の際の全般的なパフォーマンス周りについて取り組んでいました。 パフォーマンスと一言でいっても、その中にはネットワークやアプリケーションレイヤでのレイテンシ、MySQL などのミドルウェアでのレイテンシなど、様々な要因が関わってきます。それらの改善において、何よりも重要なのはまず観測することです。移行において取り組んだ様々な作業のうち、ここでは CloudWatch…

mediapackagev2: OriginEndpointマニフェスト設定にClipStartTimeサポートとHLS子プレイリストにEXT-X-STARTタグを追加 quicksight: AssetBundle APIでフォルダのエクスポートとインポートをサポート connect: GetMetricDataV2のグルーピング数を3から4に増加 ec2: インスタンスの起動後にCPUオプションを変更する新しいAPIを追加 codepipeline: パイプライン内でシェルコマンドを実行できるCommandsアクションを導入 iot: X.509クライアント証明書によるカスタム認証とプロト…

quicksight: QuickSightデータストーリーにパーソナライズ機能を追加、管理者が設定で有効化または無効化可能 sesv2: カスタムドメインを使用したHTTPS経由でのエンゲージメントトラッキングをサポート customer-profiles: PutIntegrationリクエストにオプションのRoleArnパラメータを追加、複数のAPI応答にRoleArnを含む securityhub: AWS Security Hubのドキュメント更新 github.com