mazyu36の日記

mazyu36の日記

某SIer所属のクラウドエンジニアのブログ

Self hosting Langfuse に Cognito認証を追加する

Langfuse で標準では ID/パスワード による認証が用意されていますが、他のIdPを使用することもできます(NextAuth.jsが使われています)。

langfuse.com

Langfuse の標準認証は ID/パスワード方式ですが、セキュリティの強化のために外部 IdPと連携したいケースもあります。

そこで今回は、 前回作成した Langfuse with AWS CDKにおいて Amazon Cognito (以下Cognito) による認証を追加しました。

設定後は以下のように Cognito でログインできるようになります。

また、標準の認証機能を無効化し、Cognitoによる認証を強制することも可能です。

今回はこの辺りのノウハウをまとめます。 GitHubリポジトリは以下です。

github.com

続きを読む

AWS CDKを使ってLangfuseをセルフホストする

LLM向けのオブザーバビリティツール(OSS)であるLangfuse v3をAWS上でセルフホストするためのCDKプロジェクトを作成しました。

github.com

本記事では使用方法、アーキテクチャ、トラブルシュートのノウハウを共有します。

なお、セルフホスティングには以下の公式ドキュメントが参考になります。

※実装時は@tmokmssさんのdify-self-hosted-on-awsの実装をかなり参考にさせてもらいました。感謝。

続きを読む

open-constructs で ElastiCache Serverless の L2 Construct を作った

open-constructsでElastiCache ServerlessのL2 Constructのコントリビュートをしました。

github.com

Valkey 対応により月額6ドル程度から使用できたり、Valkey 8.0 で高速なスケーリングができたり、など今後需要が拡大しそう、かつ個人的にも欲しかったので作成しました。

aws.amazon.com

aws.amazon.com

本記事では使い方を紹介します。

※ レビューありがとうございました!>@tmokmss @k.goto

続きを読む

CDK L1 / CloudFormationでAmazon LocationのAPI Key (Enhanced API 対応版) を作成する

2023/11に Amazon Location(以下Location) のアップデートで Maps, Places, Routes はユーザー側でリソース作成が不要になりました(それまではユーザー側でリソースを作成する必要があった)。

※アップデートでは Enhanced Places, Routes, Maps と呼称されていますが、この記事ではこれらを Enhanced API と記載します。

aws.amazon.com

aws.amazon.com

また Location のAPI 利用における認証としてAPIキーが用意されています。

dev.classmethod.jp

このAPIキーはCDK L1 / CFn で作成ができるのですが、Enhanced API用のAPIキーの設定方法がCFn のドキュメントには 書かれていません(執筆時点)。

docs.aws.amazon.com

試したところ、ドキュメントには記載がないものの、Enhanced API に対応した API キーは作成可能なのでその内容をまとめておきます。

続きを読む

CDK コントリビュートデビューしてからの8ヶ月弱を振り返る

本記事は AWS CDK Advent Calendar 2024 の 24日目の記事です。

CDK コントリビュートを始めてから約8ヶ月経ちました。

年末ということもありこの機会に振り返ってみたいと思います(技術的な内容はほぼ無いです)。

続きを読む

Bedrock multi-agent collaboration を Generative AI Constructs だけで作りたかった

本記事は Amazon Bedrock Advent Calendar 2024 の 15日目の記事です。

re:Invent 2024期間にAmazon Bedrock の multi-agent collaboration 機能が発表されました(執筆時点ではプレビュー)。

aws.amazon.com

複数のAgentをオーケストレーションできるSupervisor Agentを作成し、Multi Agent を実現できるものです。

multi-agent collaboration については以下の Workshop が公開されています。

github.com

これの理解を深めるために、Generative AI Constructs を使って、CDKで構築してみようというのが今回のテーマです。

...が、タイトルにある通り執筆時点では全てを構築することはできませんでした。Supervisor Agentに必要な設定項目が CloudFormationでまだ設定不可能なためです。

そのため、本記事では個々の Agent は Generative AI Constructs で作成しつつ、Supervisor Agent のみ手動作成しています。

続きを読む

インフラ視点で Dify のアーキテクチャを理解する(v0.13.1)

本記事は Qiita Dify Advent Calendar 2024 の 5日目の記事です。

最近OSSのLLM開発プラットフォームであるDifyをちょいちょい触っています。

github.com

AWS上でホストしたり、Difyにコントリビュートし始めたりしているのですが、今後 Deep Dive するためにDifyのアーキテクチャを理解しておこう、ということで自分なりに整理してみました。

なおインフラ視点での整理のため、AP実装には深くは踏み込みません。

今回の記事の内容は主にGitHubソースコードや、Docsを元にしています。

docs.dify.ai

また設定パラメータがいくつか存在しますが .env.example を見ると非常にわかりやすく理解が進むのでおすすめです。

github.com

続きを読む