Delta Lake

導入とケーススタディ概要 Delta Lake UniForm 課題とアーキテクチャの進化 Wayne Enterprise：シナリオと直面した課題 移行シナリオ 現行アーキテクチャ 現行アーキテクチャの問題点 解決策の探求 複数のオープンデータフォーマットに対応 Unity Catalog によるガバナンス管理 Delta Lake UniFormを使用してSnowflakeからオープンデータレイクハウスへ移行 新しいアーキテクチャの確立と設計 新しいアーキテクチャのメリット ガバナンスと実装 導入とケーススタディ概要 本セッションの登壇者は、Databricksのシニアプロダクトマネージャ…

金融・保険業界において、顧客サービスが迅速かつ正確な対応を求められる中、当社はRetrieval Augmented Generation（RAG）システムを導入しました。このAI駆動ソリューションは、ディープラーニング技術を使用して、膨大な非構造化データから文脈に応じた回答を瞬時に取得・生成することで、顧客とのインタラクションを大幅に向上させます。 また、RAGの導入は多大な技術的および運用上の成功を収める一方で、いくつかの課題も浮上しました。 実装における課題と解決策 実装の過程での主な課題は、非構造化の知識ベースの記事を構造化されたエンベディングに変換してベクターストアに保存するシームレ…

はじめに -本日のトピック「プロンプトエンジニアリングは終わった; DSPyフレームワークを使ってLLMアプリケーションを構築する」について話す機会をいただき、光栄です。このプレゼンテーションでは、プロンプトエンジニアリングの分野における重要なシフトを探求し、DSPyフレームワークという革新的なアプローチを提案しています。 従来、プロンプトエンジニアリングの実践は、手作業に近いものであり、目的の結果を達成することを願って一つ一つのプロンプトを慎重に作り上げることが一般的でした。しかし、このセッションでは、マインドセットの変化が急務であることを強調します。手作業に代わり、DSPyフレームワークは…

セッションの要約 ラテンアメリカ最大の民間銀行Bradescoは、データメッシュアーキテクチャを採用してデータプラットフォームの近代化を進めています。セッションでは、プロダクション準備段階での技術的な課題とコミュニティ協力の重要性が強調されました。Bradescoは、多様なデータ形式を扱う中で、コストや成長、時間に関する課題に直面しており、データメッシュへの移行を決定しました。さらに、クラウドへの移行と新しいデータプラットフォームの構築により、データ管理の効率と信頼性が向上しました。Ingestion ManagerとMLOpsの導入により、データの処理能力が強化され、企業のパフォーマンス向上…

導入とアジェンダの概要 本日は「データとGenAIエコシステムの構築、Databricksへの移行」というタイトルのセッションにご参加いただき、ありがとうございます。このプレゼンテーションでは、今日の変革的な技術環境で成功するために不可欠な堅牢なデータとAIフレームワークを構築するために、Gerdauが採用している戦略について詳しく掘り下げます。 このセッションでは、Gerdauのデータ&AIチーフオフィサーであるRodrigo Silveira氏と、データとアーキテクチャエンジニアリングの責任者であるFelipe Montalini氏が、データアナリストとしての個人的な旅路と、Gerdauが…

レガシーシステムに関する課題についての洞察 1. 古いシステムからの移行 2. クラスターの問題と影響 3. 古いアプリケーションとノイジーネイバーシンドローム 評価と意思決定プロセス コストに関する懸念 Airflowに関する懸念 UdemyのDatabricksへの移行戦略と実装 自動化と最適化の進化 結論 レガシーシステムに関する課題についての洞察 皆さん、こんにちは！セッション「UdemyのデータとAIの旅：管理されたビッドデータプラットフォームからDatabricksへの移行」では、古いシステムを扱う難しさについて掘り下げました。この最初のセクション「レガシーシステムの課題」では、U…

このセクションの紹介: クラウドプラットフォームの複雑な環境では、データの不一致は、組織が直面する一般的な問題です。このセクションでは、これらの問題を防ぎ、データ・インテグリティー（完全性/正確性）を保証するために、初期段階で堅固なガバナンスを確立するための基本的な側面を探ります。 シナリオディスカッション: 物語は、アメリカのセールス部門の責任者であるロミットと、データウェアハウジングの責任者であるブルースが関与する実際の職業シナリオから始まります。ロミットは最新の販売マイレージについて話し合うためにブルースのもとを訪れますが、報告された数値に衝撃的な違いを発見します。ブルースは前日には50…