2024/10/21
Azure AI SearchでRAGを使う(1)
Azure OpenAI(例えば、GPT-4o等)を利用してRAG(Retrieval-Augmented Generation)を実施したい場合に、「Azure AI Search」サービスを利用すると良いというネット記事を多く見かけます。実際どのようなものなのか、どのくらいの実力があるのかについて、大変興味を持ちましたので、味見をしてみました。とはいえ、正常に動作するまで、大変難儀しましたので、備忘録を残しておこうと思います。Azure側の設定が非常に面倒だったので、後日整理してお話しします。
今回は、GPT-4oのチャットプレイグラウンド上で、独自データの「読み込ませあり/なし(RAGあり/なし)」で結果の違いを確認しようと思います。
まず、独自データとして、ある工場における各勤務毎の設備状態、設備異常のメモを準備しました。
このデータ自身は「架空のもの」でGPT-4oに作成してもらいました。このようなダミーデータの作成をGPT-4oに頼むとすぐに作ってくれるので重宝しますね。独自データはAzure AI Searchサービスに事前登録した上で評価スタートです。
以下、実行結果です。
1. RAGなし
独自データの中の中島健太郎さんについて、質問すると、当然のことながら「データベースに含まれていない」との回答でした。
もう一つ、設備異常の中で「制御関係の不具合」を聞いてみると、一般的な回答が得られました。想定内の回答です。
2. RAGあり
チャットプレイグラウンドのセットアップの「データを追加する」に設定を入れることにより、RAGが機能するようになります。設定内容の詳細は後日お話しします。RAGなしの時と同じ質問をすると、独自データから引き出された回答をしてくれました。Citation(引用)も付いており、回答の根拠を示してくれました。
独自データと答え合わせを行うと正解でした。
もう一つの質問についても、独自データに基づく回答がありました。
こちらも答え合わせで正解でした。
今回、Azure AI Searchサービスを使って、独自データを使ったRAG評価を行いました。深掘りはしていませんが、感触としては、結果は問題なさそうです。正常動作させるまでに大変難儀をした件は次回以降にお話しします。
コメント