はじめに
こんにちは!今月から生成AI活用事業がメイン業務になったなーがです。前回から少し時間が空いてしまいましたが、今回はAzure OpenAI Serviceの機能の一つであるOn Your Dataについて書こうと思います。
Azure OpenAI On Your Dataとは?
Azure OpenAI On Your DataはAzure OpenAI Serviceの機能の一つで、簡単にRAGが構築できるサービスです。RAGって何?という方は、弊社ブログで解説していますので以下の記事をご覧ください。
- RAG構築のためのAzure OpenAI Serviceリファレンスアーキテクチャ詳解
- Azure OpenAI ServiceによるRAG実装ガイドを公開しました
- 【7/24無料開催】Azure OpenAI ServiceによるRAGハンズオン 〜独自データを用いた生成AIの利活用を学ぶ〜初級編
- こちらは9月にも開催予定です!
- 【徹底解説】Document Intelligenceを利用してRAGを構築する【セマンティックチャンキング】
- 【初心者向け】RAG評価フレームワーク Ragasを必要最低限で使ってみる
- 【AOAI】RAGパイプラインの構築から評価フェーズまでの実装を一挙解説!【Ragas】
RAGを自前で構築するには以下の4つのリソースが必要となり、Azureを使用する場合はそれぞれ以下のようになります。
- インデクサー:自前で作成
- オーケストレーター:自前で作成
- 検索エンジン:Azure AI Search
- 生成AI:Azure OpenAI Service
弊社ブログでも「RAG構築のためのAzure OpenAI Serviceリファレンスアーキテクチャ詳解」として解説を行っていますが、あまりリソースを作ったことがない場合やコードはよく分からないからGUIでポチポチやって出来ないかな?と思われている方もいると思います。Azure OpenAI On Your Dataを使うと、以下のように自前で作成が必要だったインデクサーとオーケストレーターをAzure側でいい感じにやってくれます。
- インデクサー:Azure OpenAI Service
- オーケストレーター:Azure OpenAI Service
- 検索エンジン:Azure AI Search
- 生成AI:Azure OpenAI Service
使い方
まず、作成が必要なリソースは以下になります。各リソースの作成方法に関しては長くなるのでここでは割愛します。
- Azure OpenAI Service
- モデルのデプロイ
- Azure AI Search
- Azure ストレージアカウント
Azure OpenAI Studioのプレイグラウンドを開くと、「セットアップ」の中に「データを追加する」があると思うので、クリックします。
※新UIでやっています。旧UIの場合は「設定」の中に「データを追加する」があります。
「データソースの追加」をクリックします。
ローカルのファイルをアップロードするため、「データソースを選択する」で「Upload files (preview)」を選択して「次へ」をクリックします。
「サブスクリプション」、「Azureストレージアカウント」、「AI Search」を選択し、「インデックス名(今回はdocsとしました)」を入力して「次へ」をクリックします。
※「Azureストレージアカウント」の「リソースの共有 (CORS)」が設定されていない場合は、下記のようにエラーが発生します。「CORSをオンにする」をクリックすることで、「リソースの共有 (CORS)」が設定されます。
ドラッグアンドドロップまたはファイルを参照して選択したファイル名が表示されたら「ファイルのアップロード」をクリックします。
「ファイルは正常にアップロードされました。」と表示されたら「次へ」をクリックします。
「検索の種類(今回はセマンティックにしました)」、「チャンクサイズ(今回はアップロードするファイルが小さいので256としました」を選択して「次へ」をクリックします。
「Azure リソース認証の種類」で「APIキー」を選択して「次へ」をクリックします。
「保存して閉じる」をクリックします。
インデクシングが開始されます。
しばらくすると、データソース作成が完了します。
AI Seachの「インデックス」を確認すると、アップロードしたファイルがインデックスとして登録されていることが分かります。
それではプロンプトで「テスト就業規則.pdf」に記載されている始業時間を質問をしてみます。望んだとおりの回答を得ることが出来ました。
回答に参照があるので開いてみると、参照元の情報(今回だとテスト就業規則.pdf)が表示されています。
データの削除
「データソースの削除」から「続行」をクリックすることでアップロードしたデータソースを削除できます。(※AI Searchのインデックスは削除されません)
さいごに
今回はAzure OpenAI Serviceの機能の一つであるOn Your Dataについて書きました。生成AI活用事業に取り組み始めて1か月が経ち、少しずつ生成AIやRAGについての知識が付いてきたと思います。今後も業務で学んだことをブログにしていきたいと思います。