サービング エンドポイントにクエリを実行

説明

Databricks Agents は、データを任意の AI モデルと安全に接続して、正確なドメイン固有のアプリケーションを作成します。Mosaic AI ゲートウェイを通じて、多くの異なるフレームワークを使用するエージェントをデプロイし、 サービングエンドポイント を割り当てることができます (Mosaic AI モデルサービング)。

このアクティビティでは、Maestro がオーケストレーションする自動化プロセスの参加者として Databricks エージェントを使用できます。

Databricks エージェントを作成する

汎用 LLM ベースのエージェント、情報抽出、およびその他の種類のエージェント。Databricks は、Serving エンドポイントを介して割り当てられ、公開されている限り、Databricks エージェント コネクタで使用できます。ほとんどの場合、Maestro との連携では、Agent で出力を構造化された JSON スキーマでレンダリングする必要があります。Databricks の情報抽出エージェントがその好例です。ただし、例を使用して、明確に定義された単純なスキーマで応答するようにエージェントにプロンプトを出すことができます。

アクティビティの使用方法

このアクティビティを Maestro のエージェンティック プロセスで使用するには、以下の手順に従います。

1. キャンバスにサービス タスク要素を追加し、タスクの [ プロパティ ] パネルを開きます。
2. このサービス タスクの名前を Databricks Hello Worldとします。
3. [ 実装 ] セクションの [ アクション ] ドロップダウン リストから、[ 外部エージェントを起動し、待機] を選択します。
4. Databricks エージェント コネクタを選択します。
5. 既存のコネクションを選択するか、新しいコネクションを作成します。詳細については、「 Databricks エージェント認証」を参照してください。

6. [アクティビティ] から [クエリ サービング エンドポイント] を選択します。

7. [Serving Endpoint] から、以前に Databricks で作成したエージェントを選択します。
8. [ その他のオプション] の [ メッセージの内容 ] フィールドに、「 "What can you do?"」と入力します。プロンプトには必ず引用符を含めてください。
   

9. 開始イベントをサービス タスクに接続し、サービス タスクをキャンバス上の終了イベント ノードに接続します。

10. [ デバッグ] を選択して、このプロセスを実行します。実行が成功したら、グローバル変数を確認し、ソースからの {:} 応答 を探します: Databricks Hello World。返信の構造に注意してください。

    たとえば、「何ができますか?」というプロンプトに対するエージェントの回答は次のようになります。

    {
      "id": "bf185700-c100-41be-9d4b-6a8aee2d8444",
      "databricks_output": {
        "databricks_request_id": "bf185700-c100-41be-9d4b-6a8aee2d8444"
      },
      "messages": [
        {
          "role": "assistant",
          "id": "run--38ced1fa-f810-49c2-87fc-e831e5ffb1d0-0",
          "content": "I can provide information and answer questions to the best of my ability. I can also execute Python code in a stateless sandboxed environment using the provided function. If you have a specific question or task in mind, feel free to ask and I'll do my best to assist you."
        }
      ]
    }

エージェントの出力をプロセス変数に割り当てて、Maestro プロセスの進行状況に影響を与える必要があります。たとえば、Boolean 評価に基づいて決定を下す場合や、分類タスクの回答を使用する場合などです。

1. デザイン モードで、デザイン キャンバスからエージェントを選択します。

2. プロパティ パネルで [新規追加] を選択し、変数に agent_reponse という名前を付けます。

3. [値] で、 [Databricks Hello World の > 応答] > [メッセージ配列] > [メッセージの内容 (文字列)] を選択します。

先端： 実際には、エージェントから選択した構造化された出力を指定し、式エディターを使用して Maestro 内で出力を評価し、プロセス フローに必要な出力の特定の部分を抽出します。

式エディターを使用した Maestro でのエージェント出力の処理の例:

プロンプトが次の場合:

「フランスの首都は何ですか?」 {"capital":"Normandy")の形式でのみJSONで回答し、JSONのみ出力します

応答は result.reponse.messages[0].content です。(タイプ string):

{"capital":"パリ"}

JSON に変換する場合は、JSON 型の新しい変数 (例: answer_in_JSON ) を作成し、式エディターを使用します。

js:JSON.parse(result.response.messages[0].content)

js式の結果は(タイプ JSONです。

{
  "capital": "Paris"
}

トラブルシューティングとチューニング

接続を確立するだけでなく、Databricks ワークスペースと Maestro の両方でプロンプトをテストする必要があります。これにより、Maestro で使用し、変数に割り当てて、プロセス内の他のアクターに渡すのに最適な目的の出力が得られます。

Databricks 内のエージェントの システム プロンプト 内に詳細なプロンプトを残すことをお勧めします。実行時に Maestro からエージェントに提供される ユーザー プロンプト は、簡潔で要点を押さえたものである必要があります。この役割の主な役割は、エージェントが特定のタスクを実行し、期待される一貫性のある出力を生成するために必要な関連変数を示すことです。

人間向けの出力 (エスカレーションの理由など) には、次のようなものがあります 人間にとって自然なテキストとして簡単に渡されます。に期待される出力 API/ロボット アクションは厳密に構成する必要があります。以下に、次のようなユーザー プロンプトを示します エージェントから特定の出力を生成します。Studio 内で C# の式エディターを使用する 変数を 必要。

"What is the quantity on inventory of Order ID " + vars.orderId_1 + "respond only with a JSON object with the quantity in the key Order_Quantity. No explanations, only JSON"

エージェントは次のように返信します。

{"Order_Quantity":"100"}

エージェントへの要求と実際の応答の種類には特に注意してください。応答が JSON型のように見えても、実際には string型である可能性があります。