サービング エンドポイントにクエリを実行

説明

重要:

This activity requires the USE CATALOG permission for Catalog <catalog_name> on the connection.

Databricks Agents は、データを任意の AI モデルと安全に接続して、正確なドメイン固有のアプリケーションを作成します。Mosaic AI ゲートウェイを通じて、多くの異なるフレームワークを使用するエージェントをデプロイし、 サービングエンドポイント を割り当てることができます (Mosaic AI モデルサービング)。

このアクティビティでは、Maestro がオーケストレーションする自動化プロセスの参加者として Databricks エージェントを使用できます。

Databricks エージェントを作成する

汎用 LLM ベースのエージェント、情報抽出、およびその他の種類のエージェントDatabricks は、Serving エンドポイントを介して割り当てられ、公開されている限り、Databricks エージェント コネクタで使用できます。ほとんどの場合、Maestro との連携では、Agent で出力を構造化された JSON スキーマでレンダリングする必要があります。Databricks の情報抽出エージェントがその好例です。ただし、例を使用して、明確に定義された単純なスキーマで応答するようにエージェントにプロンプトを出すことができます。

アクティビティの使用方法

このアクティビティを Maestro のエージェンティック プロセスで使用するには、以下の手順に従います。

1. キャンバスにサービス タスク要素を追加し、タスクの [ プロパティ ] パネルを開きます。
2. このサービス タスクの名前を Databricks Hello Worldとします。
3. [ 実装 ] セクションの [ アクション ] ドロップダウン リストから、[ 外部エージェントを起動し、待機] を選択します。
4. Databricks エージェント コネクタを選択します。
5. 既存のコネクションを選択するか、新しいコネクションを作成します。詳細については、「 Databricks エージェント認証」を参照してください。
6. [アクティビティ] から [クエリ サービング エンドポイント] を選択します。
7. [Serving Endpoint] から、以前に Databricks で作成したエージェントを選択します。
8. Messages フィールドは複雑な入力であるため、ARRAY として指定し、その要素をネストされたプロパティを持つ OBJECTS として指定する必要があります。

   1. [メッセージ] フィールドを選択します。

   2. 適切なセレクターを選択し、[ JSON エディター] を選択します。

   3. [ {} ] を選択して ARRAY に変更します。ARRAY は [ []] と表示されます。

   4. [ {x} ] を選択し、[OBJECT] を選択します。

   5. 文字列として *role* 、値として "user" を持つ入れ子になった要素を追加 (+) します。

   6. 入れ子になった要素を文字列として *content* 追加 (+) します。これは、 "What is the capital of France"とともにエージェントへのプロンプトです。

      

9. 開始イベントをサービス タスクに接続し、サービス タスクをキャンバス上の終了イベント ノードに接続します。
10. [ デバッグ] を選択して、このプロセスを実行します。実行が成功したら、グローバル変数を確認し、ソースからの {:} 応答 を探します: Databricks Hello World。返信の構造に注意してください。たとえば、「何ができますか?」というプロンプトに対するエージェントの回答は次のようになります。

    {
      "id": "bf185700-c100-41be-9d4b-6a8aee2d8444",
      "databricks_output": {
        "databricks_request_id": "bf185700-c100-41be-9d4b-6a8aee2d8444"
      },
      "messages": [
        {
          "role": "assistant",
          "id": "run--38ced1fa-f810-49c2-87fc-e831e5ffb1d0-0",
          "content": "I can provide information and answer questions to the best of my ability. I can also execute Python code in a stateless sandboxed environment using the provided function. If you have a specific question or task in mind, feel free to ask and I'll do my best to assist you."
        }
      ]
    }
    

エージェントの出力をプロセス変数に割り当てて、Maestro プロセスの進行状況に影響を与える必要があります。たとえば、Boolean 評価に基づいて決定を下す場合や、分類タスクの回答を使用する場合などです。

1. デザイン モードで、デザイン キャンバスからエージェントを選択します。
2. プロパティ パネルで [新規追加] を選択し、変数に agent_reponse という名前を付けます。
3. [値] で、 [Databricks Hello World の > 応答] > [メッセージ配列] > [メッセージの内容 (文字列)] を選択します。

ヒント:

実際には、エージェントから選択した構造化された出力を指定し、式エディターを使用して Maestro 内で出力を評価し、プロセス フローに必要な出力の特定の部分を抽出します。

式エディターを使用した Maestro でのエージェント出力の処理の例:

プロンプトが次の場合:

"What is the capital of France?" answer in a JSON only on the form of {"capital":"Normandy") only JSON output

応答は result.reponse.messages[0].content です。(タイプ string):

{"capital":"Paris"}

JSON に変換する場合は、JSON 型の新しい変数 (例: answer_in_JSON ) を作成し、式エディターを使用します。

js:JSON.parse(result.response.messages[0].content)

js式の結果は(タイプ JSONです。

{
  "capital": "Paris"
}

トラブルシューティングとチューニング

接続を確立するだけでなく、Databricks ワークスペースと Maestro の両方でプロンプトをテストする必要があります。これにより、Maestro で使用し、変数に割り当てて、プロセス内の他のアクターに渡すのに最適な目的の出力が得られます。

Databricks 内のエージェントの システム プロンプト 内に詳細なプロンプトを残すことをお勧めします。実行時に Maestro からエージェントに提供される ユーザー プロンプト は、簡潔で要点を押さえたものである必要があります。この役割の主な役割は、エージェントが特定のタスクを実行し、期待される一貫性のある出力を生成するために必要な関連変数を示すことです。

人間向けの出力 (エスカレーションの理由など) は、人間向けの自然なテキストとして簡単に渡すことができます。API/ロボット アクションに期待される出力は厳密に構成する必要があります。以下に、エージェントから特定の出力を生成するユーザー プロンプトの例を示します。必要に応じて、Studio 内の C# 式エディターを使用して変数を追加します。

"What is the quantity on inventory of Order ID " + vars.orderId_1 + "respond only with a JSON object with the quantity in the key Order_Quantity. No explanations, only JSON"

エージェントは次のように返信します。

{"Order_Quantity":"100"}

エージェントへの要求と実際の応答の種類には特に注意してください。応答が JSON型のように見えても、実際には string型である可能性があります。