How-to guide: Connecting open-source models through AI Trust Layer

Connect an open-source model on an OpenAI-compatible gateway to UiPath products via AI Trust Layer using the OpenAI V1 Compliant LLM template.

注:

This capability is currently generally available for enterprise customers upon request.

このガイドでは、AI ゲートウェイでホストされているオープンソース モデルを、AI Trust Layer LLM の設定 機能を使用して接続する方法について説明します。OpenAI V1 準拠のテンプレートを使用してカスタムの Integration Service コネクタを作成し、ゲートウェイの資格情報とモデル識別子を使用して構成します。

この手順では、ゲートウェイの例として Fireworks を使用しますが、OpenAI 互換ゲートウェイであればどれでも機能します。

前提条件

• Custom connectors for AI Trust Layer enabled for your organization (currently available upon request for enterprise customers).
• 使用するモデルへのアクセス権を持つ、OpenAI 互換の AI ゲートウェイ (Fireworks など) のアカウント
• ゲートウェイにリストされているモデル識別子(例えば、Fireworks の GLM の場合は accounts/fireworks/models/glm-4p6 )
• ゲートウェイ アカウントの API 資格情報
• Organization administrator access in Test Cloud
• Integration Service とコネクタ ビルダーへのアクセス

AI Trust Layer で LLM を設定する

1. [ 管理 ] > [AI Trust Layer ] > [LLM の設定 ] に移動し、[ 設定を追加] を選択します。

2. [テナント]、[製品]、および [機能] の値を設定します。

   注:

   You can select any product that supports Bring Your Own Model (BYOM) — for example, Agents, Gen AI Activities, or Coded Agents.

3. Under Model Configuration, select Add Custom Alias and enter the name of the open-source model.

4. [ API の種類 ] をモデルに対応する API の種類に設定します。ほとんどのチャット モデルでは、[ チャットの完了] を選択します。

5. [コネクタ] フィールドで、[カスタム コネクタを作成] を選択します。

6. [OpenAI V1 準拠の LLM] テンプレートを選択し、[コネクタを作成] を選択します。コネクタ ビルダーが開き、テンプレートが事前に入力された状態で開きます。

7. Configure the connector with your gateway credentials and model settings.

8. Save the connector.

9. Publish the connector.

Integration Service でコネクションを追加する

1. Integration Service で [ コネクション ] に移動し、[ コネクションを追加] を選択します。
2. パブリッシュしたカスタム コネクタを選択します。
3. ゲートウェイの資格情報を入力します。Fireworks の場合、これは API キーです。
4. [ 接続 ] を選択して、コネクションをプロビジョニングします。

LLM の設定を完了します

1. [管理] > [AI Trust Layer] > [LLM の設定] に戻り、開始した設定を開きます。

2. [ モデルの設定] で、[ コネクタ ] をパブリッシュ済みのコネクタに設定し、[ コネクション ] を作成したコネクションに設定します。

3. [ LLM の識別子 ] フィールドに、ゲートウェイに表示されているとおりにモデル識別子を入力します。

   Fireworks でホストされるモデルの場合、識別子は accounts/fireworks/models/<model-name>の形式に従います。例: accounts/fireworks/models/glm-4p6。

   注:

   [LLM の識別子] フィールドの末尾にスペースがあると、接続エラーが発生します。保存する前に、先頭または末尾にスペースがないことを確認します。

4. [ 設定をテスト ] を選択して、AI Trust Layer プローブを実行します。

5. プローブが成功した場合は、 [ 保存] を選択します。

結果

構成は保存され、指定した製品と機能で OSS モデルを使用できるようになります。呼び出しは AI Trust Layer を経由してルーティングされ、監査ログの [ソース: カスタム接続] に表示されます。検証するには、新しく追加されたモデルを使用してエージェントを実行し、トレースと AI Trust Layer の監査ログを確認して、想定されるモデルが呼び出されたことを確認します。

注:

カスタム コネクタの作成中に問題が発生した場合は、UiPath サポートにお問い合わせください。