How-to guide: Connecting open-source models through AI Trust Layer

Connect an open-source model on an OpenAI-compatible gateway to UiPath products via AI Trust Layer using the OpenAI V1 Compliant LLM template.

Hinweis:

This capability is currently generally available for enterprise customers upon request.

In diesem Guide wird erklärt, wie Sie ein Open-Source-Modell, das in einem KI-Gateway gehostet wird, über die AI Trust Layer LLM-Konfigurationsfunktion verbinden. Sie erstellen einen benutzerdefinierten Integration Service-Connector mithilfe der OpenAI V1-konformen Vorlage und konfigurieren ihn mit Ihren Gateway-Anmeldeinformationen und Ihrem Modellbezeichner.

Die Schritte verwenden Firefox als Beispielgateway, aber jedes OpenAI-kompatible Gateway funktioniert.

Voraussetzungen

• Custom connectors for AI Trust Layer enabled for your organization (currently available upon request for enterprise customers).
• Ein Konto auf einem OpenAI-kompatiblen KI-Gateway (z. B. Firefox) mit Zugriff auf das Modell, das Sie verwenden möchten
• Der in Ihrem Gateway aufgeführte Modellbezeichner (z. B. accounts/fireworks/models/glm-4p6 für GLM in Fireworks)
• API-Anmeldeinformationen für Ihr Gateway-Konto
• Organization administrator access in Test Cloud
• Zugriff auf Integration Service und Connector Builder

Konfigurieren Sie das LLM in AI Trust Layer

1. Gehen Sie zu Administrator > AI Trust Layer > LLM-Konfigurationen und wählen Sie Konfiguration hinzufügen.

2. Legen Sie die Werte für Mandant, Produkt und Funktion fest.

   Hinweis:

   You can select any product that supports Bring Your Own Model (BYOM) — for example, Agents, Gen AI Activities, or Coded Agents.

3. Under Model Configuration, select Add Custom Alias and enter the name of the open-source model.

4. Legen Sie den API-Typ auf den API-Typ fest, der Ihrem Modell entspricht. Wählen Sie für die meisten Chatmodelle Chatvervollständigungen aus.

5. Wählen Sie im Feld Connector die Option Benutzerdefinierten Connector erstellen aus.

6. Wählen Sie die Vorlage OpenAI V1 Compliance LLM und dann Connector erstellen. Der Connector-Generator wird mit vorab ausgefüllten Vorlagen geöffnet.

7. Configure the connector with your gateway credentials and model settings.

8. Save the connector.

9. Publish the connector.

Fügen Sie eine Verbindung im Integration Service hinzu

1. Navigieren Sie im Integration Service zu Verbindungen und wählen Sie Verbindung hinzufügen.
2. Wählen Sie den benutzerdefinierten Connector aus, den Sie veröffentlicht haben.
3. Geben Sie Ihre Gateway-Anmeldeinformationen ein. Bei Firefox ist dies Ihr API-Schlüssel.
4. Wählen Sie Verbinden aus, um die Verbindung bereitzustellen.

Schließen Sie die LLM-Konfiguration ab

1. Kehren Sie zu Administrator > AI Trust Layer > LLM-Konfigurationen zurück und öffnen Sie die von Ihnen gestartete Konfiguration.

2. Legen Sie unter Modellkonfiguration Connector auf Ihren veröffentlichten Connector und Verbindung auf die von Ihnen erstellte Verbindung fest.

3. Geben Sie im Feld LLM-Bezeichner den Modellbezeichner genau so ein, wie er in Ihrem Gateway angezeigt wird.

   Bei in Firefox gehosteten Modellen hat der Bezeichner das Format accounts/fireworks/models/<model-name>. Beispiel: accounts/fireworks/models/glm-4p6.

   Hinweis:

   Nachgestellte Leerzeichen im Feld LLM-Bezeichner verursachen Verbindungsfehler. Stellen Sie vor dem Speichern sicher, dass keine Leerzeichen am Anfang oder Ende vorhanden sind.

4. Wählen Sie Testkonfiguration aus, um den AI Trust Layer auszuführen.

5. Wenn der Test erfolgreich ist, wählen Sie Speichern aus .

Ergebnis

Die Konfiguration wird gespeichert und das OS-Modell ist für das von Ihnen angegebene Produkt und die Funktion verfügbar. Aufrufe werden durch das AI Trust Layer weitergeleitet und im Prüfungsprotokoll unter Quelle: Benutzerdefinierte Verbindung angezeigt. Führen Sie zur Überprüfung einen Agent mit dem neu hinzugefügten Modell aus und überprüfen Sie die Ablaufverfolgungen und die Prüfprotokolle von AI Trust Layer, um zu bestätigen, dass das erwartete Modell aufgerufen wurde.

Hinweis:

Wenn beim Erstellen eines benutzerdefinierten Connectors Probleme auftreten, wenden Sie sich an den UiPath-Support, um Unterstützung zu erhalten.