Anleitung: Verbinden von Open-Source-Modellen über AI Trust Layer

Verbinden Sie ein Open-Source-Modell auf einem OpenAI-kompatiblen Gateway mit UiPath-Produkten über AI Trust Layer mithilfe der OpenAI V1 Compliant LLM-Vorlage.

Hinweis:

Diese Funktion ist derzeit auf Anfrage allgemein für Enterprise-Kunden verfügbar.

In diesem Guide wird erklärt, wie Sie ein Open-Source-Modell, das in einem KI-Gateway gehostet wird, über die AI Trust Layer LLM-Konfigurationsfunktion verbinden. Sie erstellen einen benutzerdefinierten Integration Service-Connector mithilfe der OpenAI V1-konformen Vorlage und konfigurieren ihn mit Ihren Gateway-Anmeldeinformationen und Ihrem Modellbezeichner.

Die Schritte verwenden Firefox als Beispielgateway, aber jedes OpenAI-kompatible Gateway funktioniert.

Voraussetzungen

• Benutzerdefinierte Connectors für das AI Trust Layer für Ihre Organisation aktiviert (derzeit auf Anfrage für Enterprise-Kunden verfügbar).
• Ein Konto auf einem OpenAI-kompatiblen KI-Gateway (z. B. Firefox) mit Zugriff auf das Modell, das Sie verwenden möchten
• Der in Ihrem Gateway aufgeführte Modellbezeichner (z. B. accounts/fireworks/models/glm-4p6 für GLM in Fireworks)
• API-Anmeldeinformationen für Ihr Gateway-Konto
• Administratorzugriff für Organization in Test Cloud
• Zugriff auf Integration Service und Connector Builder

Konfigurieren Sie das LLM in AI Trust Layer

1. Gehen Sie zu Administrator > AI Trust Layer > LLM-Konfigurationen und wählen Sie Konfiguration hinzufügen.

2. Legen Sie die Werte für Mandant, Produkt und Funktion fest.

   Hinweis:

   Sie können ein beliebiges Produkt auswählen, das Bring Your Own Model (BYOM) unterstützt – z. B. Agents, GenAI-Aktivitäten oder Coded Agents.

3. Wählen Sie unter Modellkonfiguration die Option Benutzerdefiniertes Alias hinzufügen aus und geben Sie den Namen des Open-Source-Modells ein.

4. Legen Sie den API-Typ auf den API-Typ fest, der Ihrem Modell entspricht. Wählen Sie für die meisten Chatmodelle Chatvervollständigungen aus.

5. Wählen Sie im Feld Connector die Option Benutzerdefinierten Connector erstellen aus.

6. Wählen Sie die Vorlage OpenAI V1 Compliance LLM und dann Connector erstellen. Der Connector-Generator wird mit vorab ausgefüllten Vorlagen geöffnet.

7. Konfigurieren Sie den Connector mit Ihren Gateway-Anmeldeinformationen und Modelleinstellungen.

8. Speichern Sie den Connector.

9. Veröffentlichen Sie den Connector.

Fügen Sie eine Verbindung im Integration Service hinzu

1. Navigieren Sie im Integration Service zu Verbindungen und wählen Sie Verbindung hinzufügen.
2. Wählen Sie den benutzerdefinierten Connector aus, den Sie veröffentlicht haben.
3. Geben Sie Ihre Gateway-Anmeldeinformationen ein. Bei Firefox ist dies Ihr API-Schlüssel.
4. Wählen Sie Verbinden aus, um die Verbindung bereitzustellen.

Schließen Sie die LLM-Konfiguration ab

1. Kehren Sie zu Administrator > AI Trust Layer > LLM-Konfigurationen zurück und öffnen Sie die von Ihnen gestartete Konfiguration.

2. Legen Sie unter Modellkonfiguration Connector auf Ihren veröffentlichten Connector und Verbindung auf die von Ihnen erstellte Verbindung fest.

3. Geben Sie im Feld LLM-Bezeichner den Modellbezeichner genau so ein, wie er in Ihrem Gateway angezeigt wird.

   Bei in Firefox gehosteten Modellen hat der Bezeichner das Format accounts/fireworks/models/<model-name>. Beispiel: accounts/fireworks/models/glm-4p6.

   Hinweis:

   Nachgestellte Leerzeichen im Feld LLM-Bezeichner verursachen Verbindungsfehler. Stellen Sie vor dem Speichern sicher, dass keine Leerzeichen am Anfang oder Ende vorhanden sind.

4. Wählen Sie Testkonfiguration aus, um den AI Trust Layer auszuführen.

5. Wenn der Test erfolgreich ist, wählen Sie Speichern aus .

Ergebnis

Die Konfiguration wird gespeichert und das OS-Modell ist für das von Ihnen angegebene Produkt und die Funktion verfügbar. Aufrufe werden durch das AI Trust Layer weitergeleitet und im Prüfungsprotokoll unter Quelle: Benutzerdefinierte Verbindung angezeigt. Führen Sie zur Überprüfung einen Agent mit dem neu hinzugefügten Modell aus und überprüfen Sie die Ablaufverfolgungen und die Prüfprotokolle von AI Trust Layer, um zu bestätigen, dass das erwartete Modell aufgerufen wurde.

Hinweis:

Wenn beim Erstellen eines benutzerdefinierten Connectors Probleme auftreten, wenden Sie sich an den UiPath-Support, um Unterstützung zu erhalten.