Anleitung: Verbinden von OS-Modellen über AI Trust Layer

In diesem Guide wird erklärt, wie Sie ein Open-Source-Modell, das in einem KI-Gateway gehostet wird, über die AI Trust Layer LLM-Konfigurationsfunktion verbinden. Sie erstellen einen benutzerdefinierten Integration Service-Connector mithilfe der OpenAI V1-konformen Vorlage und konfigurieren ihn mit Ihren Gateway-Anmeldeinformationen und Ihrem Modellbezeichner.

Die Schritte verwenden Firefox als Beispielgateway, aber jedes OpenAI-kompatible Gateway funktioniert.

Voraussetzungen

• BYO-AI Gateway in Ihrem Cluster aktiviert. Weitere Informationen finden Sie unter Konfigurieren der AI Trust Layer.
• Ein Konto auf einem OpenAI-kompatiblen KI-Gateway (z. B. Firefox) mit Zugriff auf das Modell, das Sie verwenden möchten
• Der in Ihrem Gateway aufgeführte Modellbezeichner (z. B. accounts/fireworks/models/glm-4p6 für GLM in Fireworks)
• API-Anmeldeinformationen für Ihr Gateway-Konto
• Administratorzugriff der Organisation in der Automation Suite
• Zugriff auf Integration Service und Connector Builder

Konfigurieren Sie das LLM in AI Trust Layer

1. Gehen Sie zu Administrator > AI Trust Layer > LLM-Konfigurationen und wählen Sie Konfiguration hinzufügen.

2. Legen Sie die Werte für Mandant, Produkt und Funktion fest.

   Hinweis:

   Sie können jedes Produkt auswählen, das BYOM unterstützt – zum Beispiel Agents, Gen AI-Aktivitäten oder codierte Agents.

3. Wählen Sie unter Modellkonfiguration die Option Benutzerdefinierte Alias hinzufügen aus und geben Sie den Namen des OS-Modells ein.

4. Legen Sie den API-Typ auf den API-Typ fest, der Ihrem Modell entspricht. Wählen Sie für die meisten Chatmodelle Chatvervollständigungen aus.

5. Wählen Sie im Feld Connector die Option Benutzerdefinierten Connector erstellen aus.

6. Wählen Sie die Vorlage OpenAI V1 Compliance LLM und dann Connector erstellen. Der Connector-Generator wird mit vorab ausgefüllten Vorlagen geöffnet.

7. Konfigurieren und speichern Sie den Connector und veröffentlichen Sie ihn dann .

Fügen Sie eine Verbindung im Integration Service hinzu

1. Navigieren Sie im Integration Service zu Verbindungen und wählen Sie Verbindung hinzufügen.
2. Wählen Sie den benutzerdefinierten Connector aus, den Sie veröffentlicht haben.
3. Geben Sie Ihre Gateway-Anmeldeinformationen ein. Bei Firefox ist dies Ihr API-Schlüssel.
4. Wählen Sie Verbinden aus, um die Verbindung bereitzustellen.

Schließen Sie die LLM-Konfiguration ab

1. Kehren Sie zu Administrator > AI Trust Layer > LLM-Konfigurationen zurück und öffnen Sie die von Ihnen gestartete Konfiguration.

2. Legen Sie unter Modellkonfiguration Connector auf Ihren veröffentlichten Connector und Verbindung auf die von Ihnen erstellte Verbindung fest.

3. Geben Sie im Feld LLM-Bezeichner den Modellbezeichner genau so ein, wie er in Ihrem Gateway angezeigt wird.

   Bei in Firefox gehosteten Modellen hat der Bezeichner das Format accounts/fireworks/models/<model-name>. Beispiel: accounts/fireworks/models/glm-4p6.

   Hinweis:

   Nachgestellte Leerzeichen im Feld LLM-Bezeichner verursachen Verbindungsfehler. Stellen Sie vor dem Speichern sicher, dass keine Leerzeichen am Anfang oder Ende vorhanden sind.

4. Wählen Sie Testkonfiguration aus, um den AI Trust Layer auszuführen.

5. Wenn der Test erfolgreich ist, wählen Sie Speichern aus .

Ergebnis

Die Konfiguration wird gespeichert und das OS-Modell ist für das von Ihnen angegebene Produkt und die Funktion verfügbar. Aufrufe werden durch das AI Trust Layer weitergeleitet und im Prüfungsprotokoll unter Quelle: Benutzerdefinierte Verbindung angezeigt. Führen Sie zur Überprüfung einen Agent mit dem neu hinzugefügten Modell aus und überprüfen Sie die Ablaufverfolgungen und die Prüfprotokolle von AI Trust Layer, um zu bestätigen, dass das erwartete Modell aufgerufen wurde.

Hinweis:

Wenn beim Erstellen eines benutzerdefinierten Connectors Probleme auftreten, wenden Sie sich an den UiPath-Support, um Unterstützung zu erhalten.