Audit des interactions LLM

Audit AI Trust Layer pour les Documents complexes et non structurés; quelles entrées et sorties LLM sont enregistrées pour les opérations d’extraction de documents et comment examiner leur conformité.

La fonctionnalité Documents complexes et non structurés envoie toutes ses requêtes de modèle LLM via UiPath AI Trust Layer™, qui enregistre chaque opération d'extraction de documents dans un journal d'audit. Le journal d'audit donne aux administrateurs une visibilité sur les données envoyées aux LLM et les réponses qu'ils ont renvoyées, prenant en charge les exigences de conformité, de gouvernance et de transparence des données.

Afficher les entrées d'audit

Chaque extraction apparaît dans l'onglet Audit de la page AI Trust Layer , sous le nom du produit IXP , y compris les entrées envoyées au modèle LLM et les sorties qu'il renvoie, pour les requêtes de conception et d'exécution.

Les entrées restent visibles pendant 60 jours et vous pouvez les exporter pour des périodes de rétention plus longues. Pour de plus amples informations sur la vue d'audit, les exportations et la rétention, consultez la section Consulter des journaux d'audit.

Comment les opérations d’extraction sont enregistrées

Chaque tâche de traitement de document est enregistrée sous la forme d'une même action auditée. Une tâche peut impliquer plusieurs requêtes LLM sous-jacentes, telles qu'un prétraitement suivi d'une extraction, mais celles-ci sont affichées ensemble sous forme d'une seule entrée.

Les opérations d'extraction sont auditées dans les deux contextes où les prédictions sont générées:

• Au moment de la conception: prédictions générées lors de la création et de la validation du modèle, telles que dans la vue Annotation.
• Runtime: prédictions demandées par les modèles publiés, via les workflows Studio ou l’API.

Entrées auditées

L’entrée enregistrée pour une opération d’extraction comprend les éléments suivants:

• ID de projet.
• Version du modèle.
• Nom de fichier du document traité.
• Type de requête: phase de conception ou runtime.
• Invite créée à partir de la taxonomie et des instructions du champ.
• Configuration du modèle: l'option de prétraitement et les options avancées (méthode d'attribution, température, Top P, référence et pénalité de fréquence).

Sorties auditées

La sortie enregistrée pour une opération d'extraction est la réponse LLM brute de la demande d'extraction, contenant les prédictions renvoyées pour le document.

Ce qui n'est pas audité

Les entrées d'audit n'incluent pas les éléments suivants:

• Entrée et sortie pour les étapes de prétraitement ou de post-traitement.
• Détails de l'implémentation des fonctionnalités d'ajout de valeur ou des différenciateurs. Par exemple, les options de prétraitement intelligentes, les détails de l'implémentation de l'attribution.

Contrôler les données auditées

Les politiques Automation Ops pour AI Trust Layer contrôlent la façon dont les données d'audit sont gérées: vous pouvez désactiver l'enregistrement des entrées et des sorties, ou masquer les informations permettant d'identifier une personne avant que les demandes n'atteignent le LLM. Pour de plus amples informations, consultez les ressources suivantes:

• Gouvernance
• Paramètres des politiques AI Trust Layer