Auditoria de interações de LLM

Auditoria do AI Trust Layer para Documentos complexos e não estruturados; quais entradas e saídas de LLM são gravadas para operações de extração de documentos e como revisá-las para conformidade.

O recurso Documentos complexos e não estruturados envia todas as suas solicitações de Modelo de linguagem grande (LLM) por meio da UiPath AI Trust Layer™, que registra cada operação de extração de documento em um log de auditoria. O log de auditoria dá aos administradores visibilidade sobre os dados enviados aos LLMs e as respostas que eles retornaram, oferecendo suporte aos requisitos de conformidade, governança e transparência de dados.

Exibir entradas de auditoria

Cada extração aparece na guia Auditoria da página AI Trust Layer , no nome do produto IXP , incluindo as entradas enviadas para o Modelo de Linguagem Abrangente (LLM) e as saídas que ele retornou, para solicitações de tempo de design e tempo de execução.

As entradas permanecem visíveis por 60 dias e você pode exportá-las para períodos de retenção mais longos. Para obter detalhes sobre a visualização de auditoria, exportações e retenção, consulte Visualização de logs de auditoria.

Como as operações de extração são registradas

Cada trabalho de processamento de documentos é registrado como uma única ação auditada. Um trabalho pode envolver várias solicitações de LLM subjacentes, como pré-processamento seguido de extração, mas elas são exibidas juntas como uma entrada.

As operações de extração são auditadas em ambos os contextos em que as previsões são geradas:

• Tempo de design: previsões geradas ao criar e validar o modelo, como na visualização de anotação.
• Runtime: previsões solicitadas por modelos publicados, por meio de fluxos de trabalho do Studio ou da API.

Entradas auditadas

A entrada gravada para uma operação de extração inclui o seguinte:

• ID do projeto.
• Versão do modelo.
• Nome do arquivo do documento processado.
• Tipo de solicitação: tempo de design ou tempo de execução.
• Prompt, criado a partir da taxonomia e instruções de campo.
• Configuração do modelo: a opção de pré-processamento e as opções avançadas (método de atribuição, temperatura, P superior, semente e penalidade de frequência).

Saídas auditadas

A saída gravada para uma operação de extração é a resposta bruta do LLM para a solicitação de extração, contendo as previsões retornadas para o documento.

O que não é auditado

As entradas de auditoria não incluem o seguinte:

• Entrada e saída para etapas de pré-processamento ou pós-processamento.
• Detalhes da implementação sobre funcionalidades ou diferenciadores que adicionam valor. Por exemplo, opções de pré-processamento inteligentes, detalhes de implementação de atribuição.

Controle de dados auditados

As políticas do Automation Ops para a AI Trust Layer controlam como os dados de auditoria são tratados: você pode desativar o salvamento de entradas e saídas ou mascarar informações de identificação pessoal (PII) antes que as solicitações cheguem ao LLM. Para obter detalhes, consulte os seguintes recursos:

• Governança
• Configurações para políticas da Camada de confiança da IA