- Visão geral
- Criação do modelo
- Avaliação do modelo
- Implantação do modelo
- Consumo de modelos
- Desenvolvedor
- Perguntas frequentes
Auditoria de interações de LLM
Auditoria do AI Trust Layer das operações de extração de documentos do nó Extract no UiPath Maestro™ Flow, as entradas e saídas do LLM que ele registra e como revisá-las.
O nó Flow Extract envia todas as suas solicitações de Modelo de Linguagem Abrangente (LLM) por meio da UiPath AI Trust Layer™, que registra cada operação de extração de documento em um log de auditoria. O log de auditoria dá aos administradores visibilidade sobre os dados enviados aos LLMs e as respostas que eles retornaram, oferecendo suporte aos requisitos de conformidade, governança e transparência de dados.
Exibir entradas de auditoria
Cada operação de extração aparece na guia Auditoria da página AI Trust Layer , no nome do produto IXP , incluindo as entradas enviadas para o Modelo de Linguagem Abrangente (LLM) e as saídas que ele retornou, para solicitações de tempo de design e runtime.
As entradas permanecem visíveis por 60 dias e você pode exportá-las para períodos de retenção mais longos. Para obter detalhes sobre a visualização de auditoria, exportações e retenção, consulte Visualização de logs de auditoria.
Como as operações de extração são registradas
Cada trabalho de processamento de documentos é registrado como uma única ação auditada. Um trabalho pode envolver várias solicitações de LLM subjacentes, como pré-processamento seguido de extração, mas elas são exibidas juntas como uma entrada.
As operações de extração são auditadas em ambos os contextos em que as previsões são geradas:
- Tempo de design: previsões geradas enquanto você cria e avalia o modelo de extração do nó Extract .
- Runtime: previsões solicitadas quando o nó Extract é executado como parte de um fluxo implantado.
Entradas auditadas
A entrada gravada para uma operação de extração inclui o seguinte:
- ID do projeto.
- Versão do modelo.
- Nome do arquivo do documento processado.
- Tipo de solicitação: tempo de design ou tempo de execução.
- Prompt, criado a partir da taxonomia e instruções de campo.
- Configuração do modelo: a opção de pré-processamento e as opções avançadas (método de atribuição, temperatura, P superior, semente e penalidade de frequência).
Saídas auditadas
A saída gravada para uma operação de extração é a resposta bruta do LLM para a solicitação de extração, contendo as previsões retornadas para o documento.
O que não é auditado
As entradas de auditoria não incluem o seguinte:
- Entrada e saída para etapas de pré-processamento ou pós-processamento.
- Detalhes da implementação sobre funcionalidades ou diferenciadores que adicionam valor. Por exemplo, opções de pré-processamento inteligentes, detalhes de implementação de atribuição.
Controle de dados auditados
As políticas do Automation Ops para a AI Trust Layer controlam como os dados de auditoria são tratados: você pode desativar o salvamento de entradas e saídas ou mascarar informações de identificação pessoal (PII) antes que as solicitações cheguem ao LLM. Para obter detalhes, consulte os seguintes recursos: