Exportar documentos

A caixa de diálogo Exportar arquivos permite exportar facilmente dados para modelos de ML de treinamento.

Clique no botão Exportar na barra de gerenciamento.

A caixa de diálogo contém três guias:

• Exportar agora
• Agendamento
• Logs
  
  

  

  
  

Exportar agora

A guia Exportar agora permite:

• Baixe os dados localmente usando o botão Download.
• Exporte os dados para o AI Center usando o botão Exportar. As pastas exportadas podem ser encontradas no AI Center na pasta export (Datasets > dataset_name > export).

Se você baixar primeiro e depois quiser carregar esse conjunto de dados para o AI Center, certifique-se de descompactar o conjunto de dados antes de fazer o upload.

Se nenhum esquema for definido, todas as opções de exportação serão desabilitadas.

Se for definido um esquema, é obrigatório inserir um nome para sua exportação, caso contrário, os botões Download e Exportar ficam desabilitados. Um nome válido pode ter até 24 caracteres e não deve conter caracteres especiais.

Você pode optar por exportar uma das seguintes opções:

• Resultados de pesquisa atuais - os documentos rotulados filtrados por uma palavra-chave predefinida/lote nomeado ou por uma consulta de texto. Se nenhum filtro for aplicado, todos os documentos rotulados na exibição atual serão exportados.
• Todos rotulados - todos os documentos com pelo menos um campo rotulado, de qualquer tipo; mais precisamente, os documentos do filtro rotulado.
• Esquema - um arquivo zip contendo os campos e suas configurações que podem ser importados para uma sessão diferente do Data Manager.

A caixa de seleção Exportação compatível com versões anteriores permite aplicar o comportamento de exportação herdado, que é exportar cada página como um documento separado. Tente isso se o modelo treinado usando a exportação padrão estiver abaixo das expectativas. Deixe esta opção desmarcada para exportar os documentos em seu formulário original de várias páginas.

Importante:

A versão 2021.10 do Data Manager oferece suporte à rotulagem de documentos de várias páginas. Esta é uma grande mudança em relação às versões anteriores, nas quais cada página era rotulada separadamente. Rotular e exportar documentos de várias páginas pressupõe que cada documento represente um único documento lógico. Por exemplo, um documento de seis páginas pode conter uma única fatura de seis páginas, mas não deve conter três faturas diferentes, com duas páginas cada. Isso é particularmente importante para conjuntos de avaliação.

Este requisito não é relevante para exportações retrocompatíveis.

Validação de exportação

Para exportar um conjunto de dados, todos os campos precisam estar rotulados em pelo menos 10 documentos diferentes. Caso contrário, a exportação falhará com as seguintes mensagens:

Para campos de Classificação, há um requisito adicional: cada opção precisa estar rotulada em pelo menos um documento. Caso contrário, a exportação falha com a seguinte mensagem:

Ao exportar apenas os dados do conjunto de avaliação, todas as validações são desativadas.

Formato do conjunto de dados

Uma pasta contendo o conjunto de dados exportado proveniente do Data Manager. Isso inclui:

• schema.json: um arquivo contendo os campos a serem extraídos e seus tipos
• split.csv: um arquivo contendo a divisão por cada documento que será usado para TREINAR ou VALIDAR durante o Pipeline de Treinamento
• images: uma pasta contendo imagens de todas as páginas rotuladas
• latest: uma pasta contendo arquivos .json com os dados rotulados de cada página
  
  

  

  
  

Agendar Visualização pública

A funcionalidade Agendar exportação está documentada aqui.

Logs

A guia Logs exibe o registro mais recente da exportação.

No caso de uma exportação bem-sucedida, o log mostra o número de documentos processados e a duração da exportação.

No caso de uma exportação de esquema bem-sucedida, o log mostra a duração da exportação.

Durante a exportação de arquivo, você pode verificar seu status. Isso é particularmente útil para exportações maiores.

As mensagens de erro também são exibidas em Logs, por exemplo:

No caso de um retreinamento automático bem-sucedido, os logs de importação da pasta fine-tune do conjunto de dados também são exibidos: