Exportar documentos

A caixa de diálogo Exportar arquivos permite exportar facilmente dados para modelos de ML de treinamento.

Clique no botão Exportar a partir da barra de gerenciamento.

A caixa de diálogo contém três guias:

• Exportar agora

• Agendamento

• Logs

  

Exportar agora

A guia Exportar agora permite:

• Baixe os dados localmente usando o botão Download.
• Exporte os dados para o AI Center usando o botão Exportar. As pastas exportadas podem ser encontradas no AI Center na pasta export (Datasets > dataset_name > export).

Se você baixar primeiro e depois quiser carregar esse conjunto de dados para o AI Center, certifique-se de descompactar o conjunto de dados antes de fazer o upload.

Se nenhum esquema for definido, todas as opções de exportação serão desabilitadas.

Se for definido um esquema, é obrigatório inserir um nome para sua exportação, caso contrário, os botões Download e Exportar ficam desabilitados. Um nome válido pode ter até 24 caracteres e não deve conter caracteres especiais.

Você pode optar por exportar uma das seguintes opções:

• Resultados de pesquisa atuais - os documentos rotulados filtrados por uma palavra-chave predefinida/lote nomeado ou por uma consulta de texto. Se nenhum filtro for aplicado, todos os documentos rotulados na exibição atual serão exportados.
• Todos rotulados - todos os documentos com pelo menos um campo rotulado, de qualquer tipo; mais precisamente, os documentos do filtro rotulado.
• Schema - a zip file containing the fields and their configurations which can be imported into a different Data Manager session.

A caixa de seleção Exportação compatível com versões anteriores permite aplicar o comportamento de exportação herdado, que é exportar cada página como um documento separado. Tente isso se o modelo treinado usando a exportação padrão estiver abaixo das expectativas. Deixe esta opção desmarcada para exportar os documentos em seu formulário original de várias páginas.

Importante:

The 2021.10 release of Data Manager supports labeling multi-page documents. This is a major change from previous releases where each page was labeled separately. Labeling and exporting multi-page documents assumes each document represents a single logical document. For instance, a six-page document may contain a single six-page invoice but it should not contain three different invoices, two pages each. This is particularly important for evaluation sets.

Este requisito não é relevante para exportações retrocompatíveis.

Validação de exportação

Para exportar um conjunto de dados, todos os campos precisam estar rotulados em pelo menos 10 documentos diferentes. Caso contrário, a exportação falhará com as seguintes mensagens:

Para campos de Classificação, há um requisito adicional: cada opção precisa estar rotulada em pelo menos um documento. Caso contrário, a exportação falha com a seguinte mensagem:

Ao exportar apenas os dados do conjunto de avaliação, todas as validações são desativadas.

Formato do conjunto de dados

A folder containing the exported dataset coming from Data Manager. This includes:

• schema.json: um arquivo contendo os campos a serem extraídos e seus tipos

• split.csv: um arquivo contendo a divisão por cada documento que será usado para TREINAR ou VALIDAR durante o Pipeline de Treinamento

• images: uma pasta contendo imagens de todas as páginas rotuladas

• latest: uma pasta contendo arquivos .json com os dados rotulados de cada página

  

Agendar Visualização pública

The Schedule Export feature is documented here.

Logs

A guia Logs exibe o registro mais recente da exportação.

No caso de uma exportação bem-sucedida, o log mostra o número de documentos processados e a duração da exportação.

No caso de uma exportação de esquema bem-sucedida, o log mostra a duração da exportação.

Durante a exportação de arquivo, você pode verificar seu status. Isso é particularmente útil para exportações maiores.

As mensagens de erro também são exibidas em Logs, por exemplo:

No caso de um retreinamento automático bem-sucedido, os logs de importação da pasta fine-tune do conjunto de dados também são exibidos: