Classificador baseado em palavra-chave

O que é classificador baseado em palavras-chave

The Keyword Based Classifier is a simple classifier that searches for repeating string sequences within a given file, in order to perform document classification.

O algoritmo é construído em torno do conceito de títulos de documentos e parte da premissa de que os tipos de documentos com títulos geralmente têm uma variação relativamente baixa na aparência desses títulos nos documentos.

Ao classificar um arquivo em um tipo de documento, o classificador baseado em palavras-chave:

• encontra a melhor string correspondente ou coleção de strings, a partir de seus dados de aprendizado, que se aplicam a um tipo de documento de taxonomia. A confiança é calculada com base em:
  • quão próxima é a correspondência do início do documento,
  • quantas vezes a correspondência foi confirmada por trabalhadores do conhecimento e reforçada nos dados de aprendizagem.
• relatórios sobre o tipo de documento de pontuação mais alta, com a configuração correspondente subjacente.

O classificador baseado em palavras-chave pode funcionar com uma única entrada de string (uma string que é considerada como uma entrada nos dados de aprendizado que o classificador está usando) ou com uma entrada contendo várias strings (duas ou mais strings que formam uma única entrada). No caso de várias sequências, o Classificador aplica o algoritmo de correspondência em cada sequência individualmente e, em seguida, calcula uma média simples das confianças das correspondências identificadas.

Exemplo

Vamos analisar o exemplo abaixo:

• se uma entrada contiver uma única string, por exemplo, "esta é minha correspondência", então o Classificador baseado em palavras-chave pesquisa e classifica essa string como uma possível correspondência de tipo de documento (de acordo com o tipo de documento ao qual a string é atribuída).
• se uma entrada contiver três strings, por exemplo, ["isto é uma correspondência", "precisa de mais evidências para filtragem", "mais uma"], o Classificador baseado em palavras-chave pesquisa e classifica cada uma das três strings e, em seguida, calcula uma média simples das confianças correspondentes para relatórios.

The keyword set can be defined within a line or by using multiple lines. When set within a line it identifies the given input, for example, if x,y, and z are listed as keywords, then the search is looking for x and y and z.

Ter várias linhas definidas significa que a pesquisa procura as palavras-chave listadas na primeira linha, ou na segunda linha, ou na terceira até cobrir todas as linhas e identificar as melhores correspondências, aumentando assim a pontuação de confiança simplesmente por ter identificado mais correspondências de mais palavras-chave disponíveis.

Quando usar

Você deve considerar usar este classificador se:

• seus arquivos contêm um e apenas um tipo de documento cada (portanto, nenhuma divisão de arquivo é necessária);
• seus arquivos contêm evidências relacionadas ao tipo de documento nas três primeiras páginas do arquivo.

Requisitos especiais

Não há requisitos especiais para usar o Classificador baseado em palavras-chave.

Como configurar no tempo de design

You can configure the Keyword Based Classifier at design-time, by simply accessing the Manage Learning wizard of the activity. The same wizard can be used for reviewing data collected during the document classification training phase, by opening the same wizard with an updated learning file path.

Este assistente permite configurar e gerenciar as palavras-chave utilizadas por esta atividade para identificar o tipo de documento. Ele foi criado para atender a necessidade de editar um caminho de arquivo. Se um parâmetro Dados de Aprendizado com uma variável for usado, você será perguntado se deseja editar um caminho de arquivo específico ou anular esta operação.

Observação:

Manage Keyword Based Classifier Learning wizard can be used only for editing and configuring a file path.

1. Add a Keyword Based Classifier/Keyword Based Classifier Trainer activity to your workflow.

2. Configure sua atividade Keyword Based Classifier adicionando o caminho de um arquivo .json.

   • If no path is provided and the Manage Learning option is clicked, then a popup is displayed, asking for a Learning File Path input. Once the path is provided, the wizard opens.
   • A variable can be added instead of a .json file, but, because the wizard cannot apply the learning pattern to a LearningData variable, it asks for a specific file path that can be edited.

3. Click on the Manage Learning option.

   • The Wizard window opens.

     

4. If no path is provided and the Manage Learning option is clicked, then a popup is displayed, asking for a Learning File Path. Once the path is provided, the wizard opens.

   

   Observação:

   Even if no .json file is available, you can add the name of a new .json file straight into the activity and the .json file is automatically created inside the specified folder.

O assistente tem o número de categorias de tipo de documento definidas em sua taxonomia. Você pode adicionar uma ou várias palavras-chave para cada tipo de documento. A atividade aprende as palavras-chave de um documento específico e posteriormente é capaz de identificar e classificar o documento em um tipo específico com base nessas regras.

Todas as entradas devem ser inseridas como strings, entre "" (aspas), e você pode adicionar valores únicos ou múltiplos.

• Clicking the Add new keyword set button adds an extra field to that category.

• Clicking the button removes the field and its keywords.

• Click the Save button for saving your wizard configuration. You can find all the added values in the .json file of the project.

  Observação:

  Double quotes entered as part of a keyword in the Manage Keywords wizard are always escaped according to the Visual Basic convention (double double quotes), even in a C# flavored project.

Como treinar

Place the Keyword Based Classifier Trainer activity in a Train Classifiers Scope, and configure it accordingly.

For more information, check Document Classification Training.