Clasificador basado en palabras clave

Qué es el clasificador basado en palabras claves

El clasificador basado en palabras claves es un clasificador simple que busca secuencias de string que se repiten dentro de un archivo dado, para realizar la clasificación de los documentos.

El algoritmo se crea en torno al concepto de títulos de documentos y parte de la premisa de que el aspecto de los tipos de documentos con títulos suele tener una variación relativamente baja en los documentos.

Al clasificar un archivo en un tipo de documento, el clasificador basado en palabras claves:

encuentra la mejor string o colección de string coincidentes, a partir de sus datos de aprendizaje, que se aplica a un tipo de documento de la taxonomía. La confianza se calcula en función de:
- la proximidad de la coincidencia con el principio del documento,
- cuántas veces han confirmado la coincidencia los trabajadores y ha sido reforzada en los datos de aprendizaje.
informa sobre el tipo de documento con mayor puntuación, con la configuración de coincidencia subyacente.

El clasificador basado en palabras claves puede trabajar con una sola entrada de string (una string que se considera como una entrada en los datos de aprendizaje que usa el clasificador), o con una entrada que contiene múltiples strings (dos o más strings que forman una sola entrada). En caso de que haya varias strings, el clasificador aplica el algoritmo de concordancia a cada una de ellas por separado y, a continuación, calcula una media simple de las confidencias de las coincidencias identificadas.

Ejemplo

Pongamos el ejemplo siguiente:

si una entrada contiene una sola string, por ejemplo, «esta es mi coincidencia», el clasificador basado en palabras claves busca y califica esta string como una posible coincidencia de tipo de documento (según el tipo de documento al que se atribuya la string).
si una entrada contiene tres strings, por ejemplo, [«esta es una coincidencia», «se necesitan más pruebas para filtrar», «otra más»], entonces el clasificador basado en palabras clave busca y califica cada una de las tres strings, y luego calcula un promedio simple de las confidencias de coincidencia para informar.

El conjunto de palabras claves puede definirse dentro de una línea o usando varias líneas. Cuando se establece dentro de una línea, identifica la entrada dada. Por ejemplo, si x, y, y z se enumeran como palabras clave, entonces la búsqueda es para x, y y z.

Tener varias líneas definidas significa que la búsqueda busca las palabras claves enumeradas en la primera línea, o en la segunda, o en la tercera, hasta que cubre todas las líneas e identifica las mejores coincidencias, aumentando así la puntuación de confianza por el simple hecho de haber identificado más coincidencias de más palabras claves disponibles.

Cuándo usarlo

Deberías plantearte el uso de este clasificador si:

tus archivos contienen un solo tipo de documento cada uno (por lo que no es necesario dividir los archivos);
tus expedientes contienen pruebas relacionadas con el tipo de documento en las tres primeras páginas del expediente.