Sources et jeux de données multilingues

Communications Mining prend désormais en charge des sources et des ensembles de données multilingues. Cela signifie que les modèles peuvent comprendre des sources qui contiennent plusieurs langues prises en charge différentes, sans avoir à les traduire.

Les langues qui sont actuellement « disponibles généralement » dans les sources et les ensembles de données multilingues sont : l'anglais, le français, l'allemand, l'espagnol, l'italien, le portugais et le néerlandais (nous étendrons cette liste au fil du temps !).

Cela signifie en pratique que si les utilisateurs travaillent et font des affaires dans plusieurs langues prises en charge par la plateforme, ils peuvent s'entraîner sur des messages dans ces langues, plutôt que de tout traduire en une seule langue.

Une grande liste de langues supplémentaires sont prises en charge dans l'aperçu (incluses au bas de cette page), ce qui signifie que nous travaillerons à les affiner au fur et à mesure que nos clients et partenaires commenceront à les utiliser. Une grande partie de ces langues fonctionneront très bien et ne nécessiteront que peu ou pas de peaufinage par nos équipes pour atteindre des performances élevées.

Considérations importantes si vous cherchez à utiliser des sources et des ensembles de données multilingues :

Si un ensemble de données est multilingue, les utilisateurs ne pourront pas voir les traductions des messages (comme prévu pour les ensembles de données traduits). Ils devront donc pouvoir comprendre toutes les langues de l'ensemble de données pour entraîner efficacement leur modèle
Comprendre plusieurs langues est un problème d'apprentissage automatique plus complexe que comprendre une seule langue, de sorte que ces ensembles de données peuvent potentiellement connaître une légère baisse des performances par rapport aux ensembles de données dans une seule langue
La plate-forme ne pourra comprendre la langue qu'à partir de l'une des langues prises en charge répertoriées ci-dessus. S'il y a d'autres langues présentes dans l'ensemble de données, le balisage de ces messages avec des libellés utilisés sur les messages dans les langues prises en charge prêtera à confusion pour la plate-forme. Il est préférable de les labelliser comme leurs propres libellés spécifiques qui capturent la langue sous forme de libellé, mais la plate-forme ne pourra pas interpréter les spécificités de la langue non prise en charge

Comment créez-vous des sources et des ensembles de données multilingues ?

Pour la source de données et les ensembles de données, la famille de langues est sélectionnée lors de leur créationet ne peut pas être modifiée une fois qu'ils sont.

Il suffit de sélectionner « multilingue » dans la liste déroulante de la famille de langues lors de la création de la source ou du modal de création de l’ensemble de données (il s’agit généralement du dernier paramètre à sélectionner).

Remarque : les jeux de données multilingues peuvent contenir des sources de n'importe quelle famille de langues prise en charge par la plateforme.

Pour plus de détails sur la création d'une source dans l'interface utilisateur, consultez la page Créer une source de données dans l'interface graphique .

Pour plus de détails sur la création d'un ensemble de données, consultez la page Créer un nouvel ensemble de données .

Langues de disponibilité générale