- Documentos da API
- CLI
- Guias de integração
- Blog
- Como as máquinas aprendem a entender as palavras: um guia para incorporações ao NLP
- Aprendizado baseado em solicitação com Transformers
- Efficient Transformers II: extração de conhecimento e ajustes finos
- Transformers eficientes I: mecanismos de atenção
- Modelagem de intenção hierárquica profunda não supervisionada: obtenção de valor sem dados de treinamento
- Corrigindo viés de anotação com Communications Mining
- Aprendizado ativo: melhores modelos de ML em menos tempo
- Está tudo nos números - avaliando o desempenho do modelo com métricas
- Por que a validação de modelos é importante
- Comparação do Communications Mining e do Google AutoML para inteligência de dados conversacional
Carregamento em lote
Operação Faturável
Será cobrado 1 AI Unit por comentário criado ou por comentário atualizado (com base em seu ID exclusivo) se o texto tiver sido modificado.
A CLI permite que você carregue comentários (incluindo comentários pré-anotados) em lote. Além de importar dados para o Communications Mining nos casos em que uma conexão ao vivo não é necessária, ele pode ser usado para carregar dados de treinamento pré-existentes no Communications Mining ou para substituir comentários ou rótulos existentes no Communications Mining.
A CLI espera dados no formato JSONL (também chamado de JSON delimitado por novas linhas), onde cada linha é um valor JSON. Muitas ferramentas poderão exportar arquivos JSONL pré-configurados. Entre em contato com o suporte se tiver alguma dúvida.
Cada linha do arquivo JSONL representa um objeto de comentário. Cada objeto de comentário deve ter pelo menos um ID exclusivo, um carimbo de data/hora e um texto, mas pode ter outros campos, como os metadados. Consulte a Referência de comentários para saber quais campos definir para seus dados.
Cada linha do arquivo JSONL deve ter o seguinte formato (apenas os campos obrigatórios são mostrados). (Observe que isso é mostrado com recuo para legibilidade, mas deve estar tudo em uma linha em seu arquivo.)
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
}
}
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
}
}
Se você quiser carregar rótulos juntamente com comentários, você pode incluí-los dessa forma (igual ao acima, isso é mostrado com recuo para legibilidade, mas deve estar tudo em uma linha em seu arquivo):
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
},
"annotating": {
"assigned": [
{
"name": "<Your Label Name>",
"sentiment": "<positive|negative>"
},
{
"name": "<Another Label Name>",
"sentiment": "<positive|negative>"
}
]
}
}
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
},
"annotating": {
"assigned": [
{
"name": "<Your Label Name>",
"sentiment": "<positive|negative>"
},
{
"name": "<Another Label Name>",
"sentiment": "<positive|negative>"
}
]
}
}
Carregamento de comentários
O comando abaixo carregará os comentários para a origem especificada. Recomendamos carregar comentários em uma nova origem vazia, pois isso facilita a reversão se algo der errado. Basta excluir a origem.
re create comments \
--source <project_name/source_name> \
--file <file_name.jsonl>
re create comments \
--source <project_name/source_name> \
--file <file_name.jsonl>
--overwrite
. Os comentários serão substituídos com base no campo comment.id
. Recomendamos que você faça uma cópia de backup da origem antes de atualizar comentários para poder recuperar os comentários originais se algo der errado.
Carregamento de comentários com rótulos
Se você quiser carregar rótulos com seus comentários, especifique um conjunto de dados no qual os rótulos serão carregados. O conjunto de dados deve estar conectado à origem antes de você iniciar o carregamento.
re create comments \
--source <project_name/source_name> \
--dataset <project_name/dataset_name> \
--file <file_name.jsonl>
re create comments \
--source <project_name/source_name> \
--dataset <project_name/dataset_name> \
--file <file_name.jsonl>
--overwrite
. Observe que isso substituirá os rótulos existentes por novos (não adicionará rótulos existentes a novos rótulos). Recomendamos que você faça uma cópia de backup do conjunto de dados antes de substituir rótulos, para poder recuperar os rótulos originais se algo der errado.