communications-mining
latest
false
- API ドキュメント
- CLI
- 連携ガイド
- ブログ
- 機械が単語を理解する方法:NLPに埋め込むためのガイド
- トランスフォーマーによるプロンプトベースの学習
- 効率的な変圧器II:知識蒸留と微調整
- 効率的な変圧器I:注意メカニズム
- 階層的な教師なしインテントモデリング:トレーニングデータなしで価値を得る
- Communications Mining による注釈バイアスの修正
- アクティブ ラーニング: より優れた ML モデルを短時間で実現
- それはすべて数字にあります-メトリックを使用してモデルのパフォーマンスを評価します
- モデルの検証が重要な理由
- 会話型データ インテリジェンスのための Communications Mining と Google AutoML の比較
重要 :
このコンテンツの一部は機械翻訳によって処理されており、完全な翻訳を保証するものではありません。
Communications Mining 開発者ガイド
Last updated 2024年10月3日
データセット
/api/v1/datasets
必要な権限: ラベルの表示
- bash
curl -X GET 'https://<my_api_endpoint>/api/v1/datasets' \ -H "Authorization: Bearer $REINFER_TOKEN"
curl -X GET 'https://<my_api_endpoint>/api/v1/datasets' \ -H "Authorization: Bearer $REINFER_TOKEN" - ノード
const request = require("request"); request.get( { url: "https://<my_api_endpoint>/api/v1/datasets", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } );
const request = require("request"); request.get( { url: "https://<my_api_endpoint>/api/v1/datasets", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } ); - Python
import json import os import requests response = requests.get( "https://<my_api_endpoint>/api/v1/datasets", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True))
import json import os import requests response = requests.get( "https://<my_api_endpoint>/api/v1/datasets", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True)) - レスポンス
{ "datasets": [ { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "18ba5ce699f8da1f", "last_modified": "2018-10-15T15:48:49.603000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Example Dataset" } ], "status": "ok" }
{ "datasets": [ { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "18ba5ce699f8da1f", "last_modified": "2018-10-15T15:48:49.603000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Example Dataset" } ], "status": "ok" }
/api/v1/datasets/<project>/<dataset_name>
必要な権限: ラベルの表示
- bash
curl -X GET 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN"
curl -X GET 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN" - ノード
const request = require("request"); request.get( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } );
const request = require("request"); request.get( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } ); - Python
import json import os import requests response = requests.get( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True))
import json import os import requests response = requests.get( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True)) - レスポンス
{ "dataset": { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "18ba5ce699f8da1f", "last_modified": "2018-10-15T15:48:49.603000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Example Dataset" }, "status": "ok" }
{ "dataset": { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "18ba5ce699f8da1f", "last_modified": "2018-10-15T15:48:49.603000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Example Dataset" }, "status": "ok" }
/api/v1/datasets/<project>/<dataset>/model-tags
必要な権限: モデル管理者
- bash
curl -X GET 'https://<my_api_endpoint>/api/v1/datasets/<project>/model-tags' \ -H "Authorization: Bearer $REINFER_TOKEN"
curl -X GET 'https://<my_api_endpoint>/api/v1/datasets/<project>/model-tags' \ -H "Authorization: Bearer $REINFER_TOKEN" - ノード
const request = require("request"); request.get( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/model-tags", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } );
const request = require("request"); request.get( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/model-tags", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } ); - Python
import json import os import requests response = requests.get( "https://<my_api_endpoint>/api/v1/datasets/<project>/model-tags", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True))
import json import os import requests response = requests.get( "https://<my_api_endpoint>/api/v1/datasets/<project>/model-tags", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True)) - レスポンス
{ "model_tags": [ { "name": "prod", "updated_at": "2021-11-16T12:31:00.123Z", "version": 5 }, { "name": "staging", "updated_at": "2021-11-15T12:30:00.123Z", "version": 7 } ], "status": "ok" }
{ "model_tags": [ { "name": "prod", "updated_at": "2021-11-16T12:31:00.123Z", "version": 5 }, { "name": "staging", "updated_at": "2021-11-15T12:30:00.123Z", "version": 7 } ], "status": "ok" }
/api/v1/datasets/<project>/<dataset>
必要な権限: データセット管理者
- bash
curl -X PUT 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "dataset": { "description": "An optional long form description.", "model_family": "english", "source_ids": [ "18ba5ce699f8da1f" ], "title": "An Example Dataset" } }'
curl -X PUT 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "dataset": { "description": "An optional long form description.", "model_family": "english", "source_ids": [ "18ba5ce699f8da1f" ], "title": "An Example Dataset" } }' - ノード
const request = require("request"); request.put( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, json: true, body: { dataset: { description: "An optional long form description.", model_family: "english", source_ids: ["18ba5ce699f8da1f"], title: "An Example Dataset", }, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } );
const request = require("request"); request.put( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, json: true, body: { dataset: { description: "An optional long form description.", model_family: "english", source_ids: ["18ba5ce699f8da1f"], title: "An Example Dataset", }, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } ); - Python
import json import os import requests response = requests.put( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, json={ "dataset": { "title": "An Example Dataset", "description": "An optional long form description.", "source_ids": ["18ba5ce699f8da1f"], "model_family": "english", } }, ) print(json.dumps(response.json(), indent=2, sort_keys=True))
import json import os import requests response = requests.put( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, json={ "dataset": { "title": "An Example Dataset", "description": "An optional long form description.", "source_ids": ["18ba5ce699f8da1f"], "model_family": "english", } }, ) print(json.dumps(response.json(), indent=2, sort_keys=True)) - レスポンス
{ "dataset": { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "b9a1fd75f6133bce", "last_modified": "2018-10-15T15:48:49.603000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Example Dataset" }, "status": "ok" }
{ "dataset": { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "b9a1fd75f6133bce", "last_modified": "2018-10-15T15:48:49.603000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Example Dataset" }, "status": "ok" }
名前 | 型 | 必須 | 説明 |
---|---|---|---|
title | string | × | 人間が判読できる 1 行のデータセット タイトル。 |
description | string | × | データセットの詳細な説明。 |
source_ids | array<string> | × | このデータセットに含めるソース ID の配列。 |
model_family | string | × | データセットのモデル ファミリは、english (英語) または multilingual (多言語) にできます。既定値は english です。多言語のモデル ファミリでサポートされる言語については、こちらをご覧ください。 |
has_sentiment | Boolean | × | データセット内のラベルを感情と共に適用するかどうか。既定値は true です。 |
/api/v1/datasets/<project>/<dataset>
必要な権限: データセット管理者
- bash
curl -X POST 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "dataset": { "title": "An Alternative Title" } }'
curl -X POST 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "dataset": { "title": "An Alternative Title" } }' - ノード
const request = require("request"); request.post( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, json: true, body: { dataset: { title: "An Alternative Title" } }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } );
const request = require("request"); request.post( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, json: true, body: { dataset: { title: "An Alternative Title" } }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } ); - Python
import json import os import requests response = requests.post( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, json={"dataset": {"title": "An Alternative Title"}}, ) print(json.dumps(response.json(), indent=2, sort_keys=True))
import json import os import requests response = requests.post( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, json={"dataset": {"title": "An Alternative Title"}}, ) print(json.dumps(response.json(), indent=2, sort_keys=True)) - レスポンス
{ "dataset": { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "b9a1fd75f6133bce", "last_modified": "2018-10-15T15:53:08.479000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Alternative Title" }, "status": "ok" }
{ "dataset": { "created": "2018-10-15T15:48:49.603000Z", "description": "An optional long form description.", "has_sentiment": true, "id": "b9a1fd75f6133bce", "last_modified": "2018-10-15T15:53:08.479000Z", "model_family": "english", "name": "example", "owner": "<project>", "source_ids": ["18ba5ce699f8da1f"], "title": "An Alternative Title" }, "status": "ok" }
名前 | 型 | 必須 | 説明 |
---|---|---|---|
title | string | × | 人間が判読できる 1 行のデータセット タイトル。 |
description | string | × | データセットの詳細な説明。 |
source_ids | array<string> | × | このデータセットに含めるソース ID の配列。 |
/api/v1/datasets/<project>/<dataset_name>
必要な権限: データセット管理者
- bash
curl -X DELETE 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN"
curl -X DELETE 'https://<my_api_endpoint>/api/v1/datasets/<project>/example' \ -H "Authorization: Bearer $REINFER_TOKEN" - ノード
const request = require("request"); request.delete( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } );
const request = require("request"); request.delete( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } ); - Python
import json import os import requests response = requests.delete( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True))
import json import os import requests response = requests.delete( "https://<my_api_endpoint>/api/v1/datasets/<project>/example", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, ) print(json.dumps(response.json(), indent=2, sort_keys=True)) - レスポンス
{ "status": "ok" }
{ "status": "ok" }
/api/v1/datasets/<project>/<dataset_name>/export
必要な権限: データセットのエクスポート
- bash
curl -X POST 'https://<my_api_endpoint>/api/v1/datasets/<project>/example/export' \ -H "Authorization: Bearer $REINFER_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "limit": 1 }'
curl -X POST 'https://<my_api_endpoint>/api/v1/datasets/<project>/example/export' \ -H "Authorization: Bearer $REINFER_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "limit": 1 }' - ノード
const request = require("request"); request.post( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example/export", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, json: true, body: { limit: 1 }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } );
const request = require("request"); request.post( { url: "https://<my_api_endpoint>/api/v1/datasets/<project>/example/export", headers: { Authorization: "Bearer " + process.env.REINFER_TOKEN, }, json: true, body: { limit: 1 }, }, function (error, response, json) { // digest response console.log(JSON.stringify(json, null, 2)); } ); - Python
import json import os import requests response = requests.post( "https://<my_api_endpoint>/api/v1/datasets/<project>/example/export", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, json={"limit": 1}, ) print(json.dumps(response.json(), indent=2, sort_keys=True))
import json import os import requests response = requests.post( "https://<my_api_endpoint>/api/v1/datasets/<project>/example/export", headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]}, json={"limit": 1}, ) print(json.dumps(response.json(), indent=2, sort_keys=True)) - レスポンス
{ "comments": [ { "annotations": { "labels": { "assigned": [ { "name": "Parent Label", "sentiment": "positive" }, { "name": "Parent Label > Child Label", "sentiment": "positive" } ] } }, "comment": { "context": "1596721237668", "created_at": "2020-08-06T13:20:28.531000Z", "has_annotations": true, "id": "0123456789abcdef", "last_modified": "2020-08-06T13:40:37.668000Z", "messages": [ { "body": { "text": "Alice,\n\nHere are the figures for today.\n\nRegards,\nBob" }, "from": "bob@organisation.org", "sent_at": "2011-12-11T11:05:10Z", "subject": { "text": "Today's figures" }, "to": ["alice@company.com"] } ], "source_id": "47194279497e141e", "text_format": "plain", "thread_id": "123456", "timestamp": "2011-12-11T11:05:10Z", "uid": "47194279497e141e.0123456789abcdef", "user_properties": { "string:Recipient Domain": "company.com", "string:Sender Domain": "organisation.org" } }, "predictions": { "labels": [ { "name": "Another Parent Label", "probability": 0.954979807138443, "sentiment": -0.4281917143125379 }, { "name": "Another Parent Label > Another Child Label", "probability": 0.7726812064647675, "sentiment": -0.6603664430231163 } ] } } ], "continuation": "2021-02-16T10:55:05Z.c060a787c0b2bbf95526ad5cf28bf582", "status": "ok" }
{ "comments": [ { "annotations": { "labels": { "assigned": [ { "name": "Parent Label", "sentiment": "positive" }, { "name": "Parent Label > Child Label", "sentiment": "positive" } ] } }, "comment": { "context": "1596721237668", "created_at": "2020-08-06T13:20:28.531000Z", "has_annotations": true, "id": "0123456789abcdef", "last_modified": "2020-08-06T13:40:37.668000Z", "messages": [ { "body": { "text": "Alice,\n\nHere are the figures for today.\n\nRegards,\nBob" }, "from": "bob@organisation.org", "sent_at": "2011-12-11T11:05:10Z", "subject": { "text": "Today's figures" }, "to": ["alice@company.com"] } ], "source_id": "47194279497e141e", "text_format": "plain", "thread_id": "123456", "timestamp": "2011-12-11T11:05:10Z", "uid": "47194279497e141e.0123456789abcdef", "user_properties": { "string:Recipient Domain": "company.com", "string:Sender Domain": "organisation.org" } }, "predictions": { "labels": [ { "name": "Another Parent Label", "probability": 0.954979807138443, "sentiment": -0.4281917143125379 }, { "name": "Another Parent Label > Another Child Label", "probability": 0.7726812064647675, "sentiment": -0.6603664430231163 } ] } } ], "continuation": "2021-02-16T10:55:05Z.c060a787c0b2bbf95526ad5cf28bf582", "status": "ok" }
このルートでは、データセットをエクスポートできます。ラベルが割り当てられたコメントと利用可能な最新の予測を含む、コメントのリストが返されます。データセットをエクスポートするには、ブラウザーで CSV をダウンロードするか、CLI を使用して JSONL をダウンロードする方法もあります。詳細な比較については、比較表をご覧ください。
要求の形式
名前 | 型 | 必須 | 説明 |
---|---|---|---|
comment_uids | array<string> | × | 最大 256 個のコメント UID のリスト (source_id.comment_id の形式)。指定した場合、これらのコメントのみが応答に含まれます。他のフィルターを comment_uids と共に渡すことはできません。
|
source_ids | array<string> | × | 最大 1024 個のソース ID のリスト。指定した場合、これらのソースからのコメントのみが応答に含まれます。 |
order_by | string | × | created_at または timestamp のいずれか。指定した場合、コメントの API 作成日 (created_at ) かユーザー定義のコメントのタイムスタンプ (timestamp ) でソートされたコメントが返されます。既定値は timestamp です。
|
from | string | × | ISO-8601 形式のタイムスタンプ。指定した場合、このタイムスタンプ以降のコメントのみを返します。関連する order_by フィールドによって、どのタイムスタンプを使ってフィルター処理を実行するかが制御されます。
|
to | string | × | ISO-8601 形式のタイムスタンプ。指定した場合、このタイムスタンプまでのコメントのみを返します。関連する order_by フィールドによって、どのタイムスタンプを使ってフィルター処理を実行するかが制御されます。
|
continuation | string | × | 応答で返されるページネーション トークン。次の要求で limit で指定する数のコメントを取得するために使用する必要があります。
|
limit | Number | × | 最大 256 個の、応答ごとに返されるコメントの数。既定値は 64 です。 |
応答の形式
名前 | 型 | 説明 |
---|---|---|
comments | array<Comment> | コメントと、コメントに割り当てられたラベルおよび予測されたラベルのリストです。 |
continuation | string | ページネーション トークン。次の要求で limit で指定する数のコメントを取得するためのものです。これ以上コメントがない場合、このフィールドは応答に含まれません。
|
ここで
Comment
の形式は次のとおりです。
名前 | 型 | 説明 |
---|---|---|
comment | object | コメント オブジェクト。形式については、「コメント」をご覧ください。 |
annotations | object | 1 つのフィールド labels.assigned を含むオブジェクトです。このフィールドは、このコメントに割り当てられているラベルのリストです。形式については、ラベルの参照セクションをご覧ください。これらのラベルは割り当てられたものであり、予測されたものではないため、ここに予測は含まれません。
|
predictions | object | 1 つのフィールド labels を含むオブジェクトです。このフィールドは、このコメントに対して予測されたラベルのリストです。形式については、ラベルの参照セクションをご覧ください。
|