- API ドキュメント
- CLI
- 連携ガイド
- ブログ
- 機械が単語を理解する方法:NLPに埋め込むためのガイド
- トランスフォーマーによるプロンプトベースの学習
- 効率的な変圧器II:知識蒸留と微調整
- 効率的な変圧器I:注意メカニズム
- 階層的な教師なしインテントモデリング:トレーニングデータなしで価値を得る
- Communications Mining による注釈バイアスの修正
- アクティブ ラーニング: より優れた ML モデルを短時間で実現
- それはすべて数字にあります-メトリックを使用してモデルのパフォーマンスを評価します
- モデルの検証が重要な理由
- 会話型データ インテリジェンスのための Communications Mining と Google AutoML の比較
一括アップロード
請求対象の操作
作成されたコメント 1 件につき、または (一意の ID に基づいて) 更新されたコメント 1 件につき、1 AI ユニットが請求されます。
CLI では、コメント(注釈付きコメントを含む)をバッチでアップロードできます。 ライブ接続が不要な場合に Communications Mining にデータをインポートするだけでなく、既存のトレーニング データを Communications Mining にアップロードしたり、Communications Mining の既存のコメントやラベルを上書きしたりするためにも使用できます。
CLI では、各行が JSON 値である JSONL 形式 (改行区切り JSON とも呼ばれます) のデータが必要です。 多くのツールは、すぐにJSONLファイルをエクスポートできます。 ご不明な点がございましたら 、サポートにお問い合わせください 。
JSONL ファイルの各行は、コメント オブジェクトを表します。 各コメントオブジェクトには、少なくとも一意のID、タイムスタンプ、およびテキストが必要ですが、メタデータなどの他のフィールドを持つこともできます。 データに設定するフィールドについては、 コメントリファレンス を参照してください。
JSONL ファイルの各行は、次の形式である必要があります (必須フィールドのみが表示されます)。 (これは読みやすくするためにインデント付きで表示されますが、ファイル内ではすべて1行にまとめる必要があることに注意してください)。
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
}
}
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
}
}
コメントと一緒にラベルをアップロードする場合は、次のようにラベルを含めることができます(上記と同じように、読みやすくするためにインデントで表示されますが、ファイル内ではすべて1行にする必要があります)。
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
},
"annotating": {
"assigned": [
{
"name": "<Your Label Name>",
"sentiment": "<positive|negative>"
},
{
"name": "<Another Label Name>",
"sentiment": "<positive|negative>"
}
]
}
}
{
"comment": {
"id": "<unique id>",
"timestamp": "<timestamp>",
"messages": [
{
"body": {
"text": "<text of the comment>"
}
}
]
},
"annotating": {
"assigned": [
{
"name": "<Your Label Name>",
"sentiment": "<positive|negative>"
},
{
"name": "<Another Label Name>",
"sentiment": "<positive|negative>"
}
]
}
}
コメントをアップロードする
以下のコマンドは、指定されたソースにコメントをアップロードします。 コメントを新しい空のソースにアップロードすると、問題が発生した場合のロールバックが容易になるため、ソースを削除するだけにすることをお勧めします。
re create comments \
--source <project_name/source_name> \
--file <file_name.jsonl>
re create comments \
--source <project_name/source_name> \
--file <file_name.jsonl>
--overwrite
フラグを指定する必要があります。 コメントは [ comment.id
] フィールドに基づいて上書きされます。 コメントを更新する前にソースのバックアップコピーを作成して、問題が発生した場合に元のコメントを復元できるようにすることをお勧めします。
ラベル付きのコメントをアップロードする
コメントと一緒にラベルをアップロードする場合は、ラベルをアップロードするデータセットを指定する必要があります。 アップロードを開始する前に、データセットをソースに接続する必要があります。
re create comments \
--source <project_name/source_name> \
--dataset <project_name/dataset_name> \
--file <file_name.jsonl>
re create comments \
--source <project_name/source_name> \
--dataset <project_name/dataset_name> \
--file <file_name.jsonl>
--overwrite
フラグを指定します。 これにより、既存のラベルが新しいラベルに置き換えられることに注意してください(既存のラベルは新しいラベルに追加されません)。 問題が発生した場合に元のラベルを復元できるように、ラベルを上書きする前にデータセットのバックアップ コピーを作成することをお勧めします。