Streams

Kommentare aus Stream abrufen

Erforderliche Berechtigungen: Streams verbrauchen, Beschriftungen anzeigen, Quellen anzeigen.

Hinweis:

Die /results -Route ist die neue Möglichkeit, Kommentare und deren Vorhersagen aus einem Stream abzurufen, und ersetzt die vorhandene /fetch -Route (Streams – Legacy). Wir behalten die Route /fetch für die Legacy-Unterstützung bei, empfehlen aber, dass alle neuen Anwendungsfälle die Route /results verwenden, da sie alle möglichen Anwendungsfälle unterstützt, einschließlich derjenigen, die generative Extraktion verwenden.

• Bash

  curl -X GET 'https://<my_api_endpoint>/api/preview/datasets/project1/collateral/streams/dispute/results?max_results=5&max_filtered=15' \
      -H "Authorization: Bearer $REINFER_TOKEN"

• Knoten

  const request = require("request");
  
  request.get(
    {
      url: "https://<my_api_endpoint>/api/preview/datasets/project1/collateral/streams/dispute/results?max_results=5&max_filtered=15",
      headers: {
        Authorization: "Bearer " + process.env.REINFER_TOKEN,
      },
    },
    function (error, response, json) {
      // digest response
      console.log(JSON.stringify(json, null, 2));
    }
  );

• Python

  import json
  import os
  
  import requests
  
  response = requests.get(
      "https://<my_api_endpoint>/api/preview/datasets/project1/collateral/streams/dispute/results",
      headers={"Authorization": "Bearer " + os.environ["REINFER_TOKEN"]},
      params={"max_results": 5, "max_filtered": 15},
  )
  
  print(json.dumps(response.json(), indent=2, sort_keys=True))

• Antwort

  {
    "status": "ok",
    "results": [
      {
        "comment": {
          "uid": "18ba5ce699f8da1f.0123456789abcdef",
          "id": "0123456789abcdef",
          "timestamp": "2018-09-17T09:54:56.332000Z",
          "user_properties": {
            "number:Messages": 1,
            "string:Folder": "Sent (/ Sent)",
            "string:Has Signature": "Yes",
            "string:Message ID": "<[e-mail]>",
            "string:Sender": "[e-mail]",
            "string:Sender Domain": "company.com",
            "string:Thread": "<[e-mail]>"
          },
          "messages": [
            {
              "from": "[e-mail]",
              "to": [
                "[e-mail]"
              ],
              "sent_at": "2018-09-17T09:54:56.332000Z",
              "body": {
                "text": "Hi Bob,\n\nCould you send me today's figures?"
              },
              "subject": {
                "text": "Today's figures"
              },
              "signature": {
                "text": "Thanks,\nAlice"
              }
            }
          ],
          "text_format": "plain",
          "attachments": [],
          "source_id": "18ba5ce699f8da1f",
          "last_modified": "2024-07-03T13:30:53.991000Z",
          "created_at": "2020-12-14T15:07:03.718000Z",
          "context": "1",
          "has_annotations": true
        },
        "prediction": {
          "taxonomies": [
            {
              "name": "default",
              "labels": [
                {
                  "name": "Margin Call",
                  "occurrence_confidence": {
                    "value": 0.9905891418457031,
                    "thresholds": ["stream"]
                  },
                  "extraction_confidence": {
                    "value": 0.4712367373372217,
                    "thresholds": []
                  },
                  "fields": [
                    {
                      "name": "Notification Date",
                      "value": null
                    }
                  ]
                },
                {
                  "name": "Margin Call > Interest Accrual",
                  "occurrence_confidence": {
                    "value": 0.9905891418457031,
                    "thresholds": []
                  },
                  "extraction_confidence": {
                    "value": 0.9905891418457031,
                    "thresholds": []
                  },
                  "fields": [
                    {
                      "name": "Amount",
                      "value": {
                        "formatted": "636,000.00"
                      }
                    },
                    {
                      "name": "Broker number",
                      "value": null
                    },
                    {
                      "name": "Client name",
                      "value": null
                    },
                    {
                      "name": "Currency",
                      "value": {
                        "formatted": "AUD"
                      }
                    }
                  ]
                }
              ],
              "general_fields": [
                {
                  "name": "monetary-quantity",
                  "value": {
                    "formatted": "636,000.00 GBP"
                  }
                },
                {
                  "name": "MarginCallDateType",
                  "value": {
                    "formatted": "2018-09-21 00:00 UTC"
                  }
                },
                {
                  "name": "client-name",
                  "value": {
                    "formatted": "Big Client Example Bank"
                  }
                }
              ]
            }
          ]
        },
        "continuation": "pmjKYXYBAAADqHUvPkQf1ypNCZFR37vu"
      }
    ],
    "num_filtered": 0,
    "more_results": true,
    "continuation": "pmjKYXYBAAAsXghZ2niXPNP6tOIJtL_8"
  }

Sobald Sie einen Stream erstellt haben, können Sie ihn abfragen, um Kommentare und deren Vorhersagen abzurufen. Dazu gehören Beschriftungen, allgemeine Felder und Beschriftungsextraktionen, die einen Satz von Extraktionsfeldern für jede Instanz dieser Beschriftung enthalten.

Überprüfen Sie die folgenden Aspekte beim Abrufen von Kommentaren aus einem Stream:

Kommentarwarteschlange

Wenn Sie einen Stream erstellen, legen Sie seine ursprüngliche Position so fest, dass sie der Erstellungszeit entspricht. Bei Bedarf können Sie den Stream auf eine andere Position festlegen (entweder zeitlich vorwärts oder rückwärts), indem Sie den Endpunkt zurücksetzen verwenden . Der Stream gibt Kommentare ab seiner aktuellen Position zurück. Sie bestimmen die Position des Kommentars in der Kommentarwarteschlange durch die Reihenfolge, in der Sie die Kommentare hochgeladen haben.

Vorrücken Ihrer Position in der Warteschlange

Da der Stream nur Kommentare von seiner aktuellen Position zurückgibt, sollten Sie ihn nach jeder Abrufanforderung zur nächsten Position vorab verschieben, indem Sie den erweiterten Endpunkt verwenden. Auf diese Weise garantiert die API, dass alle Kommentare mindestens einmal verarbeitet werden. Wenn Ihre Anwendung bei der Verarbeitung eines Batches fehlschlägt, wird sie beim Neustart denselben Batch aufnehmen.

Hinweis: Da eine Anwendung einen Kommentar erfolgreich verarbeiten kann, aber beim Vorabschritt fehlschlägt, können Sie einen Kommentar mehrmals sehen.

Abhängig von Ihrem Anwendungsdesign können Sie wählen zwischen:

• Einmaliges Vorrücken des Streams für den gesamten Batch. Verwenden Sie die in der Antwort enthaltene continuation des Batches.
• Vorrücken des Streams für jeden einzelnen Kommentar. Verwenden Sie die continuation des Kommentars, der in der Antwort enthalten ist.

Kommentar-Filter

Wenn Sie beim Erstellen des Streams einen comment_filter angeben, enthalten die Ergebnisse keine Kommentare, die nicht dem Filter entsprechen, aber sie werden dennoch auf den angeforderten max_filtered. Sie können Antworten sehen, bei denen alle max_filtered -Kommentare herausgefiltert werden, was zu einem leeren results -Array führt. Im folgenden Beispiel fordern Sie einen Batch von 8 Kommentaren an, die alle gefiltert werden.

{
  "filtered": 8,
  "results": [],
  "sequence_id": "qs8QcHIBAADJ1p3W2FtmBB3QiOJsCJlR",
  "status": "ok"
}

Übergeben Sie den optionalen Parameter max_filtered , um zu verhindern, dass gefilterte Kommentare auf die angeforderte max_results werden.

Vorhersageschwellenwerte

Hinweis: Die Legacy-Route /fetch gibt keine Kommentare mit Vorhersagen zurück, die den Konfidenzschwellenwert nicht erreicht haben.

In dieser neuen /results -Route geben Sie alle Vorhersagen für einen Kommentar und auch die confidencevalue zurück. Sie geben auch an, welchen Schwellenwerttyp(en) erreicht wird/werden.

"occurrence_confidence": {
    "value": 0.9905891418457031,
    "thresholds": ["stream"]
  }

Der confidence für den -Wert einer Vorhersage 0.9905.. und der thresholds -Wert geben an, dass die Vorhersage den konfigurierten Schwellenwert für den stream erfüllt.

Suchen Sie beim Erstellen einer Automatisierung nach dem Wert stream , um zu bestätigen, dass die Vorhersage den Schwellenwert erfüllt, den Sie im Stream konfiguriert haben.

Weitere Informationen zu generierten Extraktionen und zur Verwendung von Schwellenwerten finden Sie auf der Seite Grundlegendes zur Validierung bei Extraktionen und Extraktionsleistung .

Anforderungsformat

Name	Typ	Erforderlich	BESCHREIBUNG
max_results	Nummer	nein	Die Anzahl der Kommentare, die für diesen Stream abgerufen werden sollen. Gibt weniger Kommentare zurück, wenn das Ende des Batches erreicht wird oder wenn Sie Kommentare gemäß dem Kommentarfilter herausfiltern. Der Maximalwert ist 32. Der Standardwert ist 16.
max_filtered	Nummer	nein	Convenience-Parameter für Streams mit einem Kommentarfilter. Wenn Sie sie bereitstellen, werden bis zu max_filtered gefilterte Kommentare nicht zu den angeforderten max_results gezählt. Dies ist nützlich, wenn Sie erwarten, dass eine große Anzahl von Kommentaren nicht dem Filter entspricht. Hat keine Auswirkung auf Streams ohne Kommentarfilter. Der Höchstwert beträgt 1024. Der Standardwert ist null.

Antwortformat

Name	Typ	BESCHREIBUNG
status	string	ok wenn die Anforderung erfolgreich ist, oder error im Falle eines Fehlers. Weitere Informationen zu Fehlermeldungen finden Sie auf der Seite Übersicht .
num_filtered	Nummer	Anzahl der Kommentare, die basierend auf einem Kommentarfilter herausgefiltert wurden. Wenn Sie den Stream ohne Filter erstellt haben, ist diese Zahl immer 0.
continuation	string	Das Batchfortsetzungstoken. Verwenden Sie sie, um die Verarbeitung dieses Batches zu bestätigen und den Stream zum nächsten Batch fortzusetzen.
more_results	Bool	„true“, wenn zum Zeitpunkt der Anforderung keine zusätzlichen Ergebnisse im Stream vorhanden waren. Andernfalls „false“.
results	array<Result>	Ein Array mit Ergebnisobjekten.

Dabei hat Result das folgende Format:

Name	Typ	BESCHREIBUNG
comment	Kommentar (Comment)	Kommentieren Sie Daten. Eine detaillierte Erklärung finden Sie in der Kommentarreferenz.
continuation	string	Das Fortsetzungstoken des Kommentars. Wird verwendet, um die Verarbeitung dieses Kommentars zu bestätigen und den Stream zum nächsten Kommentar fortzusetzen.
prediction	array<Prediction>	Die Vorhersage für diesen Kommentar. Ist nur verfügbar, wenn der Stream eine Modellversion angibt. Weitere Informationen zu generativen Vorhersagen finden Sie auf der Seite Communications Mining – Grundlegendes zur Validierung bei Extraktionen und Extraktionsleistung .

Prediction hat das folgende Format:

Name	Typ	BESCHREIBUNG
taxonomies	Array<TaxonomyPrediction>	Liste der Taxonomievorhersagen. Derzeit definieren Sie nur eine Taxonomie pro Dataset, aber Sie stellen sie aus Gründen der zukünftigen Kompatibilität als Liste bereit.

TaxonomyPrediction hat das folgende Format:

Name	Typ	BESCHREIBUNG
name	string	Name der Taxonomie. Der einzige Wert ist derzeit default.
labels	Array<LabelPrediction>	Eine Liste der extrahierten Beschriftungsvorhersagen mit ihren occurrence_confidence, extraction_confidence und extrahierten fields. Weitere Informationen zu generativen Vorhersagen finden Sie auf der Seite Communications Mining – Grundlegendes zur Validierung bei Extraktionen und Extraktionsleistung .
general_fields	Array<FieldPrediction>	Eine Liste der extrahierten Vorhersagen des allgemeinen Felds mit ihren name und extrahierten value. Weitere Informationen zu generativen Vorhersagen finden Sie auf der Seite Communications Mining – Grundlegendes zur Validierung bei Extraktionen und Extraktionsleistung .