Bereitstellen von leistungsstarken Modellen

Da die Genauigkeit von Machine-Learning-Modellen (ML) im Laufe der Zeit steigt, ändern sich auch ihre Ressourcenanforderungen. Für die beste Leistung ist es wichtig, dass bei der Bereitstellung von ML-Modellen über AI Center ausreichend Durchsatz für den Datenverkehr vorhanden ist. Die Infrastruktur wird Großteils in Bezug auf die Anzahl der Seiten pro Zeiteinheit (Minute oder Stunde) dimensioniert. Ein Dokument kann eine einzelne Seite oder mehrere Seiten haben.

Einführung in die Leistung von ML-Modellen

Um Infrastruktur über das AI Center bereitzustellen, müssen einige wichtige Aspekte für eine optimale Leistung berücksichtigt werden.

GPU

Es ist nur eine Art von GPU-Infrastruktur verfügbar. Dies wird durch das Kontrollkästchen zum Aktivieren der GPU hervorgehoben. Jede Fähigkeit wird auf einer einzelnen virtuellen Maschine (VM) oder einem Knoten ausgeführt, der über eine GPU verfügt. In diesem Fall sind CPU und Arbeitsspeicher nicht relevant, da die Fähigkeit alle verfügbaren CPU- und Arbeitsspeicherressourcen auf diesen Knoten verwenden kann. Neben dem höheren Durchsatz ist eine GPU viel schneller. Aus diesem Grund wird empfohlen, eine GPU zu verwenden, wenn die Latenz kritisch ist.

CPU

CPU und Arbeitsspeicher können aufgeteilt werden, was bedeutet, dass mehrere ML-Fähigkeiten auf demselben Knoten ausgeführt werden können. Um Unterbrechungen durch benachbarte Fähigkeiten zu vermeiden, ist jede ML-Fähigkeit auf die Menge an Speicher und CPU begrenzt, die sie verbrauchen kann, abhängig von der ausgewählten Stufe. Eine höhere CPU-Auslastung führt zu einer schnelleren Verarbeitung (für eine Seite), während eine höhere Speicherauslastung zu einer größeren Anzahl von Dokumenten führt, die verarbeitet werden können.

Anzahl der Replikate

Die Anzahl der Replikate bestimmt die Anzahl der Container, die verwendet werden, um Anforderungen aus dem ML-Modell zu verarbeiten. Eine höhere Anzahl führt zu einer größeren Anzahl von Dokumenten, die parallel verarbeitet werden können, vorbehaltlich der Einschränkungen dieser bestimmten Ebene. Die Anzahl der Replikate ist direkt mit dem Infrastrukturtyp verbunden (Anzahl der CPUs pro Replikat oder Verwendung einer GPU), da sowohl Replikate als auch die Infrastrukturgröße sich direkt auf den Durchsatz (Seiten/Minute) auswirken können.

Hinweis:

Multiple replicas multiply the throughput.

Anzahl an Robotern

Die Anzahl der Roboter wirkt sich auf den Durchsatz aus. Für einen effizienten Durchsatz muss die Anzahl der Roboter so bemessen werden, dass sie die ML-Fähigkeiten nicht überlasten. Dies hängt von der Automatisierung selbst ab und sollte getestet werden. Als allgemeine Richtlinie können Sie ein bis drei Roboter als Ausgangspunkt für jedes Replikat der ML-Fähigkeit verwenden. Abhängig von der Gesamtprozesszeit (ohne ML-Extraktor) kann die Anzahl der Roboter höher oder niedriger sein (oder die Anzahl der Replikate).

Potenzielle Probleme im Zusammenhang mit der Dimensionierung der Infrastruktur

Wenn die Infrastruktur nicht richtig dimensioniert ist, können die Modelle einer sehr hohen Belastung ausgesetzt werden. In einigen Fällen kann dies zu einem Rückstand an Anforderungen, langer Bearbeitungszeit oder sogar Fehlern bei der Verarbeitung von Dokumenten führen.

Unzureichender Speicher

Insufficient memory most commonly encountered on the lower CPU tiers (0.5 CPU or 1 CPU). If you need to process a very large payload (one or several large documents), it can lead to an out of memory exception. This is related to the document size in terms of pages and text density (how much text there is per page). Since the requirements are very specific to each use case, it is not possible to provide exact numbers. You can check the guidelines in the Sizing the infrastructure correctly section for more detailed information. If you encounter an insufficient memory situation, the general recommendation is to go to the next tier.

Unzureichende Rechenleistung

Unzureichende Rechenleistung bezieht sich sowohl auf die CPU als auch auf die GPU, obwohl sie häufiger bei CPUs auftritt. Wenn die ML-Fähigkeit zu viele Seiten für ihre verfügbare Kapazität erhält, kann es bei Anforderungen zu Timeouts (Statuscodes 520 und 499), Rückständen oder sogar zum Abstürzen des Modells kommen (Statuscodes 503 und 500). Bei unzureichender Rechenleistung empfehlen wir, zur nächsten Ebene oder sogar zur GPU-Ebene zu wechseln.

Die Infrastruktur richtig dimensionieren

Allgemeine Richtlinien

Dieser Abschnitt enthält allgemeine Richtlinien für die Leistung der Modelle bei jeder unterschiedlichen Fähigkeitsgröße.

Wichtig:

The calculations provided in this section are intended to be used only as general guidelines and should not be interpreted as exact specifications. Performance outcomes can vary and are influenced by different factors such as the size of the document, number of pages, and the specific model being utilized.

Hinweis:

Each model generation (2022.10, 2023.4, or 2023.10) behaves differently in relation to resources required and throughput. As models become better in terms of accuracy, this can also impact the performance and demand more resources.

Table 1. 2022.10 Extractor

Ebene	Maximale Seiten/Dokument	Erwarteter Durchsatz (Seiten/Stunde)	AI Units/Stunde
0,5 CPU/2 GB Speicher	25	300-600	1
1 CPU/4 GB Speicher	50	400-800	2
2 CPU/8 GB Speicher	100	600-1000	4
4 CPU/16 GB Speicher	100	800-1200	8
6 CPU/24 GB Speicher	100	900-1300	12
GPU	200-250	1350-1600	20

Table 2. 2023.4 Extractor

Ebene	Maximale Seiten/Dokument	Erwarteter Durchsatz (Seiten/Stunde)	AI Units/Stunde
0,5 CPU/2 GB Speicher	25	40-100	1
1 CPU/4 GB Speicher	50	70-140	2
2 CPU/8 GB Speicher	75	120-220	4
4 CPU/16 GB Speicher	100	200-300	8
6 CPU/24 GB Speicher	100	250-400	12
GPU	200-250	1400-2200	20

Table 3. 2023.7 and later versions of extractors

Ebene	Maximale Seiten/Dokument	Erwarteter Durchsatz (Seiten/Stunde)	AI Units/Stunde
0,5 CPU/2 GB Speicher	25	60-200	1
1 CPU/4 GB Speicher	50	120-240	2
2 CPU/8 GB Speicher	75	200-280	4
4 CPU/16 GB Speicher	100	250-400	8
6 CPU/24 GB Speicher	100	350-500	12
GPU	200-250	1000-2000	20

Der erwartete Durchsatz wird für jedes Replikat in Seiten/Stunde ausgedrückt, sowie als minimaler und maximaler erwarteter Durchsatz, abhängig vom Dokument selbst. Die ML-Fähigkeit sollte für den höchsten erwarteten Durchsatz (Spitze) dimensioniert werden und nicht für den durchschnittlichen Durchsatz pro Tag, in einer Woche oder in einem Monat.

Hinweis:

When sizing the infrastructure, make sure to start from the largest document the skill needs to handle and the expected throughput.

Beispiele

Beispiel 1

Der ML-Skill muss Folgendes mit einem Extraktor der Version 2023.10 verarbeiten:

• Dokumente mit maximal fünf Seiten.
• Eine maximale Spitze von 300 Seiten pro Stunde.

Da der Durchsatz niedriger und die Dokumentgröße klein ist, wird in diesem Beispiel keine GPU benötigt. Zwei bis vier Replikate der Ebene mit 0,5 CPU oder 1 CPU sind ausreichend.

Beispiel 2

Der ML-Skill muss Folgendes mit einem Extraktor der Version 2023.4 verarbeiten:  

• Dokumente mit maximal 80 Seiten.
• Eine maximale Spitze von 900 Seiten pro Stunde.

Für dieses Beispiel sind entweder drei Replikate der Ebene mit 4 CPUs oder eine einzelne GPU-Ebene ausreichend.

Hinweis:

A single replica does not have high availability, so it is always recommended to use at least two replicas for critical production workflows.

Beispiel 3

Der ML-Skill muss Folgendes mit einem Extraktor der Version 2023.10 verarbeiten:

• Dokumente mit maximal 50 Seiten.
• Eine maximale Spitze von 3.000 Seiten pro Stunde.

Es gibt zwei Möglichkeiten, diese Anforderungen zu erfüllen:

• Verwenden Sie drei GPU-Replikate.
• Verwenden Sie 12–15 Replikate der Ebene mit 4 oder 6 CPUs.

Beide Optionen haben eine hohe Verfügbarkeit, da es mehr als zwei Replikate für die ML-Fähigkeit gibt.

Die Infrastruktur für ein Replikat formatieren

You can check the tables from the General guidelines section for the expected throughput from a single extraction replica, depending on the model version and the tier.

Hinweis:

To achieve maximum throughput potential, you must keep the extraction replica under constant load.

Um sicherzustellen, dass das Replikat ständig ausgelastet ist, sollten die folgenden Kriterien erfüllt sein:

• Idealerweise sollte zwischen dem Moment, in dem das Replikat die Antwort auf eine Anforderung sendet, und dem Moment, in dem das Replikat die Daten für die nächste Anforderung erhält, eine minimale Leerlaufzeit liegen.
• Das Replikat darf nicht überlastet werden. Anforderungen werden nacheinander (serienmäßig) bearbeitet. Das bedeutet, dass es immer eine aktive Anforderung gibt, die verarbeitet wird, und eine Warteschlange ausstehender Anforderungen. Wenn diese Warteschlange zu lang wird, weist das Replikat neue eingehende Anforderungen zurück und zeigt den Statuscode 429 (too many requests) HTTP an.

Bei der Dimensionierung der Infrastruktur für ein einzelnes Replikat müssen Sie vor allem darauf achten, dass die Workload ausgewogen ist. Die Workload darf weder so gering sein, dass das Replikat inaktiv bleibt, noch so hoch, dass es anfängt, Aufgaben abzulehnen.

Die erforderliche Anzahl von Replikaten ermitteln

Um die Anzahl der erforderlichen Replikate zu bestimmen, gehen Sie wie folgt vor:

• Ermitteln Sie den Zeitraum mit der höchsten Aktivität für die Replikate. Sie müssen beispielsweise die Stunde mit der höchsten Aktivität ermitteln, nicht die Spitzenzeit innerhalb einer Minute oder eines 12-Stunden-Zeitraums. Nachdem Sie diesen Zeitraum festgelegt haben, schätzen Sie die Nachfrage (Anzahl der Seiten oder Anforderungen) während dieses Zeitraums.
• Divide the estimate by the throughput per replica, described in the Size the infrastructure for one replica section.
• Fügen Sie aus Sicherheitsgründen etwas zusätzliche Kapazität hinzu.

Beachten Sie, dass die Nutzung des Zeitraums mit der höchsten Auslastung zu einer Überprovisionierung führen kann, wenn die Nachfrage deutlich geringer ist. Um dies zu vermeiden, können Sie die Größe einer Bereitstellung je nach Bedarf manuell erhöhen oder verringern. Dies kann beispielsweise hilfreich sein, wenn in einem einstündigen Intervall viel los ist und 10 Replikate benötigt werden, gefolgt von 23 Stunden mit geringer Aktivität, in denen nur 2 Replikate benötigt werden. Dies kann dazu führen, dass das System für eine beträchtliche Zeitspanne überdimensioniert ist.

Messen Sie Bedarf und Angebot: Seiten oder Anforderungen

Die Anzahl der Seiten und die Dichte dieser Seiten sind wichtige Faktoren. Die Seitenanzahl ist relevanter als die Anzahl der Anforderungen. In der Praxis sind die Anforderungen jedoch einfacher zu zählen.

Tipp:

You can use historical data to make this conversion easier. For a particular skill with a recorded history, you can check the metering telemetry to identify the distribution of page counts for requests made to that skill. For example, if a skill received mostly documents with two or three pages in the last month, you can assume the future trend will continue with an average of 2.5 pages per document.

Feststellen, ob ein Einsatz unterdimensioniert ist

Wenn Sie ermitteln, ob eine Bereitstellung unterdimensioniert ist, spielt die CPU-Auslastung keine Rolle, da jedes Replikat die CPU-/GPU-Auslastung während der Verarbeitung einer Anforderung maximieren wird, unabhängig von der Warteschlange der anstehenden Anforderungen.

Der wichtige Faktor ist die End-to-End-Zeit, die sich aus Wartezeit und tatsächlicher Verarbeitungszeit zusammensetzt.

Wenn Sie z. B. eine Stufe mit einem Durchsatz von etwa 900 Seiten/Stunde oder etwa 4 Sekunden/Seite ausgewählt haben und 5-seitige Dokumente senden, dauert es in der Regel etwa 30 Sekunden pro Dokument.

Dann können Sie eine Wartezeit von etwa 10 Sekunden einschätzen. Das bedeutet, dass es eine Wartezeit gibt (d. h. die Anforderung wurde nicht sofort vom Replikat angenommen, da es mit der Verarbeitung bereits vorhandener Anforderungen beschäftigt war). Dies zeigte auch an, dass diese Wartezeit etwa 10 Sekunden betrug.

Wenn der Unterschied zwischen der tatsächlichen End-to-End-Zeit (gemessene Zeit) und der erwarteten End-to-End-Zeit (geschätzt als Funktion der Stufe) mehr als null beträgt, bedeutet dies, dass das Replikat ohne Unterbrechung arbeitet. Wenn die Wartezeit mit steigender Anforderung zunimmt, ist die Bereitstellung eindeutig unter Dauerbelastung. Außerdem sind alle 429-Statuscodes (zu viele Anforderungen) ein Zeichen für eine zu geringe Bereitstellung.

Ermitteln, ob eine Bereitstellung überdimensioniert ist

Die vorangegangenen Abschnitte können Ihnen dabei helfen, zu ermitteln, ob die Bereitstellung effektiv ist. Wir empfehlen Ihnen jedoch, diese Schritte für eine genaue Analyse Ihrer Bereitstellung zu befolgen:

• Ermitteln Sie den Zeitraum mit der höchsten Aktivität. Nehmen wir an, dass es sich bei diesem Beispiel um eine Stunde oder 3.600 Sekunden handelt.
• Nehmen wir die aktuelle Anzahl der Replikate. Nehmen wir an, es sind 10. Dies ergibt 36.000 „Replikat-Sekunden“ (ähnliches Konzept wie „Person-Stunde“).
• Addieren Sie die Gesamtdauer der Anforderungen (Summe der End-to-End-Zeiten). Nehmen wir an, es sind 10.000 Sekunden.

Da in diesem Beispiel 10.000 niedriger ist als 36.000, bedeutet dies, dass Ihre derzeitige Infrastruktur mehr als nötig ist. Sie können versuchen, die Bereitstellung auf acht Replikate zu reduzieren, die Leistung zu überwachen und, wenn sie reibungslos funktioniert, auf sechs Replikate zu reduzieren. Die Leistung wird mit jeder Anpassung neu bewertet.