Bereitstellen von leistungsstarken Modellen

Da die Genauigkeit von Machine-Learning-Modellen (ML) im Laufe der Zeit steigt, ändern sich auch ihre Ressourcenanforderungen. Für die beste Leistung ist es wichtig, dass bei der Bereitstellung von ML-Modellen über AI Center™ ausreichend Durchsatz für den Datenverkehr vorhanden ist. Die Infrastruktur wird Großteils in Bezug auf die Anzahl der Seiten pro Zeiteinheit (Minute oder Stunde) dimensioniert. Ein Dokument kann eine einzelne Seite oder mehrere Seiten haben.

Einführung in die Leistung von ML-Modellen

Um Infrastruktur über das AI Center bereitzustellen, müssen einige wichtige Aspekte für eine optimale Leistung berücksichtigt werden.

GPU

Es ist nur eine Art von GPU-Infrastruktur verfügbar. Dies wird durch das Kontrollkästchen zum Aktivieren der GPU hervorgehoben. Jede Fähigkeit wird auf einer einzelnen virtuellen Maschine (VM) oder einem Knoten ausgeführt, der über eine GPU verfügt. In diesem Fall sind CPU und Arbeitsspeicher nicht relevant, da die Fähigkeit alle verfügbaren CPU- und Arbeitsspeicherressourcen auf diesen Knoten verwenden kann. Neben dem höheren Durchsatz ist eine GPU viel schneller. Aus diesem Grund wird empfohlen, eine GPU zu verwenden, wenn die Latenz kritisch ist.

CPU

CPU und Arbeitsspeicher können aufgeteilt werden, was bedeutet, dass mehrere ML-Fähigkeiten auf demselben Knoten ausgeführt werden können. Um Unterbrechungen durch benachbarte Fähigkeiten zu vermeiden, ist jede ML-Fähigkeit auf die Menge an Speicher und CPU begrenzt, die sie verbrauchen kann, abhängig von der ausgewählten Stufe. Eine höhere CPU-Auslastung führt zu einer schnelleren Verarbeitung (für eine Seite), während eine höhere Speicherauslastung zu einer größeren Anzahl von Dokumenten führt, die verarbeitet werden können.

Anzahl der Replikate

Die Anzahl der Replikate bestimmt die Anzahl der Container, die verwendet werden, um Anforderungen aus dem ML-Modell zu verarbeiten. Eine höhere Anzahl führt zu einer größeren Anzahl von Dokumenten, die parallel verarbeitet werden können, vorbehaltlich der Einschränkungen dieser bestimmten Ebene. Die Anzahl der Replikate ist direkt mit dem Infrastrukturtyp verbunden (Anzahl der CPUs pro Replikat oder Verwendung einer GPU), da sowohl Replikate als auch die Infrastrukturgröße sich direkt auf den Durchsatz (Seiten/Minute) auswirken können.

Hinweis: Mehrere Replikate vervielfachen den Durchsatz.

Anzahl an Robotern

Die Anzahl der Roboter wirkt sich auf den Durchsatz aus. Für einen effizienten Durchsatz muss die Anzahl der Roboter so bemessen werden, dass sie die ML-Fähigkeiten nicht überlasten. Dies hängt von der Automatisierung selbst ab und sollte getestet werden. Als allgemeine Richtlinie können Sie ein bis drei Roboter als Ausgangspunkt für jedes Replikat der ML-Fähigkeit verwenden. Abhängig von der Gesamtprozesszeit (ohne ML-Extraktor) kann die Anzahl der Roboter höher oder niedriger sein (oder die Anzahl der Replikate).

Potenzielle Probleme im Zusammenhang mit der Dimensionierung der Infrastruktur

Wenn die Infrastruktur nicht richtig dimensioniert ist, können die Modelle einer sehr hohen Belastung ausgesetzt werden. In einigen Fällen kann dies zu einem Rückstand an Anforderungen, langer Bearbeitungszeit oder sogar Fehlern bei der Verarbeitung von Dokumenten führen.

Unzureichender Speicher

Unzureichender Speicher, der am häufigsten auf den unteren CPU-Ebenen auftritt (0,5 CPU oder 1 CPU). Wenn Sie sehr große Nutzlasten (ein oder mehrere große Dokumente) verarbeiten müssen, kann dies zu einer Ausnahme wegen unzureichendem Speicher führen. Dies hängt mit der Dokumentgröße in Bezug auf die Seiten und die Textdichte (Menge an Text pro Seite) zusammen. Da die Anforderungen für jeden Anwendungsfall sehr spezifisch sind, ist es nicht möglich, genaue Zahlen anzugeben. Ausführliche Informationen finden Sie in den Richtlinien im Abschnitt Richtige Dimensionierung der Infrastruktur . Wenn der Speicher unzureichend ist, empfiehlt es sich, zur nächstliegenden Ebene zu wechseln.

Unzureichende Rechenleistung

Unzureichende Rechenleistung bezieht sich sowohl auf die CPU als auch auf die GPU, obwohl sie häufiger bei CPUs auftritt. Wenn die ML-Fähigkeit zu viele Seiten für ihre verfügbare Kapazität erhält, kann es bei Anforderungen zu Timeouts (Statuscodes 520 und 499), Rückständen oder sogar zum Abstürzen des Modells kommen (Statuscodes 503 und 500). Bei unzureichender Rechenleistung empfehlen wir, zur nächsten Ebene oder sogar zur GPU-Ebene zu wechseln.

Richtige Dimensionierung der Infrastruktur

Allgemeine Richtlinien

Dieser Abschnitt enthält allgemeine Richtlinien für die Leistung der Modelle bei jeder unterschiedlichen Fähigkeitsgröße.

Hinweis: Jede Modellgeneration (2022.10, 2023.4 oder 2023.10) verhält sich unterschiedlich in Bezug auf benötigte Ressourcen und Durchsatz. Wenn die Genauigkeit der Modelle verbessert wird, kann sich dies auch auf die Leistung auswirken und mehr Ressourcen erfordern.

Tabelle 1. Extraktor 2022.10

Ebene	Maximale Seiten/Dokument	Erwarteter Durchsatz (Seiten/Stunde)	AI Units/Stunde
0,5 CPU/2 GB Speicher	25	300-600	1
1 CPU/4 GB Speicher	50	400-800	2
2 CPU/8 GB Speicher	100	600-1000	4
4 CPU/16 GB Speicher	100	800-1200	8
6 CPU/24 GB Speicher	100	900-1300	12
GPU	200-250	1350-1600	20

Tabelle 2. 2023.4 Extraktor

Ebene	Maximale Seiten/Dokument	Erwarteter Durchsatz (Seiten/Stunde)	AI Units/Stunde
0,5 CPU/2 GB Speicher	25	40-100	1
1 CPU/4 GB Speicher	50	70-140	2
2 CPU/8 GB Speicher	75	120-220	4
4 CPU/16 GB Speicher	100	200-300	8
6 CPU/24 GB Speicher	100	250-400	12
GPU	200-250	1400-2200	20

Tabelle 3. Extraktoren 2023.7 und 2023.10

Ebene	Maximale Seiten/Dokument	Erwarteter Durchsatz (Seiten/Stunde)	AI Units/Stunde
0,5 CPU/2 GB Speicher	25	60-200	1
1 CPU/4 GB Speicher	50	120-240	2
2 CPU/8 GB Speicher	75	200-280	4
4 CPU/16 GB Speicher	100	250-400	8
6 CPU/24 GB Speicher	100	350-500	12
GPU	200-250	1000-2000	20

Der erwartete Durchsatz wird für jedes Replikat in Seiten/Stunde ausgedrückt, sowie als minimaler und maximaler erwarteter Durchsatz, abhängig vom Dokument selbst. Die ML-Fähigkeit sollte für den höchsten erwarteten Durchsatz (Spitze) dimensioniert werden und nicht für den durchschnittlichen Durchsatz pro Tag, in einer Woche oder in einem Monat.

Hinweis: Stellen Sie bei der Dimensionierung der Infrastruktur sicher, dass Sie mit dem umfangreichsten Dokument beginnen, das die Fähigkeit verarbeiten muss, sowie mit dem erwarteten Durchsatz.

Beispiele

Beispiel 1

Der ML-Skill muss Folgendes mit einem Extraktor der Version 2023.10 verarbeiten:

• Dokumente mit maximal fünf Seiten.
• Eine maximale Spitze von 300 Seiten pro Stunde.

Da der Durchsatz niedriger und die Dokumentgröße klein ist, wird in diesem Beispiel keine GPU benötigt. Zwei bis vier Replikate der Ebene mit 0,5 CPU oder 1 CPU sind ausreichend.

Beispiel 2

Der ML-Skill muss Folgendes mit einem Extraktor der Version 2023.4 verarbeiten:  

• Dokumente mit maximal 80 Seiten.
• Eine maximale Spitze von 900 Seiten pro Stunde.

Für dieses Beispiel sind entweder drei Replikate der Ebene mit 4 CPUs oder eine einzelne GPU-Ebene ausreichend.

Hinweis: Ein einzelnes Replikat hat keine hohe Verfügbarkeit, daher wird immer empfohlen, mindestens zwei Replikate für kritische Produktions-Workflows zu verwenden.

Beispiel 3

Der ML-Skill muss Folgendes mit einem Extraktor der Version 2023.10 verarbeiten:

• Dokumente mit maximal 50 Seiten.
• Eine maximale Spitze von 3.000 Seiten pro Stunde.

Es gibt zwei Möglichkeiten, diese Anforderungen zu erfüllen:

• Verwenden Sie drei GPU-Replikate.
• Verwenden Sie 12–15 Replikate der Ebene mit 4 oder 6 CPUs.

Beide Optionen haben eine hohe Verfügbarkeit, da es mehr als zwei Replikate für die ML-Fähigkeit gibt.