Data Loading

Einleitung

Laden von Daten in den Connector

Das Laden von Daten bezieht sich auf die Zeit, die zum Laden neuer Daten in den Connectorerforderlich ist. Dies wird durch die Anzahl der Spalten beim Einlesen aus der Datenbank bestimmt.

Einige Datentypen lassen sich schneller laden als andere. Im weitesten Sinne ist die Reihenfolge die folgende.

1. ODBC: Dies hängt auch vom Treiber und der Datenbank ab.
2. Flatfiles: csv’s .
3. Excel: Diese Dateien enthalten Overhead für die Verwendung in Excel, wodurch sie langsamer eingelesen werden können. Verwenden Sie nach Möglichkeit Textdateien anstelle von Excel-Dateien. Textdateien sind viel schneller.

Skripte mit mehreren Dateien sind beim Analysieren aller verschiedenen Einfachdateien ziemlich langsam und sollten nach Möglichkeit vermieden werden. Vermeiden Sie auch APIs zum Laden großer Datenmengen.

 

Laden von Daten in die Anwendung

Daten können auf folgende Arten geladen werden:

• wenn die Anwendung gestartet wird (Live-Daten);
• als Ergebnis einer geplanten Datenausführung (zwischengespeicherte Daten);
• eine Kombination aus Live- und zwischengespeicherten Daten (inkrementelles Laden).

Live-Daten

Im Allgemeinen sind Live-Daten viel langsamer, insbesondere wenn viele Daten vorhanden sind. Live-Daten benötigen auch einen kontinuierlichen Zugriff auf die Daten, was während der Produktionszeiten ein Problem sein kann.

Als allgemeine Richtlinie wird empfohlen, Livedaten unter 100.000 Ereignissen zu halten. Die tatsächliche Leistung hängt stark von den Daten und den verwendeten Datenquellen ab.

Es ist möglich, Live-Daten basierend auf dem Wert eines Filters abzurufen. Wenn der Filter geändert wird, werden die neuen Daten angefordert. Die Leistung muss für diese Art von Anwendungsfällen ernsthaft in Betracht gezogen werden.

Live-Tabellen werden geladen, wenn sich der Benutzer anmeldet und/oder ein Filtersteuerelement ändert. Live-Tabellen führen häufig zu Leistungsproblemen. Es wird empfohlen, nach Möglichkeit zwischengespeicherte Tabellen zu verwenden.

Zwischengespeicherte Daten

Bei zwischengespeicherten Daten ist die Startzeit der Anwendung unabhängig von der Anzahl der Spalten. Wenn Daten vorberechnet und zwischengespeichert werden, können sie bei Anforderung direkt aus dem Cache geladen werden. Das Extrahieren von Daten aus Quellsystemen kann zeitaufwändig sein. Es wird empfohlen, die Cache-Aktualisierungen zu planen, z. B. außerhalb der Produktionszeiten.

Neben der Extraktion von Daten werden die Daten auch in das interne Format von UiPath Process Mining umgewandelt, und alle Berechnungen, die nicht von Benutzereingaben abhängen, werden zwischengespeichert.

Bei Berechnungen, die von Benutzereingaben abhängen, wird der Anfangszustand zwischengespeichert. Wenn der Benutzer ein Steuerelement oder einen Filter ändert, der die Berechnung ändert, wird die Berechnung erneut ausgeführt. Für ein gutes Anwendungsdesign ist es sehr wichtig, diese Neuberechnungen auf ein Minimum zu beschränken.

Inkrementelle Last

Standardmäßig lädt UiPath Process Mining Daten nicht inkrementell. Da bei den Elementen in den ERP-Systemen häufig Mutationen auftreten, ist die Archivierung der Daten häufig kein gewünschter Ansatz. Daher werden alle Daten aus dem System geladen, um sicherzustellen, dass wir die neuesten Änderungen in unserem Datenmodell haben.

Das inkrementelle Laden von Daten kann theoretisch von Anwendungsentwicklern eingerichtet werden. Dies erfordert ausreichende Informationen in der Datenbank, um zu bestimmen, welche Daten neu sind und welche Abfragen sein müssen. Die Leistung muss sorgfältig geprüft werden. Wir empfehlen die Verwendung des inkrementellen Ladens von Daten nur, wenn dies unbedingt erforderlich ist.

Eine geeignetere Alternative besteht darin, inkrementelle Ladevorgänge vom Quellsystem in einen Data Lake/Warehouse mit speziellen Tools auszuführen und dann den Data Lake/das Warehouse von UiPath Process Mining abzufragen. Dies gewährleistet eine geringe Auswirkung auf das Quellsystem und teilt die Gewinne aus inkrementellen Lasten mit der gesamten Organisation, anstatt speziell für UiPath Process Mining.

Externe Skripte

In UiPath Process Mining können Sie Daten über Skripte laden, die beispielsweise Python oder R verwenden. Diese Skripte rufen ein externes Programm zur Ausführung auf, und diese Ausgabe kann erneut eingelesen werden. UiPath Process Mining bietet die Unterstützung für die Schnittstelle zwischen unserer Plattform und dem Skript. UiPath Process Mining unterstützt keine Probleme mit dem eigentlichen Skript, die zu einer langen Laufzeit des externen Tools führen können.

 

Lösungen

Treiber

Stellen Sie immer sicher, dass Sie die neuesten Versionen der MSSQL-ODBC- Treiber für Windows Server 2016 installiert haben.

Debug-Modul

Manchmal ist es beispielsweise nicht möglich, die einzulesenden Daten zu reduzieren. wenn die Eingabedaten noch nicht gefiltert werden können. Bei einer großen Eingabe in Ihrem Connectorkönnen die Reaktionszeiten langsam sein. Um die Entwicklung zu beschleunigen, können Sie Ihrer Anwendung Module hinzufügen.

Sie können den Modulcode verwenden, um sicherzustellen, dass die Daten nur in einem Modul tatsächlich eingelesen werden, während das andere Modul keine Daten lädt und verwendet werden kann, um Änderungen an Ihrem Datenmodell vorzunehmen. Auf diese Weise werden Änderungen beeinflusst, ohne dass auf die Initialisierung der Daten gewartet werden muss.