Überwinden Sie die Grenzen von Formaten und Protokollen

Der Adeptia ETL-Server — ETL steht für «Extract, Transform, Load» — liest Daten in einem Input-Format (XML, Flat Files, EDI, …) aus einem Input-Kanal (Dateisystem, FTP, E-Mail, Web-Service, …), transformiert sie regelbasiert, bildet sie ganz oder teilweise in ein relationales Datenmodell ab und schreibt sie in eine Datenbank, die Sie eigens für die Archivierung selber konzipieren können.

Zusätzlich können mit den Daten verbundene Dokumente wie zum Beispiel Bilder oder Instrument-Dateien als binäre Objekte (CLOB, BLOB) oder Datei-Links in der Datenbank gespeichert werden.

Aus der Datenbank werden die Daten laufend durch CHRONOS online archiviert und gelöscht oder als archiviert markiert. Die ursprünglich semistrukturierten und isolierten Datenpakete sind damit nicht nur dauerhaft aufbewahrt, sondern über CHRONOS auch kollektiv durchsuchbar und auswertbar.

(Zum Vergrössern auf das Bild klicken.)

Eine Transformation wird als Workflow mit Ablauflogik und beliebig vielen einzelnen Arbeitsschritten definiert. Damit können Input-Daten strukturell umgeformt, Berechnungen durchgeführt, Daten durch Abfragen externer Systeme wie zum Beispiel Datenbanken hinzugefügt, alternative Abläufe und Sub-Workflows auf Grund von Entscheidpunkten aufgerufen und Fehler behandelt werden.

Durch Echtzeit-Steuerung mit Event- und Polling-Services werden Input-Kanäle überwacht und Workflows beim oder bis zum Eintreten bestimmter Ereignisse gestartet, angehalten oder weitergeführt (z.B. neue/geänderte Datei auf FTP-Server, neue E-Mail auf POP3-Server, Trigger in einer Datenbank).

Jeder Arbeitsschritt eines Workflows ist ein durch Java Management Extensions (JMX) verwalteter Service, wodurch Ressourcen, Laufzeit, verarbeitete Datenmengen und Fehler detailliert überwacht werden. Beliebig viele unterschiedliche Workflows können definiert und parallel ausgeführt werden, und von jedem Workflow können gleichzeitig mehrere unabhängige Instanzen laufen.

Dadurch eröffnen sich durch die Kombination von Adeptia ETL und CHRONOS beinahe unbegrenzte Möglichkeiten zur die Archivierung polymorpher Datenströme.

• Aggregation — Lassen Sie unterschiedliche Workflows polymorphe Daten in dieselbe Datenbank schreiben und so zur Archivierung mit CHRONOS zusammenführen.
• Föderation — Lassen Sie den Workflow einen Datenstrom in mehrere, durch CHRONOS einzeln archivierte Datenbanken aufteilen. Damit dies stabil funktioniert, bietet Adeptia XA/JTA Block-Transaktionen mit automatischen Rollbacks, wenn in einer der Datenbanken ein Fehler auftritt.
• Push-Archivierung — Lassen Sie Adeptia-Workflows durch Dritt-Systeme starten, welche Daten zur Archivierung und zur sofortigen Weiterleitung an Backend-Systeme übergeben: Ein Workflow lässt sich extern über Web-Services, HTTP-Requests und JMS-Messages starten und kann mit wenigen Mausklicks selber als SOAP Web-Service publiziert werden.

Damit all dies auch bei grossen Datenmengen und Ereignis-Frequenzen stabil und performant funktioniert, verfügt Adeptia über Enterprise-Features:

• Parallel und Concurrent Processing — Dateien mit einer grossen Zahl uniformer Datensätze («Bulk Data») können automatisch in Stücke unterteilt werden, die vom Workflow gleichzeitig und unabhängig verarbeitet werden.
• Failure Recovery — Bricht eine Workflow-Instanz unerwartet ab (zum Beispiel bei Stromausfall), so wird der Prozess nach dem Neustart des Adeptia-Servers im Zustand des letzten durchlaufenen, im Workflow definierten «Sync Point» fortgesetzt. Dies ermöglicht exakte Fortführungen und ist besonders bei langläufigen Prozessen wichtig, die Tage, Wochen oder permanent laufen.
• Clustering, Load Balancing & Management — Mehrere Adeptia-Server können zu einem Cluster verbunden werden. Eine Hauptinstanz verteilt neu gestartete Workflows optimal auf Cluster-Knoten oder lässt sie in einer Job Queue warten, wenn sonst die festgelegte Maximalzahl von laufenden Prozessen überschritten würde. Fällt die momentane Hauptinstanz aus, werden ihre Aufgaben automatisch von einer anderen Adeptia-Instanz im Cluster übernommen.
• Store-and-Forward — Für jede einzelne Aktivität in einem Workflow werden alle Input- und Output-Daten auf Disk gespeichert, was die exakte Nachvollziehbarkeit jeder Ausführung eines Workflows ermöglicht. Diese Zwischendaten können wenn nötig archiviert werden.
• Verschlüsselung — Jede Übertragung von Daten über das Netzwerk kann verschlüsselt erfolgen. Dazu können Keystores und digitale Zertifikate importiert und verwaltet werden.