Automatisieren Sie die gesamte Daten-Pipeline, um eine oftmals komplexe und heterogene Sammlung von Tools und Prozessen in einen agilen, einheitlichen Geschäftsprozess zu verwandeln.
Der Prozess beginnt mit der Automatisierung der Daten-Feeds: eingehende Daten werden gelesen, und mit der semantischen Analyse von Ab Initio werden Felder, Datentypen und mehr ermittelt. Die Analyse kann automatisch Regelsätze generieren, die die Datenqualität validieren, und kann benutzerfreundliche Berichte erstellen, die wichtige Datenmerkmale wie Felder, Datentypen und Statistiken zu den Datenwerten beschreiben.
Falls Datenqualitätsprobleme festgestellt werden, kann automatisch ein Ticket generiert werden, damit ein Data Steward eingreift. Ein anderer Prozess führt eine semantische Analyse aus, um die Daten mit den entsprechenden Geschäftsbegriffen anzureichern, während ein weiterer Prozess vertrauliche PII ermittelt und automatisch maskiert. Die bereinigten, angereicherten und maskierten Daten werden dann im Datenkatalog zur Verfügung gestellt, wo Analysten ihre Fachkenntnisse anwenden können.
Anschließend lassen sich die Daten durch weitere automatisierte Pipelines in einen Data Lake, ein Data Warehouse oder ein Data Lab einbinden. Hierbei werden generische metadatenbasierte Frameworks verwendet, um die möglichen Pipelines zu definieren, sodass nur noch die elementaren Zuweisungsregeln und Parameter angegeben werden müssen.
Obwohl die Automatisierung durchgehender Daten-Pipelines im Vorfeld mit einem höheren Investitionsaufwand verbunden ist, macht sich dieser Aufwand später durch die höhere Agilität und Produktivität mehrfach bezahlt.
Die Ergebnisse jahrzehntelanger Software-Entwicklung von der lokalen Infrastruktur in die Cloud zu migrieren, dauert unter Umständen mehrere Jahre. Oder die Migration erfolgt mit Ab Initio.
Ein großer Kreditkartenanbieter in den USA erstellte mit der Ab Initio-Software eine der weltweit innovativsten Business Intelligence-Umgebungen. Nachdem die Software jahrzehntelang vor Ort entwickelt und betrieben worden war, beschloss das Unternehmen, von neuen Technologien zu profitieren, lokale Rechenzentren aufzulösen und in die Cloud zu wechseln.
Ein System zu verlagern, das über eine Zeitspanne von 20 Jahren entwickelt wurde, ist keine einfache Aufgabe. Die Daten waren in einem sehr großen, teuren Data Warehouse gespeichert. Es gab über 100.000 Zeilen SQL-Code, ein Teil davon war sogar anbieterspezifisch. Es gab Tausende von Ab Initio-Graphen. Es gab keine Detailinformationen darüber, welche Graphen wie oft und mit welchen Parametern ausgeführt wurden. Diese Angaben waren tief im Jobplanungssystem und in den Shell-Skripten verborgen, die diese Jobs starteten, und mussten vor der Migration ausgegraben werden.
Da Automatisierung der Schlüssel zu diesem Migrationsprojekt war, arbeitete das Unternehmen mit Ab Initio zusammen, um die Automatisierungsmaschinerie zu erstellen. In manchen Fällen stellte Ab Initio Automatisierungstools und Konvertierungsfunktionen „out of the box“ bereit. In anderen Fällen entwickelten beide Teams miteinander benutzerdefinierte Automatisierungstools. Eine auf Ab Initio basierende Anwendungslogik lässt sich dank der einzigartigen Struktur und des metadatenbasierten Verarbeitungsmodells von Ab Initio automatisch übertragen. Die Ab Initio-Analysetools dokumentierten automatisch die verschiedenen Job- und Datenabhängigkeiten. Von Ab Initio entwickelte Tools analysierten Hunderttausende von Laufzeit-Protokolldateien.
Die Migration dauerte 18 Monate, eine außerordentlich kurze Zeit für ein Projekt dieser Größenordnung. Durch die Zusammenarbeit mit Ab Initio hat der Kreditkartenanbieter letztlich ein resilienteres System erhalten, das von den neuesten Technologien profitieren kann und Millionen an Kosten einsparte.