Oswald Regular
OpenSans Regular
Data Warehousing zum Fliegen bringen
Metadaten beschleunigen die Entwicklung von Enterprise Data Warehouses.

Benutzer unterschätzen oft die mit der Erstellung von Enterprise Data Warehouses (EDWs) verbundenen Herausforderungen.

Wenn man den Prozess mit dem Bau eines Flugzeugs vergleicht, stellt man fest, dass ein Flugzeug zwar aus Hunderttausenden von Bauteilen bestehen kann, dass aber alle Flugzeuge einer Serie weitgehend baugleich sind. Die Bauteile sind vorgefertigt und passen zusammen. Der allgemeine Bauplan eines Flugzeugs ist bekannt (Flügel, Rumpf, Fahrwerk …), und bei der Konstruktion werden die Abmessungen, Formen und Materialien nach bekannten Prinzipien ausgewählt. Alle Flugzeuge fliegen durch die Luft, und die Eigenschaften der Luft sind gut dokumentiert. Es ist sicherlich nicht einfach, Flugzeuge zu bauen, aber es ist im Großen und Ganzen eine reproduzierbare Aufgabe mit weitgehend vorhersehbaren Ergebnissen.

Bei EDWs ist es anders. Jedes EDW unterscheidet sich von allen anderen. Jedes hat eine völlig andere Kombination von Eingängen und Ausgängen und bringt die jeweiligen Daten mittels anderer Methoden in eine verständliche Struktur. In dem Versuch, eine größere Einheitlichkeit und Wiederverwendbarkeit zu erzielen, arbeiten viele Kunden mittlerweile mit Modellen nach Industriestandard. Das klingt zunächst nach einer guten Idee, aber es ähnelt dem Versuch, Flugzeuge, Hubschrauber und Raumschiffe nach einem gemeinsamen Bauplan zu fertigen. Auch wenn diese Transportmittel gemeinsame Merkmale aufweisen, unterscheiden sie sich in den Details doch ganz gewaltig.

WARUM ES SO SCHWER IST

Bei der Erstellung von EDWs werden zunächst die Anforderungen erfasst: Das Modell nach Industriestandard wird in ein physisches Modell umgewandelt. Aus dem physischen Modell werden Spezifikationen abgeleitet. Die Spezifikationen werden als Kalkulationstabellen mit Regeln und Zuweisungen festgehalten. Diese Kalkulationstabellen werden von Offshore-Dienstleistern in Code umgewandelt. Der Code wird zurückgesendet und dann (häufig zum ersten Mal) mit echten Daten ausgeführt. Meistens stellt man dann fest, dass der Code nicht zu den Daten passt, und das Team muss wieder von vorne anfangen, oft sogar mehrmals. Es ist ein bisschen so, als würde man mit dem Bau eines Flugzeugs beginnen, ohne zu wissen, ob es sich später nur in der Luft oder auch auf dem Wasser bewegen soll. Selbst die besten Konstrukteure und Ingenieure können kostspielige Fehler bei solchen Ausgangsbedingungen nicht verhindern.

Da das EDW zahlreiche eingehende und ausgehende Datenströme hat, kommt erschwerend hinzu, dass es in eine Vielzahl von „Feeds“ zerlegt wird, an denen jeweils große Teams getrennt arbeiten. Um die Arbeit dieser Teams zu verwalten, werden die Feeds wiederum in einzelne Schritte unterteilt, für die in der Regel jeweils eine Person zuständig ist. Somit sind zahlreiche Übergaben von einer Person zur nächsten erforderlich, und die Wiederverwendungsrate ist sehr gering, da jeder Feed separat entwickelt wird. Alle diese Faktoren tragen dazu bei, dass die Erstellung eines EDW mit dem Standardansatz und mit Standardtechnologien viel Zeit beansprucht und hohe Kosten verursacht.

WIE AB INITIO HELFEN KANN

Glücklicherweise gibt es eine Alternative.

Ab Initio geht dieses Problem von den Grundprinzipien her an und erzielt erstaunliche Ergebnisse. Mit dem Ansatz von Ab Initio dauert die Implementierung eines Feeds nicht 3 bis 4 Monate, sondern nur 2 bis 3 Wochen, in manchen Fällen sogar nur einige Tage. Ab Initio nennt diesen Ansatz „Bauen eines metadatengesteuerten Warehouse (MDW)“.

Ein MDW ist eine Sammlung wiederverwendbarer Anwendungen von Ab Initio®, die Daten von der Quelldatei bis zum konsolidierten EDW-Modell verarbeiten können. Dies umfasst die gesamte komplexe Feed-Verarbeitung, die üblicherweise manuell erfolgt: Dateiprüfung, Datenanreicherung, Filterung, Validierung, Bereinigung, Schlüsselverwaltung, Historienverwaltung, Aggregation, Zuweisung, Archivierung, Wiederaufsetzen, Laden von Modellen. Jede dieser EDW-Aktivitäten wurde auf eine Ebene abstrahiert, auf der dieselbe Vorlagenanwendung durch einfaches Ändern der entsprechenden Metadaten für eine Vielzahl von Feeds genutzt werden kann.

Das MDW ist so ausgelegt, dass Analysten die Verarbeitung eines Feeds zu Beginn des Prozesses festlegen und testen können – in der Regel ohne jegliche Entwicklungsarbeit. Dieser Ansatz basiert auf der Verwendung von Metadaten zur Steuerung des Systems. Hierbei handelt es sich um die gleichen Metadaten, die der Analyst normalerweise in einem Dokument angeben müsste, z. B. Zieldatenmodell, Dateiformate, Schlüssel oder Zuweisungsregeln. Statt ein Dokument zu erstellen und an ein Entwicklungsteam zu übergeben, kann der Analyst die Metadaten bei Verwendung eines MDW direkt eingeben und die resultierende Anwendung dann sofort mit realen Daten ausführen und testen, sodass langwierige und kostspielige Entwicklungs- und Testiterationen vermieden werden. Das spart enorm viel Zeit, und die Qualität des resultierenden Systems ist deutlich höher, da es durch wesentlich weniger Hände geht.

Die Ab Initio-Technologie wurde von Anfang an so entwickelt, dass sie diesen Ansatz unterstützt. Aus Sicht der Benutzer beginnen die Einsparungen bei der Konstruktion des MDW, und die Vorteile bleiben auch später erhalten. Beispielsweise werden alle eingegebenen Metadaten im Metadaten-Repository von Ab Initio – dem sogenannten Enterprise Meta>Environment® (EME®) – gespeichert, das alle wichtigen Verwaltungsfunktionen wie z. B. Versionskontrolle, Data Lineage, Impaktanalyse, Datenqualität und Zugriffssicherheit bereitstellt. Mit der EME erhalten Manager eine integrierte Ansicht ihrer Systeme, die auf andere Weise nicht verfügbar ist. So können sie beispielsweise ermitteln, wie einzelne Felder in Berichten berechnet wurden, und sie bis zu den Verarbeitungssystemen zurückverfolgen. Sie können schnell in Erfahrung bringen, wie die Daten sich im System verbreiten. Das kann etwa im Rahmen von Audits oder bei der Erstellung von Prognosen zum Wartungsaufwand relevant sein. Zudem können sie die Qualität der Daten ermitteln und untersuchen, welche Auswirkungen die Datenqualität auf nachfolgende Systeme hat. Kurz gesagt gewinnen die Manager endlich ein umfassendes Verständnis der Systeme, die in der Vergangenheit für sie weitgehend undurchschaubar waren.

Ab Initio hat vielen Kunden bei der Erstellung von MDWs geholfen. Jedes mit Ab Initio-Software erstellte MDW erfüllt die spezifischen, stets unterschiedlichen Bedürfnisse des jeweiligen Kunden und führt zu reproduzierbaren und vorhersehbaren Ergebnissen.

English
Français
Español
Sprache:
Deutsch
简体中文
日本語