"Chaos ETL" versus "Big Picture" (DWH/BI Teil 2)

Bill Inmon hat es uns bei seinem solvistas Besuch im Herbst 2010 schon deutlich erklärt. Unsere Data Warehouse Systeme kommen in die Jahre und benötigen dringend einen "neuen" Farbanstrich. Aber ist dieser Farbanstrich auch ausreichend oder ist eine umfassende Überarbeitung nicht sinnvoller? - Vom Chaos zum Durchblick – ein effizienter Weg, den schon viele mit solvistas gegangen sind – mit Erfolg!

Auch die solvistInnen erkennen bei ihren Arbeiten für die Kunden den deutlichen Wunsch über eine Überarbeitung der bestehenden DWH-Architektur nachzudenken. Schließlich sind diese DWHs in den vielen Jahren gewachsen und die Anforderungen von einst sind schon lange nicht mehr die Anforderungen von heute. Während noch vor Jahren die IT und Controllingabteilungen damit beschäftigt waren, das DWH im Unternehmen zu etablieren, so ist heute das DWH Zentrum für beinahe alle Unternehmensentscheidungen. Enorme Datenmengen werden von nicht mehr überblickbaren Datenprozessen (ETL) erzeugt.

Aber haben Sie diese Ladeprozesse noch im Überblick? Besitzen Sie das "Big Picture"? Um die vielfältigen Anforderungen umzusetzen, haben Sie viel investieren müssen. Mehrere ETL-EntwicklerInnen haben eine Vielzahl von Ladeprogrammen mit dem Fokus auf die neuen Anforderungen entwickelt. Dieser Fokus steht aber im völligen Widerspruch zum Gesamtbild der Ladeprozesse - folglich sind die Prozesse redundant, nicht zusammenhängend und isoliert entwickelt. Man spricht von "Chaos ETL".

Ein gutes ETL-Werkzeug kennt nur den kleinsten aller Prozesse - das Ladeprogramm. Dieses wird auch in den dazugehörigen Metadaten für spätere Analysen gespeichert. Eine Zuordnung zu Teilprozessen in einer Top-Down Betrachtung ist nicht möglich, da ETL-Werkzeuge nur den Begriff "Programm" kennen.

Viele Ansätze für eine geordnete Prozessplanung sind bereits zu erkennen. Jedoch sind die Mittel die falschen - Microsoft Visio, Excel oder Powerpoint sind nicht die geeigneten Werkzeuge.  

Das passende Werkzeug ist der Innovator 11 der Firma MID. Der deutsche Hersteller aus Nürnberg hat schon in der Software-Entwicklung langjährige Erfahrung mit Prozessmodellierung. Mit der Erweiterung des Werkzeuges um Modellierung von DWH-Prozessen schließt die MID mit diesem Werkzeug den "Missing Link": Für die Entwicklung das ETL-Werkzeug, für die Konzeption und das Design der Ladeprozesse der Innovator 11 von MID.

Natürlich kann der Begriff "Prozess" weitsichtiger betrachtet werden - die Anforderung der Fachabteilung verbunden mit dem Ladeprozess und dem Analyseprozess: Ihr Wissen ist dokumentiert und Ihre Prozesse sind klar dargestellt - Sie besitzen ein "Big Picture" und wissen, dass die zukünftigen technischen und fachlichen Anforderungen jederzeit schnell und effizient umgesetzt werden können.

Ein weiterer wichtiger Schritt für die Überarbeitung Ihres DWHs zu einer zukunftsträchtigen Architektur ist die Umstellung auf eine umfassende Prozessmodellierung und die Entwicklung von Datenprozessen, welche den fachlichen Anforderungen gerecht werden. 

Ohne konkrete Planung des gesamten Entwicklungsprozesses und anschließender Dokumentation kann kein reibungsloser Ablauf gewährleistet werden.

Lesen Sie den 1. Teil: DWH/BI: Restructuring the Data Warehouse