img

Kontakt

Case Details

Einbindung diverser Datenquellen

Aufbau einer ETL-Plattform als Self-Service für Konfiguration von automatisierten Data Pipelines mit Einbindung unterschiedlicher Datenquellen

Ausgangsposition & Ziel

Das mittelständische Unternehmen ist ein Anbieter von Marketing Services im Bereich Hotellerie. Die Daten für Auswertungen werden in einer zentralen Cloud-Datenbank abgelegt. Die Buchungsdaten von verschiedenen Kunden sind zwischen diversen Systemen verteilt und haben keine einheitliche Datenstruktur. Es ist mühsam und zeitaufwändig, die Daten aus diesen Quellen regelmäßig in die Hauptdatenbank zu übertragen. Zielsetzung des Projektes ist eine maßgeschneiderte Plattform zu entwickeln, die die Datenflüsse automatisiert.
 

Meilensteine & Leistungen

  1. Fachliche Anforderungen: Festlegung und Spezifikation der Geschäftsregeln für notwendige Datentransformationen
  2. Technisches Konzept: Konzeption der Gesamtarchitektur, Ermittlung der Datenquellen und Spezifikation von Schnittstellen zur Verbindung zu Quellsystemen, Analyse und Festlegung der Methodik zum Laden von Daten ins Zielsystem
  3. MVP: Schneller Aufbau einer ersten Pipeline zwischen einem Datenquellsystem von Buchungsdaten und einer zentralen Azure-Datenbank basierend auf REST API
  4. Umsetzung: Sukzessiver Aufbau der automatisierten ETL-Pipelines zu verschiedenen Datenquellen mittels REST API und ORM sowie Implementierung einer Webanwendung zur Verwaltung der Schnittstellen zu den Quellsystemen

Kundennutzen

  • Schnelle Umsetzung durch MVP innerhalb von zwei Wochen und Komplettumsetzung innerhalb von acht Wochen
  • Geringerer Zeitaufwand und Personaleinsatz durch Automatisierung des Datenaktualisierungsprozesses
  • Einfache Verwaltung von Kundenverbindungen und Schnittstellen zu Quellsystemen über benutzerfreundliche Weboberfläche

Eingesetzte Technologien

  • Java
  • Spring Boot
  • MS SQL Server
  • Azure