Data Movement Plattform Hybrid Deployment bringt alle Datenpipelines auf eine Plattform

Anbieter zum Thema

Fivetran Germany GmbH

Kendox AG

xSuite Group GmbH

Yorizon GmbH & Co. KG

Nahtloser Zugriff auf Daten ist der Erfolgsfaktor, um Effizienz zu steigern, KI zu nutzen sowie um zuverlässige datenbasierte Produkte und Services anbieten zu können. Vor allem die Einbindung von Quellen außerhalb (z. B. SaaS-Tools) ist oft komplex und birgt Risiken. Mit Hybrid Deployment gibt es einen neuen Ansatz für diese Herausforderung.

Bestimmte Datenmengen, z.B. personenbezogene Daten oder Daten in stark regulierten Branchen wie dem Gesundheitswesen, dem öffentlichen Sektor oder den Finanzdienstleistungen, erfordern strenge Sicherheitsmaßnahmen. Und weltweit verschärfen sich die Vorschriften für Datensicherheit und -zugriff. Verstöße gegen den Datenschutz haben Unternehmen Millionen Dollar sowie viel Kundenvertrauen gekostet.

Data Engineers haben in der Regel für den Umgang mit diesen sensiblen Daten individuelle Pipelines erstellt oder selbst gehostete Software gepflegt. Das heißt, Spezialisten im Unternehmen mussten dafür sorgen, dass Daten aus verschiedenen Quellen (z.B. Cloud-Apps, Datenbanken, Data Warehouses, eigene Unternehmensanwendungen) über eine Plattform in andere Destinationen gelangen. Diese Ansätze funktionieren für bestimmte Anwendungsfälle, sind aber oft nicht effizient und können sehr aufwändig zu pflegen sein. Schlimmer noch: Selbstverwaltete Pipelines sind anfällig und weisen Schwachstellen sowie Sicherheitslücken auf. Und dabei geht es nicht nur um die Vulnerability für Hacker und Malware, sondern auch darum, einen stetigen Datenfluss zu gewährleisten und dabei die Daten-Compliance zu jedem Zeitpunkt einzuhalten.

Cloud oder Nicht-Cloud: Neuer Ansatz für Zentralisierung von Daten

Idealerweise können Unternehmen Datenpipelines über eine einzige Plattform sicher in ihrer eigenen Umgebung betreiben und somit alle Datenquellen über eine einzige Kontrollebene verwalten. Entscheidend ist dabei, dass es keine Rolle spielt, ob die Datenstreams aus Cloud-basierten Anwendungen oder aus Legacy-Datenbanken stammen. Dennoch müssen sie aus rechtlichen oder anderen Compliance-Gründen streng kontrolliert und verwaltet werden.

Durch den Ansatz des Hybrid Deploy­ment können Unternehmen sensible oder sicherheitsbeschränkte Datenpipelines in ihrem eigenen sicheren Netzwerk oder in ihrer Virtual Private Cloud ausführen und erhalten so die volle Kontrolle über die Daten, ohne dass sie sich um die Komplexität und zusätzliche Softwarewartung kümmern müssen. Dadurch werden alle Prozesse rund um Data Movement rationalisiert und gleichzeitig ein Höchstmaß an Sicherheit gewährleistet. Entsprechend können Anwender sowohl Cloud-basierte als auch lokale Pipelines zentral von einer einzigen, einheitlichen Plattform aus managen. Das vereinfacht das Monitoring und die Wartung des ganzen Öko-Systems.

So funktioniert Hybrid Deployment

Hybrid Deployment ermöglicht die Nutzung der Steuerungsebene der Data Movement Plattform, während die Datenebene in der eigenen Umgebung verbleibt. Ein lokaler Agent, der dort installiert ist, übernimmt die Verarbeitung der Datenpipeline, während die Konfiguration und Überwachung über das Dashboard der Data Movement Plattform oder die API erfolgt. Lediglich logistische Metadaten (MAR- und Informationen bzgl. der Registrierung der Agents) und Protokolle werden mit der Plattform geteilt.

So wird sichergestellt, dass keine Kundendaten oder andere sensiblen Informationen jemals mit der darüber liegenden Plattform geteilt werden oder das eigene Netzwerk verlassen. Unternehmen können so alle Daten unabhängig von ihrer Sensibilität zentralisieren und sichern. Das bedeutet, dass Dienstleister im Gesundheitswesen Patientendaten mit Marketing­informationen verknüp­fen, Finanzdienstleister ihre Produktangebote personalisieren und Organisationen des öffentlichen Sektors durch die Zentralisierung ihrer Daten die betriebliche Effizienz steigern können.

Kostenreduktion, Kontrolle und KI

Die Entscheidung für einen zentral verwalteten Ansatz für Data Movement ist ein wichtiger Beitrag zur Optimierung der IT-Ressourcen. IDC fand heraus, dass Datenteams große Effizienz-Verbesserungen verzeichnen können: So konnten Spezialisten ihre Produktivität um 48 Prozent steigern. Dies ist vor allem darauf zurückzuführen, dass Data Engineers mehr Zeit für die Arbeit an Projekten mit größerem Wert für das Unternehmen verwenden. Es geht zudem um konkrete wirtschaftliche Vorteile: Laut IDC konnten Firmen durch den Einsatz von Fivetran einen durchschnittlichen jährlichen Produktivitätszuwachs von 1,5 Millionen USD erzielen.

Datenintegration bewältigen durch Hybrid Deployment

Daten von jeder Quelle zu jedem Ziel zu bewegen, dabei alle Sicherheitsanforderungen erfüllen und das alles von einer Plattform aus – das ist bereits heute ein elementarer Faktor in der IT-Strategie von Unternehmen. Und das Thema Datenintegration wird immer wichtiger: Ein aktueller MIT Technology Review Insights-Report zeigt, dass - wenn es um KI geht - Data Readiness für Führungskräfte der wichtigste Investitionsbereich ist: 64 Prozent geben an, dass dies eine der wichtigsten Prioritäten ist und mehr als drei Viertel sind der Meinung, dass „Datenintegration oder Data Movement eine große Herausforderung war“. Fast die Hälfte sehen in der Datenintegration und den Datenpipelines das größte Hindernis auf dem Weg zur KI-Reife. Es gibt also noch viel Potential auf dem Weg der Digitalisierung.