Datenintegration einfach mit Sherlock

Friedhelm Reydt Seit 2018 kümmere ich mich bei Fischer um das Strategische Partnermanagement. Zuvor war ich für namhafte IT-System-, Medien- und Beratungshäuser in unterschiedlichen Rollen tätig.

Datenintegration ist eines der Kernthemen der Digitalen Transformation. Dabei geht es darum, Daten aus unterschiedlichen Applikationen oder Datenablagen zusammenzuführen und in eine einheitliche Struktur zu bringen. Ziel ist es, Informationen, die demselben Kontext angehören, an zentraler Stelle zusammenzuziehen, diese von Redundanzen zu befreien und darüber hinaus den Zugriff auf den vereinheitlichten Informationsstand zu ermöglichen. Der Vorteil liegt eindeutig in der Möglichkeit einer systemübergreifenden konsistenten Informationsgewinnung, die bei Nutzung der unterschiedlichen Quellsysteme nicht gegeben ist. Erst die Fusion der Daten hilft dabei, Medienbrüche zu überwinden und effiziente Workflows innerhalb eines Unternehmens einzurichten.

Inhaltsverzeichnis:

    Welche Arten von Datenintegration gibt es?

    Wir unterscheiden zwischen der physischen und der virtuellen Datenintegration. Bei der physischen Datenintegration werden die Informationen in der jeweiligen Datenstruktur ihres Quellsystems in eine erweiterte Datenstruktur (physisch) kopiert. Im Gegensatz dazu verbleiben bei einer virtuellen Datenintegration sämtliche Informationen im Quellsystem. Eine übergeordnete Instanz, ein so genanntes förderiertes Datenbanksystem, ermöglicht dabei den (virtuellen) Zugriff auf sämtliche angebundenen Datenquellen. Erst bei einer Suchanfrage erfolgt der Zugriff bzw. die Integration der benötigten Daten. Auch bei einem förderierten Datenbanksystem müssen die unterschiedlichen Datenstrukturen der Quellsysteme zuerst in einer globalen Struktur zusammengefügt werden.

    Die Herausforderungen der Datenintegration

    Beide Arten der Datenintegration haben in der Praxis ihre Vor- und Nachteile. Diese liegen in der Zugriffszeit, in der Aktualität der Daten usw. Darüber hinaus stellt die Konvertierung der Daten sowie das Mapping der unterschiedlichen Informationsstände je nach Komplexität z.B. bei einer Unternehmenszusammenführung eine ganz spezielle Herausforderung dar. Hierzu bedarf es grundlegender Analysen der in den Quellsystemen vorgehaltenen Daten. Unterschiedliche Bezeichnungen und Zeitstempel müssen berücksichtigt werden. Weniger abstrakt ausgedrückt: Es wird analysiert, ob die Daten für den jeweiligen Anwendungsfall überhaupt nützlich bzw. im Endergebnis aussagekräftig sind. Es ist möglich, dass z.B. aggregierte Datenbestände in einem System veraltet sind und somit in Relation zu anderen integrierten Systemen das Endergebnis verwässern können. Was in einem Fachbereich als Information nützlich ist, kann in einem anderen Unternehmenskontext eher kontraproduktiv sein.

    Datenintegration mit Sherlock vereinfachen

    Über die Informationsplattform Sherlock ist bereits viel geschrieben worden. Letztendlich konzentriert sich der Nutzen der Plattform auf eine sehr flexible, automatisierte Datenintegration mithilfe einer ganz eigenen Methodik sowie der Möglichkeit, individueller bzw. bedarfsorientierter Datenmodellierung. Das Datenmodell definiert dabei, wie Daten und Dateien in Sherlock abgelegt werden. Des Weiteren sind bereits integrierte Referenzen bzw. Verknüpfungen durch logische Verbindungen zu Daten anderer Quellsysteme und durch Metainformationen erweiterbar.

    Dies ist im Kern das, was Sherlock im Vergleich zu anderen Systemen einzigartig macht. Es vereint die Welt der physischen Datenintegration mit jener der föderierten Datenbanksysteme und bietet darüber hinaus komfortable Möglichkeiten, die integrierten Daten zu neuen Anwendersichten zu verknüpfen. Der automatisierte und synchronisierte Datenfluss aus den angebundenen Quellsystemen gewährleistet dabei stets Sherlocks Aktualität. Die Datenquellen dürfen sowohl relational oder nicht-relational sein d.h. sie können auch als Datei vorliegen. Logische Referenzen bzw. Verknüpfungen werden in Sherlock vollständig übernommen.

    Sämtliche Daten sind von ihren physischen Quelldatenspeichern entkoppelt und in einer integrierten Graphdatenbank abgelegt, in der stark vernetzte Informationen ohne komplexe Datenbankkonstrukte gespeichert werden können. Diese ermöglicht es später, verschachtelte Datenbankabfragen zu vereinfachen und mit hoher Geschwindigkeit durchzuführen. Die Graphdatenbank kann zudem Informationsbeziehungen zwischen Daten unterschiedlicher Systeme abbilden. Der abfragenden Zielapplikation werden so quellsystemübergreifende Suchergebnisse schnell und effizient zur Verfügung gestellt. Auch ohne spezifische Zielapplikation ermöglicht das in Sherlock integrierte Frontend Sherlock Search jederzeit den anwenderspezifischen Zugriff auf alle vorab definierten Datensammlungen.

    Zu guter Letzt …

    Mit Sherlock steht es dem Nutzer vollkommen frei, Daten unterschiedlicher Quellen zu neuen Informationssichten zusammenzufügen – egal, ob über definierte Bedingungen oder mit Hilfe spezifischer Berechnungen. Jeder Anwendergruppe kann so eine Sicht auf genau die Unternehmensdaten erstellt werden, die sie für ihre tägliche Arbeit benötigt. Dies geschieht, ohne die ursprünglichen Datenquellen – also die Produktivsysteme der Fachabteilungen – unnötig zu belasten. Sherlock liefert sämtliche Datensammlungen über eine REST API oder spezialisierte Gateways an die jeweilige Zielapplikation aus. Dies können z.B. Dashboards, Sales- oder Service-Apps oder andere fachabteilungsspezifische Anwendungen sein.