NTT DATA Business Solutions
Martin Hesse | März 3, 2022

Google Cloud Platform und SAP Data Warehouse Cloud

image

Ein immer wiederkehrender Wunsch in der DWC ist die automatisierte Extraktion aus Excel oder CSV Dateien. Andererseits kommt auch immer wieder die Frage nach kostengünstigem Speicher für historische und andere selten genutzte Daten in der DWC zur Sprache. Beide Fragestellungen können mittels der Anbindung eines Data Lakes oder einer externen Query Engine adressiert werden. Die SAP Data Warehouse Cloud bietet schon im Standard diverse Konnektoren an, mit denen Verbindungen zu verschiedenen Cloud-Anbietern hergestellt werden können. In diesem Blog möchten wir zunächst ein wenig näher auf die Möglichkeiten der Anbindung von Google Big Query und Google Cloud Storage basierten Data Lakes an die Data Warehouse Cloud eingehen. Weitere Beiträge zu Amazon Web Services (AWS) und Azure werden folgen.

Auf diese Weise können Sie die umfassenden Modellierungsmöglichkeiten der Data Warehouse Cloud und SAP Analytics Cloud mit der kostengünstigen und einfachen Speicherung in einem Date Lake kombinieren.

In diesem Blogbeitrag geben wir Ihnen einen Überblick über die Architektur und notwendigen Schritte zu Herstellung der Verbindung.

In den folgenden Beiträgen werden wir Sie dann Schritt für Schritt durch die Einrichtung der verschiedenen Komponenten führen.

Architektur

Wie dem untenstehenden Diagramm zu entnehmen ist, sind an einer solchen Anbindung diverse Systeme beteiligt. Auch wenn die Architektur auf den ersten Blick recht komplex aussieht, sind für eine initiale Anbindung doch nur wenige Schritte notwendig. In diesem Kapitel werde ich kurz die wichtigsten Komponenten der Google Cloud Platform vorstellen, die in diesem Zusammenhang konfiguriert werden müssen. Bitte wundern Sie sich nicht, dass einige Hilfskomponenten nicht in dem Diagramm ersichtlich sind, der Übersichtlichkeit halber habe ich mich entschieden, nur die für den Datafluss notwendigen Komponenten aufzunehmen.

Big Query

Hierbei handelt es sich um die eigentliche Data Warehouse Lösung der Google Cloud Platform. Vereinfacht dargestellt besteht sie aus einer hochskalierbaren serverlosen, spaltenbasierten InMemory Datenbank und einer SQL basierten Query Engine.

Big Query Connector for SAP

Ein nicht zu unterschätzender Vorteil der Google Cloud ist der BigQuery Connector for SAP, der es ermöglicht, Daten aus SAP Systemen direkt via SLT (SAP System Landscape Transformation) in Big Query zu streamen. Dieser ist (derzeit) frei erhältlich, d.h. ausser den Gebühren für den Datentransfer sowie die Speicherung und einem SLT Server fallen keine weiteren Kosten an. Damit stehen Ihnen die Daten in nahezu Echtzeit zur Verfügung. Auch auf die Einrichtung dieses Konnektors werden wir in späteren Beiträgen eingehen.

Google Cloud Storage

Bei Google Cloud Storage, kurz GCS handelt es sich um einen Objektspeicher, in dem beliebige Dateien in sogenannten Buckets abgelegt werden. Sie können diese einfach über eine Weboberfläche hochladen. Mittels Third Party Tools lässt sich GCS aber auch direkt in den Windows Explorer einbinden.

Google Cloud Console

Zentraler Einstiegspunkt für die Konfiguration der Google Cloud Platform. Hier werden alle Einstellungen der verschiedenen Dienste vorgenommen oder Profile und Abrechnungsdaten gepflegt.

IAM (Integrated Access Management)

Hierbei handelt es sich um die zentrale Berechtigungsverwaltung der Google Cloud Platform. Um den Zugriff aus der SAP DWC zu ermöglichen, sind hier einige Konfigurationen notwendig.

Google Cloud Storage vs. Big Query

Wie schon aus dem Architekturdiagramm ersichtlich, existieren zwei Möglichkeiten, die Data Warehouse Cloud mit der Google Cloud Platform zu verbinden. Big Query und Google Cloud Storage. Wie unterscheiden sich diese nun und für welchen Anwendungszweck eignet sich welcher Konnektor?

Bei Cloud Storage handelt es sich um einen Data Lake, dieser eignet sich also primär für die Extraktion aus Dateien via Data Flows.

Bei Google Big Query handelt es sich um ein Data Warehouse. Auch von Big Query ist ein externer Zugriff auf Dateien in der GCS möglich, in der Regel befinden sich die Daten aber im Speicher von Big Query, in dem die Daten ähnlich SAP HANA komprimiert und in Spalten abgelegt werden. Daher sind Abfragen von Big Query wesentlich performanter und unterstützen auch eine Live Verbindung in der DWC.

Folglich erlaubt der GCS Konnektor nur eine Anbindung via Data Flows, der Big Query Konnektor Remote Tables, die primär auf die Verwendung in Views ausgerichtet sind.

Google Cloud Platform Konto

Bevor Sie die Schritte in den folgenden Beiträgen nachvollziehen können, benötigen Sie ein Konto in der Google Cloud Cloud Platform. Zur Einrichtung haben Sie verschiedene Möglichkeiten.

Wenn Ihr Unternehmen die GCP bereits nutzt, empfiehlt es sich, ein Projekt und ein Benutzerkonto von der zuständigen Abteilung einrichten zu lassen.

Sollte noch kein Konto bestehen, können Sie sich einfach und schnell registrieren, entweder für ein Unternehmens- oder ein privates Konto. Bei einem neuen Konto sind über ein Free Tier einige Dienstleistungen kostenfrei erhältlich, die Abrechnung der darüber hinaus gehenden Leistungen erfolgt nach Verbrauch über eine hinterlegte Kreditkarte.

Ausblick

In den folgenden Teilen werden wir Anhand eines Beispiels alle notwendigen Schritte zeigen, um Big Query und Google Cloud Storage an die Data Warehouse Cloud anzubinden.

Wir hoffen Ihnen den Einstieg hiermit stark erleichtern zu können. Auch wenn die Anbindung im Grunde genommen recht schnell zu erledigen ist, sind doch diverse Bereiche der Google Cloud Platform betroffen und es gilt auch einige Besonderheiten in der DWC zu beachten.

Die nächsten Themen werden sein:

Google Cloud Storage Data Lake in der DWC

  • Voraussetzungen in der Google Cloud Platform
  • Google Cloud Storage
  • Service Accounts und Berechtigungen
  • Anbindung an die Data Warehouse Cloud
  • Anlegen eines Beispiel Data Flows

Google Big Query und die DWC

  • Voraussetzungen in der Google Cloud Platform
  • Laden von Daten in Big Query
  • Service Accounts und Berechtigungen
  • Anbindung an die Data Warehouse Cloud
  • Anlegen eines Beispiels in der DWC

Selbstverständlich können Sie dieses Setup im weiteren Verlauf auch für die Anbindung produktiver Daten nutzen.

In weiteren Teilen werden wir dann auch tiefer in die Google Cloud Platform eintauchen, z.B. mit der Anbindung von SAP Quellsystemen an die GCP. Weiter werden wir uns auch den anderen Cloud Anbietern wie AWS und Azure widmen.

Wir freuen uns darauf, sie in den nächsten Wochen durch die Einrichtung begleiten zu dürfen und freuen uns auf Ihr Feedback.

Wie immer stehen wir für Fragen und Unterstützung natürlich jederzeit zur Verfügung.

Kontakt
Kontakt

Sie haben Fragen? Kontaktieren Sie uns gerne.

Rufen Sie uns gerne an
+41 44 735 85 55
Schreiben Sie uns