Schritte für Architektur und Implementierung
In dieser Einheit erhalten Sie einen allgemeinen Überblick über Cognite Data Fusion (CDF) und die CDF-Architektur. Außerdem werden hier die wichtigsten Schritte zum Implementieren von CDF vorgestellt.
Verwenden Sie die CDF-Plattform für Kontextualisierung und Datenvorgänge:
-
Die Kontextualisierung ist ein Prozess, der maschinelles Lernen, eine leistungsstarke Regel-Engine und Fachkenntnisse kombiniert, um Ressourcen aus unterschiedlichen Quellsystemen im
CDF-Datenmodell einander zuzuordnen.Kontextualisieren Sie Ihre Daten zunächst mit maschinellem Lernen und der Regel-Engine. Lassen Sie die Ergebnisse dann von Fachexperten validieren und verfeinern. Die resultierenden verfeinerten Daten und abgeleiteten Erkenntnisse bilden die Grundlage für die Skalierung Ihrer
CDF-Implementierung und -Lösungen für Ihre Organisation, während Sie Ihr Verständnis Ihrer Daten vertiefen.
-
Zu den Datenvorgängen gehören Tools und Verfahren für die Verwaltung des Datenlebenszyklus über Zusammenarbeit und Automatisierung.
Dank Tools wie Extraktoren, Transformern, Datensätzen, Qualitätsüberwachung und ML-Modellen können Dateningenieure, Data Scientists, Datenanalysten und andere Rollen in Ihrer Organisation Ihre Datenverwaltungs- und Entscheidungsfindungsverfahren gemeinsam aufstellen, automatisieren und kontinuierlich optimieren.
Kontextualisierung und Datenvorgänge werden später in diesem Kurs noch ausführlicher behandelt. Sehen wir uns zunächst aber die grundlegende CDF-Architektur an.
Die CDF-Plattform wird in der Cloud ausgeführt und weist das hier dargestellte modulare Design auf:
In den nachstehenden Abschnitten werden die Hauptschritte zum Implementieren von CDF für die unterschiedlichen CDF-Module erläutert. In späteren Einheiten werden die einzelnen Schritte im Detail vorgestellt.
Schritt 1: Data Governance einrichten
Wenn Sie betriebliche Entscheidungen aufgrund von Daten treffen, müssen Sie unbedingt wissen, ob die Daten zuverlässig sind. Gleichzeitig müssen Endbenutzer wissen, wann sie sich beim Treffen von Entscheidungen auf Daten verlassen können.
Bevor Sie Daten in CDF integrieren und erweitern, müssen Sie Ihre Data-Governance-Richtlinien definieren und implementieren. Wir empfehlen, dass Sie einen CDF-Administrator festlegen, der in Zusammenarbeit mit der IT-Abteilung sicherstellt, dass CDF die Sicherheitspraktiken Ihrer Organisation befolgt. Verbinden Sie CDF zudem mit Ihrem Identitätsprovider (IdP), und verwenden Sie die vorhandenen IdP-Benutzeridentitäten, um den Zugriff auf CDF und die in CDF gespeicherten Daten zu verwalten.
Mit CDF-Tools und -Funktionen können Sie die Data Governance orchestrieren und überwachen, einen sicheren Datenzugriff einrichten, die Datenherkunft verfolgen und für Datenintegrität sorgen.
Schritt 2: Daten integrieren
Wenn Data Governance eingerichtet ist, können Systemintegratoren mit der Integration von Daten aus Ihren IT- und OT-Datenquellen in CDF beginnen. Zu diesen Systemen können industrielle Kontrollsysteme mit Sensordaten, ERP-Systeme und massive 3D-CAD-Modelle in Engineering-Systemen gehören.
Daten extrahieren
Mit Lesezugriff auf die Datenquellen können Sie die Systemintegration so einrichten, dass Daten in den CDF-Bereitstellungsbereich gestreamt werden. Dort können Daten normalisiert und angereichert werden. Wir unterstützen Standardprotokolle und -schnittstellen wie PostgreSQL und OPC-UA, um die Datenintegration mit Ihren vorhandenen ETL-Tools und Data-Warehouse-Lösungen zu erleichtern.
Wir bieten zudem speziell angefertigte Extraktoren für branchenspezifische Systeme und gebrauchsfertige Standard-ETL-Tools für herkömmliche tabellarische Daten in SQL-kompatiblen Datenbanken. Mit diesem Ansatz können wir die Logik in Extraktoren minimieren und Datentransformationen in der Cloud ausführen und wiederholen.
Daten transformieren
Im CDF-Bereitstellungsbereich werden Daten in ihrem ursprünglichen Format gespeichert. Mit diesem Ansatz können Sie Datentransformationen in der Cloud ausführen und wiederholen und Daten für das CDF-Datenmodell umformatieren. Auf das Datenmodell wird in einer späteren Einheit noch genauer eingegangen.
Dank der Entkoppelung der Extraktions- und Transformationsschritte können die Integrations-Pipelines leichter verwaltet und die Belastung der Quellsysteme verringert werden. Wir empfehlen, die Daten mit Ihren vorhandenen ETL-Tools zu transformieren. Sie können aber auch unser CDF-Transformationstool als Alternative für einfache Transformationsjobs verwenden.
Daten erweitern
Dank der automatischen und interaktiven Kontextualisierungstools in CDF können Sie maschinelles Lernen, eine leistungsstarke Regel-Engine und Fachkenntnisse kombinieren, um Ressourcen aus unterschiedlichen Quellsystemen im CDF-Datenmodell einander zuzuordnen. Kontextualisieren Sie Ihre Daten zunächst mit maschinellem Lernen und der Regel-Engine. Lassen Sie die Ergebnisse dann von Fachexperten validieren und verfeinern.
Schritt 3: Lösungen erstellen
Mit vollständigen und kontextualisierten Daten können Sie Anwendungen erstellen, bei denen Sie z. B. auf eine Komponente in einem 3D-Modell klicken können, um alle zugehörigen Zeitreihendaten anzuzeigen, oder alle Druckmesswerte entlang einer Flusslinie abfragen können.
Alle in (CDF) gespeicherten Informationen können über eine moderne REST-basierte API aufgerufen werden. Zusätzlich zu einer umfassend dokumentierten API stellt Cognite auch Connectors und SDKs für viele gängige Programmiersprachen und Analysetools bereit, wie Python, JavaScript, Spark, OData (Excel Power BI) und Grafana. Außerdem bieten wir Community-SDKs für Scala und .Net an.
Um Anwendungen auf Basis der Daten in CDF zu erstellen, benötigen Sie ein ausreichend definiertes Datenmodell, das die Struktur der Daten ableitet.