Architectuur en implementatiestappen
In dit gedeelte vindt u een algemeen overzicht van Cognite Data Fusion (CDF) en de CDF-architectuur. U maakt ook kennis met de belangrijkste stappen om CDF te implementeren.
Gebruik het CDF-platform voor contextualisatie en gegevensbewerkingen:
-
Contextualisatie is een proces dat machine learning, een krachtige engine voor regels en domeinkennis combineert om resources van verschillende bronsystemen aan elkaar te koppelen in het
CDF-gegevensmodel.Begin uw gegevens te contextualiseren met machine learning en engines voor regels. Laat domeinexperts vervolgens de resultaten valideren en verfijnen. De resulterende verfijnde gegevens en afgeleide inzichten vormen de basis voor het opschalen van uw
CDF-implementatie en -oplossingen in uw hele organisatie naarmate u dieper inzicht in uw gegevens ontwikkelt.
-
Gegevensbewerkingen bestaan uit een reeks tools en procedures om de levenscyclus van uw gegevens te beheren via samenwerking en automatisering.
Met tools zoals extractors, transformers, gegevenssets, kwaliteitscontrole en machine learning-modellen kunnen data-engineers, datawetenschappers, data-analisten en andere disciplines in uw organisatie samenwerken om uw procedures voor gegevensbeheer en besluitvorming te definiëren, te automatiseren en continu te optimaliseren.
Verder in deze cursus leert u meer over contextualisatie en gegevensbewerkingen, maar eerst behandelen we de CDF-basisarchitectuur.
Het CDF-platform wordt uitgevoerd in de cloud en heeft een modulair ontwerp, zoals hier weergegeven:
In de onderstaande gedeelten worden de belangrijkste stappen beschreven voor de implementatie van CDF en de toepassing hiervan voor de verschillende CDF-modules. In latere gedeelten vindt u meer details voor elk van de stappen.
Stap 1: Gegevensbeheer instellen
Wanneer u uw operationele besluiten baseert op gegevens, is het essentieel om te weten wanneer de gegevens betrouwbaar zijn en dat eindgebruikers weten wanneer ze op de gegevens kunnen vertrouwen om besluiten te nemen.
Voordat u uw gegevens in CDF gaat integreren en verbeteren, moet u eerst uw beleid voor gegevensbeheer definiëren en implementeren. We raden u aan een CDF-beheerder aan te stellen die samenwerkt met de IT-afdeling om te waarborgen dat CDF voldoet aan de beveiligingsprocedures van uw organisatie. Verbind CDF ook met uw IdP (identiteitsprovider) en gebruik de bestaande IdP-gebruikersidentiteiten om de toegang tot CDF en de in CDF opgeslagen gegevens te beheren.
Met CDF-tools en -functies kunt u gegevensbeheer organiseren en controleren, veilige gegevenstoegang instellen, gegevensherkomst bijhouden en de gegevensintegriteit waarborgen.
Stap 2: Gegevens integreren
Wanneer u het gegevensbeheer hebt ingesteld, kunnen systeemintegrators beginnen de gegevens te integreren in CDF vanuit uw IT- en OT-gegevensbronnen (informatietechnologie en operationele technologie). Deze systemen kunnen variëren van industriële beheersystemen die sensorgegevens leveren, tot ERP-systemen en grootschalige 3D CAD-modellen in technische systemen.
Gegevens extraheren
Met leestoegang tot de gegevensbronnen kunt u instellen dat de systeemintegratie gegevens naar het CDF-faseringsgebied streamt, waar de gegevens kunnen worden genormaliseerd en verrijkt. We ondersteunen standaardprotocollen en -interfaces zoals PostgreSQL en OPC-UA om gegevensintegratie met uw bestaande ETL-tools en datawarehouses te vergemakkelijken.
We hebben ook extractors die op maat zijn gemaakt voor branchespecifieke systemen, en standaard kant-en-klare ETL-tools voor meer traditionele tabelgegevens in SQL-compatibele databases. Met deze aanpak kunnen wij de logica in de extractors minimaliseren en transformaties (blijven) uitvoeren voor de gegevens in de cloud.
Gegevens transformeren
In het CDF-faseringsgebied worden gegevens opgeslagen in de oorspronkelijke indeling. Met deze benadering kunt u transformaties (blijven) uitvoeren voor de gegevens in de cloud en deze opnieuw vormgeven om ze aan te passen aan het CDF-gegevensmodel. We komen later terug op het gegevensmodel.
Door de extractie- en transformatiestap los te koppelen is het gemakkelijker om de integratiepijplijnen te onderhouden en de belasting van de bronsystemen te verminderen. We raden aan om de gegevens te transformeren met uw bestaande ETL-tools, maar we bieden ook de CDF Transformation-tool aan als alternatief voor minder omvangrijke transformatietaken.
Gegevens verbeteren
Met de automatische en interactieve tools voor contextualisatie in CDF kunt u machine learning, een krachtige engine voor regels en domeinexpertise combineren om resources van verschillende bronsystemen aan elkaar te koppelen in het CDF-gegevensmodel. Begin uw gegevens te contextualiseren met machine learning en engines voor regels. Laat domeinexperts vervolgens de resultaten valideren en verfijnen.
Stap 3: Oplossingen bouwen
Met volledige en gecontextualiseerde gegevens kunt u toepassingen bouwen waarbij u bijvoorbeeld op een onderdeel in een 3D-model kunt klikken om alle bijbehorende tijdreeksgegevens te bekijken of om alle drukmetingen langs een stroomlijn op te vragen.
Alle informatie die is opgeslagen in CDF, is beschikbaar via een moderne REST API. Naast een goed gedocumenteerde API biedt Cognite ook connectors en SDK's voor veel gangbare programmeertalen en analysetools, zoals Python, JavaScript, Spark, OData (Excel Power BI) en Grafana. We bieden ook community-SDK's voor Scala en .Net.
Als u toepassingen boven op de gegevens in CDF wilt ontwikkelen, hebt u een goed gedefinieerd gegevensmodel nodig voor veronderstellingen over de structuur van de gegevens.