Arkitektur och implementeringssteg
I den här enheten får du en vy på hög nivå av Cognite Data Fusion (CDF) och CDF-arkitekturen. Du kommer också att introduceras till de viktigaste stegen att implementera CDF.
Använd CDF-plattformen för kontextualisering och dataåtgärder:
-
Kontextualisering är en process som kombinerar maskininlärning, en kraftfull regelmotor och domänkunskap för att kartlägga resurser från olika källsystem till varandra i datamodellen
CDF.Börja med att kontextualisera dina data med maskininlärning och regelmotorer. Låt sedan domänexperter validera och finjustera resultaten. Resulterande förfinade data och härledda insikter är grunden för att skala din
CDF-implementering och lösningar i hela din organisation när du utvecklar en djupare förståelse av dina data.
-
Dataåtgärder är en uppsättning verktyg och metoder för att hantera dina datas livscykel genom samarbete och automatisering.
Verktyg som extraktorer, transformatorer, datamängder, kvalitetsövervakning och maskininlärningsmodeller tillåter dataingenjörer, datavetare, dataanalytiker och andra discipliner över hela din organisation att arbeta tillsammans för att etablera, automatisera och ständigt optimera din datahantering och dina beslutsprinciper.
Du kommer att lära dig mer om kontextualisering och dataoperationer senare i den här kursen, men titta först på den grundläggande CDF-arkitekturen.
CDF-plattformen körs i molnet och har en modulär design som illustreras här:
Avsnitten nedan introducerar huvudstegen för att implementera CDF och hur de relaterar till de olika CDF-modulerna. I senare enheter kommer du att lära dig mer information om vart och ett av stegen.
Steg 1: Ställa in datastyrning
När du förlitar dig på data för att fatta operativa beslut är det viktigt att du vet när data är tillförlitliga och att slutanvändare vet när de kan lita på data för att fatta beslut.
Innan du börjar integrera och förbättra data i CDF måste du definiera och implementera dina policyer för datastyrning. Vi rekommenderar att du utser en CDF-administratör som kan arbeta med IT-avdelningen för att säkerställa att CDF följer din organisations säkerhetspraxis. Anslut också CDF till din IdP (Identity Provider), och använd befintliga IdP-användaridentiteter för att hantera åtkomst till CDF och data som lagras i CDF.
Med CDF-verktyg och funktioner kan du orkestrera och övervaka datastyrning, etablera säker dataåtkomst, spåra datalinjen och säkerställa dataintegritet.
Steg 2: Integrera data
Med datastyrning på plats kan systemintegratörer börja arbetet med att integrera data i CDF från dina IT- (Informationsteknik) och OT**-datakällor** (Driftsteknik). Dessa system kan sträcka sig från industriella styrsystem som levererar sensordata, via ERP-system till massiva 3D CAD-modeller i tekniska system.
Extrahera data
Med läsbehörighet till datakällorna kan du ställa in systemintegrationen för att streama data till CDF-platsen där data kan normaliseras och berika. Vi stöder standardprotokoll och gränssnitt som PostgreSQL och OPC-UA för att underlätta dataintegration med dina befintliga ETL-verktyg och datalagerlösningar.
Vi har även extraktorer som är specialbyggda för branschspecifika system och standardiserade ETL-verktyg för mer traditionella tabelldata i SQL-kompatibla databaser. Detta tillvägagångssätt låter oss minimera logiken i extraktorerna och att köra och köra om transformationen på data i molnet.
Transformera data
I CDF-mellanlagringsområdet lagras data i sitt ursprungliga format. Detta tillvägagångssätt låter dig köra och köra om transformationer på data i molnet och omforma dem så att de passar CDF-datamodellen. Vi kommer tillbaka till datamodellen i en senare enhet.
Att frikoppla extraktions- och transformationsstegen gör det lättare att underhålla integrationspipelines och minska belastningen på källsystemen. Vi rekommenderar att du använder dina befintliga ETL-verktyg för att transformera data, men vi erbjuder också verktyget CDF Transformation som ett alternativ för lättviktstransformationsjobb.
Förbättra data
De automatiska och interaktiva kontextualiseringsverktygen i CDF låter dig kombinera maskininlärning, en kraftfull regelmotor och domänexpertis för att kartlägga resurser från olika källsystem till varandra i CDF-datamodellen. Börja med att kontextualisera dina data med maskininlärning och regelmotorer. Låt sedan domänexperter validera och finjustera resultaten.
Steg 3: Bygg lösningar
Med kompletta och kontextualiserade data kan du bygga applikationer där du till exempel kan klicka på en komponent i en 3D-modell för att se alla motsvarande tidsseriedata eller be om alla tryckavläsningar längs en flödeslinje.
All information lagrad i CDF finns tillgänglig genom en modern REST-based API. Förutom ett väldokumenterat API tillhandahåller API, Cognite kontakter och SDK:er för många vanliga programmeringsspråk och analysverktyg, som t.ex. Python, JavaScript, Spark, OData (Excel Power BI) och Grafana. Vi erbjuder även community-SDK:er för Scala och .Net.
För att bygga applikationer ovanpå data i CDF är du beroende av en väldefinierad datamodell för att göra antaganden om strukturen på data. Och det är vad vi kommer att ta upp i nästa enhet när vi tittar närmare på CDF-datamodellen och dess resurstyper.