Arkitektur og implementering – trinn
I dette kapittelet delen får du oversikt over Cognite Data Fusion (CDF) og CDF-arkitekturen på høyt nivå. Du får også en innføring i de viktigste trinnene for å implementere CDF.
Bruk CDF-plattformen for kontekstualisering og dataoperasjoner:
-
Kontekstualisering er en prosess som kombinerer maskinlæring, en kraftig regelmotor og kunnskap om området for å kunne tilordne ressurser fra ulike kildesystemer til hverandre i
CDF-datamodellen.Start med å kontekstualisere dataene med maskinlæring og regelmotorer. Deretter lar du eksperter på området validere og finjustere resultatene. De resulterende raffinerte dataene og de antydede innsiktene er grunnlaget for å skalere
CDF-implementeringen og -løsningene i hele bedriften etter hvert som du utvikler en dypere forståelse av dataene.
-
Dataoperasjoner er et sett med verktøy og ulike praksisformer for å administrere dataenes livssyklus gjennom samarbeid og automatisering.
Verktøy som uttrekkere, transformatorer, datasett, kvalitetsovervåking og maskinlæringsmodeller gjør at datateknikere, dataforskere, dataanalytikere og personer innen andre fagområder i bedriften kan samarbeide for å etablere, automatisere og kontinuerlig optimalisere datastyringen og ulike praksiser for beslutningstaking.
Du lærer mer om kontekstualisering og dataoperasjoner senere i dette emnet, men først skal vi se på den grunnleggende CDF-arkitekturen.
CDF-plattformen kjører i skyen og har modulær utforming, som illustrert her:
I avsnittet nedenfor får du en innføring i hovedtrinnene når du skal implementere CDF, og hvordan de henger sammen med de ulike CDF-modulene. I senere enheter får du flere detaljer om hvert av trinnene.
Trinn 1: Konfigurere datastyring
Når du er avhengig av data for å kunne ta driftsmessige beslutninger, er det kritisk at du vet når dataene er pålitelige, og at sluttbrukere vet når de kan stole nok på dataene til å kunne ta beslutninger.
Før du begynner å integrere og forbedre data i (CDF), må du definere og implementere retningslinjene dine for datastyring. Vi anbefaler at du utpeker en CDF-administrator som kan jobbe sammen med IT-avdelingen for å sikre at CDF følger bedriftens sikkerhetspraksis. Du bør også koble CDF til IdP-en (identitetsleverandøren) din, og bruk de eksisterende IdP-brukeridentitetene til å administrere tilgangen til CDF og dataene som er lagret i CDF.
Med CDF-verktøy og -funksjoner kan du organisere og overvåke datastyring, etablere sikret datatilgang, spore dataenes opprinnelse og sikre dataenes integritet.
Trinn 2: Integrer data
Når du har datastyring på plass, kan de som utfører systemintegreringen, begynne arbeidet med å integrere data i CDF fra IT- og OT-datakildene (IT = informasjonsteknologi, OT = operasjonell teknologi). Disse systemene kan vært alt fra industrielle kontrollsystemer som leverer sensordata, til ERP-systemer til massive 3D-CAD-modeller i tekniske systemer.
Trekk ut data
Med lesetilgang til datakildene kan du konfigurere systemintegreringen til å strømme data til CDF-landingssonen, der dataene kan normaliseres og forbedres. Vi støtter standardprotokoller og grensesnitt som PostgreSQL og OPC-UA for å tilrettelegge for dataintegrering med de eksisterende ETL-verktøyene dine og datalagerløsningene.
Vi har også uttrekkere som er skreddersydd for bransjespesifikke systemer og standard ETL-verktøy for mer tradisjonelle tabulære data i SQL-kompatible databaser. Denne tilnærmingen gjør at vi kan redusere logikken i uttrekkerne og kjøre endring av data i skyen om og om igjen.
Endre data
I CDF-landingssonen lagres dataene i originalformatet. Denne tilnærmingen lar deg kjøre endringer av data i skyen om og om igjen og forme dem på nytt, slik at de passer til CDF-datamodellen. Vi kommer tilbake til datamodellen i en senere enhet.
Avkobling av uttrekkings- og endringstrinnene gjør det enklere å vedlikeholde integreringskanalene og redusere belastningen på kildesystemene. Vi anbefaler at du bruker de eksisterende ETL-verktøyene til å endre dataene, men vi tilbyr også CDF-transformeringsverktøyet som et alternativ ved lette endringsjobber.
Forbedre data
De automatiske og interaktive kontekstualiseringsverktøyene i CDF lar deg kombinere maskinlæring, en kraftig regelmotor og ekspertise på området for å kunne tilordne ressurser fra ulike kildesystemer til hverandre i CDF-datamodellen. Start med å kontekstualisere dataene med maskinlæring og regelmotorer. Deretter lar du eksperter på området validere og finjustere resultatene.
Trinn 3: Utvikle løsninger
Med komplette og kontekstualiserte data kan du utvikle apper der du for eksempel kan klikke på en komponent i en 3D-modell for å vise alle de tilhørende tidsseriedataene eller be om alle trykkavlesningene langs en strømningslinje.
All informasjon lagret i CDF, er tilgjengelig gjennom et moderne REST-basert API. I tillegg til et veldokumentert API tilbyr Cognite koblinger og SDK-er for mange vanlige programmeringsspråk og analyseverktøy, for eksempel Python, JavaScript, Spark, OData (Excel og Power BI) og Grafana. Vi tilbyr også fellesskaps-SDK-er for Scala og .Net.
Du er avhengig av en godt definert datamodell for å gjøre antagelser om strukturen til dataene, for at du skal kunne utvikle apper i tillegg til dataene i CDF.