Arhitektūra un ieviešanas posmi
Šajā sadaļā ir sniegts vispusīgs Cognite Data Fusion (CDF) un CDF arhitektūras apskats. Jūs uzzināsiet arī, kādi ir galvenie CDF ieviešanas posmi.
Izmantojiet CDF platformu kontekstualizēšanai un operācijām ar datiem:
-
Kontekstualizēšana ir process, kas ietver mašīnmācīšanos, efektīvu kārtulu programmu un specializētas zināšanas no dažādām avota sistēmām iegūtu resursu savstarpējai kartēšanai
CDFdatu modelī.Sāciet ar datu kontekstualizēšanu, izmantojot mašīnmācīšanās un kārtulu programmas. Pēc tam ļaujiet jomas speciālistiem pārbaudīt un precizēt rezultātus. Iegūtie optimizētie dati un ieskati ir pamats
CDFrisinājumu izvēršanai visā organizācijā, tādējādi gūstot padziļinātu izpratni par datiem.
-
Operācijas ar datiem ir rīku un procedūru kopums datu dzīvescikla pārvaldībai, sadarbojoties un ieviešot automatizāciju.
Tādi rīki kā izvilcēji, transformētāji, datu kopas, kvalitātes pārraudzība un mašīnmācīšanās modeļi palīdz datu inženieriem, datu zinātniekiem, datu analītiķiem un citiem speciālistiem jūsu organizācijā strādāt kopā, lai izveidotu, automatizētu un nepārtraukti optimizētu jūsu datu pārvaldības un lēmumu pieņemšanas procesus.
Jūs uzzināsiet vairāk par kontekstualizēšanu un operācijām ar datiem vēlāk šajā kursā, bet vispirms aplūkojiet pamata CDF arhitektūru.
CDF platforma darbojas mākonī, un tai ir modulāra uzbūve, kā redzams šajā attēlā:
Turpmākajās sadaļās ir aprakstīti galvenie CDF ieviešanas posmi un to saistība ar dažādajiem CDF moduļiem. Tālāk jūs varat skatīt detalizētu informāciju par katru posmu.
1. posms: datu pārvaldības iestatīšana
Izmantojot datus uzņēmējdarbībai svarīgu lēmumu pieņemšanā, ir ļoti svarīgi, lai jūs zinātu, ka dati ir uzticami, un lai lietotāji zinātu, ka tie var uzticēties šiem datiem, pieņemot lēmumus.
Pirms sākat integrēt un papildināt datus platformā CDF, ir jādefinē un jāievieš datu pārvaldības politikas. Ieteicams iecelt CDF administratoru, kurš sadarbosies ar IT nodaļu, lai nodrošinātu CDF atbilstību jūsu organizācijas drošības pasākumiem. Izveidojiet arī CDF savienojumu ar IdP (identitātes nodrošinātāja) pakalpojumu un izmantojiet esošās IdP lietotāju identitātes, lai pārvaldītu piekļuvi platformai CDF un platformā CDF glabātajiem datiem.
Izmantojot CDF rīkus un funkcijas, varat vadīt un uzraudzīt datu pārvaldību, gādāt par drošu piekļuvi datiem, izsekot datu izcelsmi un nodrošināt datu integritāti.
2. posms: datu integrēšana
Kad datu pārvaldība ir sakārtota, par sistēmas integrēšanu atbildīgās personas var sākt no jūsu IT (informācijas tehnoloģiju) un OT (ekspluatācijas tehnoloģiju) datu avotiem iegūto datu integrēšanu platformā CDF. Šādas sistēmas ir, piemēram, rūpnieciskās vadības sistēmas, kas nodrošina sensoru datus, izmantojot ERP sistēmas, vai liela mēroga 3D datorizētās projektēšanas modeļi tehniskajās sistēmās.
Datu izvilkšana
Ar lasīšanas piekļuvi datu avotiem var iestatīt sistēmas integrēšanu, lai straumētu datus CDF izstādīšanas apgabalā, kur datus var normalizēt un uzlabot. Mēs atbalstām standarta protokolus un saskarnes, piemēram, PostgreSQL un OPC-UA, lai sekmētu datu integrēšanu jūsu esošajos ETL rīkos un datu noliktavu risinājumos.
Tradicionālākiem tabulārajiem datiem datu bāzēs, kas ir saderīgas ar SQL, mēs nodrošinām arī izvilcējus, kas ir īpaši izstrādāti specifiskām nozaru sistēmām un standarta plašpatēriņa ETL rīkiem. Šī pieeja ļauj mums vienkāršot izvilcēju loģiku, kā arī izpildīt un atkārtoti izpildīt datu transformēšanu mākonī.
Datu transformēšana
CDF izstādīšanas apgabalā dati tiek saglabāti to oriģinālajā formātā. Šī pieeja ļauj izpildīt un atkārtoti izpildīt datu transformēšanu mākonī un pārveidot datus, lai pielāgotu tos CDF datu modelim. Mēs atgriezīsimies pie datu modeļa turpmākā sadaļā.
Izvilkšanas posma atdalīšana no transformēšanas posma atvieglo integrēšanas kanālu uzturēšanu un samazina avota sistēmu noslodzi. Iesakām datu transformēšanai izmantot visus jūsu rīcībā esošos ETL rīkus, bet mēs piedāvājam arī rīku CDF Transformation kā alternatīvu risinājumu efektīvai transformēšanas uzdevumu izpildei.
Datu uzlabošana
Automātiskie un interaktīvie kontekstualizēšanas rīki platformā CDF ļauj izmantot mašīnmācīšanās, efektīvas kārtulu programmas un specializēto zināšanu kombināciju, lai savstarpēji kartētu resursus no dažādām avota sistēmām CDF datu modelī. Sāciet ar datu kontekstualizēšanu, izmantojot mašīnmācīšanās un kārtulu programmas. Pēc tam ļaujiet jomas speciālistiem pārbaudīt un precizēt rezultātus.
3. posms: risinājumu izveide
Ar pilnīgiem un kontekstualizētiem datiem varat izveidot lietojumprogrammas, kurās var, piemēram, noklikšķināt uz 3D modeļa komponenta, lai aplūkotu visus atbilstošos laika rindu datus, vai arī pieprasīt visus plūsmas līnijas spiediena rādījumus.
Visa platformā CDF glabātā informācija ir pieejama, izmantojot modernu programmsaskarni (API) uz REST bāzes. Papildus detalizēti dokumentētai programmsaskarnei (API) Cognite nodrošina arī savienotājus un SDK daudzām plaši izmantotām programmēšanas valodām un analītikas rīkiem, piemēram, Python, JavaScript, Spark, OData (Excel Power BI) un Grafana. Mēs piedāvājam arī kopienas veidotas izstrādātāja rīkkopas programmēšanas valodai Scala un .Net.
Lai veidotu lietojumprogrammas uz CDF iekļautajiem datiem, jūs paļaujaties uz labi definētu datu modeli, izdarot pieņēmumus par datu struktūru.