Pāriet uz galveno saturu

CDF datu filtrēšana, izmantojot rīku Power BI

Pievienojiet filtrus pakalpojumā Power BI, lai filtrētu lielas datu kopas dažu milisekunžu, nevis minūšu vai stundu laikā.

Cognite Data Fusion (CDF) projektos var būt miljoniem datu rindu, un lejupielādēt tās visas rīkā Power BI nebūtu efektīvi, vai arī tas var neizdoties.

Filtrēšanai ir liela nozīme apstrādājamu datu kopu izveidē pakalpojumā Power BI. Cognite Power BI Connector nosūta filtrus uz CDF, izmantojot Cognite OData Service. CDF veic filtrēšanu un pakalpojumam Power BI nosūta atpakaļ tikai atbilstošās rindas.

Filtru pievienošana rīkā Power Query Editor​

  1. Savienojiet Power BI ar CDF.

  2. Tās kolonnas virsrakstā, kurai vēlaties pievienot filtru, atlasiet nolaižamās izvēlnes pogu.

  3. Atlasiet Teksta filtri un vēlamo filtra veidu, piemēram, Sākas ar.

  4. Dialoglodziņā Filtrēt rindas norādiet nosacījumus rindu filtrēšanai kolonnā.

    Power BI filtra pievienošana

  5. Atlasiet Papildu, lai vienlaikus definētu vairākus filtrus vai definētu un pievienotu tos pa vienam.

    padoms

    Vienmēr kā pirmo norādiet nosacījumu, kas izfiltrē visvairāk rindu.

  6. Cognite Power BI Connector nosūta vaicājumu uz CDF filtrēšanai, un Power Query parāda no CDF atgrieztos rezultātus.

    Power Query parāda rezultātu kopas priekšskatījumu, kurā parasti ir ietverts 1000 rindu. Galīgā filtrēšana notiek, kad izvēlaties Aizvērt un lietot.

Atbalstītā filtrēšana CDF resursu veidiem​

Cognite Power BI Connector var īsināt datus vai nosūtīt filtrus uz CDF, izmantojot Cognite OData Service. Filtrēšana var notikt tālāk aprakstītajos veidos.

  • CDF — visefektīvākā filtrēšana. Filtrēšanu veic CDF, un starp CDF un Power BI netiek pārraidīti nevajadzīgi dati.

  • OData Service — pakalpojums OData var veikt filtrēšanu lokāli, taču tas neatbalsta funkcionalitāti, kuru nenodrošina CDF, piemēram, funkcijas contains un endswith. Vispirms pēc iespējas jāsamazina datu kopa, izmantojot CDF filtrēšanu.

  • Power Query — lai veiktu filtrēšanu, rīkam Power Query ir jāizgūst visi dati. Lielākām tabulām datu apjoms var būt milzīgs. Vispirms, cik vien iespējams, samaziniet datu kopu.

Turpmākajās tabulās ir sniegts kopsavilkums par katram resursu veidam atbalstītajiem filtrēšanas veidiem platformā CDF un norādīts, kādi filtri tiks nosūtīti uz CDF un kādu filtrēšanu lokāli veiks OData Service.

Definīcijas

  • Pushdown — filtra funkcijas, kas tiek nosūtītas uz pakalpojumu OData un platformu CDF.

  • Local — lokāla filtrēšana, ko veic pakalpojums OData pirms rezultāta atgriešanas uz Power BI.

  • FilterFunctions — Contains, StartsWith un EndsWith.

  • Comparison — <, <=, >, >= un =.

  • Search — izpilda operāciju pushdown, taču neizmanto meklēšanas API, kā arī ir nepieciešams papildus veikt lokālu filtrēšanu.

    informācija

    Operācija Search atgriež ierobežotu rindu skaitu, taču var gadīties, ka platformā CDF nesaņemsiet visus atbilstošos datus.

Assets​

RekvizītsPushdownLocal
Id==
ExternalId=, StartsWith=, FilterFunctions
Name=, Search=, FilterFunctions
DescriptionMeklēt=, FilterFunctions
ParentId==
ParentExternalId==
DataSetId==
Source==
MetaData=
RootId==
CreatedTimeComparisonComparison
LastUpdatedTimeComparisonComparison

Time series​

RekvizītsPushdownLocal
Id==
ExternalId=, StartsWith=, FilterFunctions
Name=, Search=, FilterFunctions
DescriptionMeklēt=, FilterFunctions
IsString==
MetaData=
Unit==
IsStep==
AssetId==
SecurityCategories
DataSetId==
CreatedTimeComparisonComparison
LastUpdatedTimeComparisonComparison

Data point​

RekvizītsPushdownLocal
Id==
TimeStampComparisonComparison

Events​

RekvizītsPushdownLocal
Id==
ExternalId=, StartsWithFilterFunctions
DescriptionMeklēt=, FilterFunctions
Source==
Type==
SubType==
MetaData=
DataSetId==
StartTimeComparisonComparison
EndTimeComparisonComparison
CreatedTimeComparisonComparison
LastUpdatedTimeComparisonComparison
AssetIdsContainsContains

Files​

RekvizītsPushdownLocal
Id==
ExternalId=, StartsWith=, FilterFunctions
Name=, Search=, FilterFunctions
Source==
MimeType==
MetaData
DataSetId==
SourceCreatedTimeComparisonComparison
SourceModifiedTimeComparisonComparison
CreatedTimeComparisonComparison
LastUpdatedTimeComparisonComparison
UploadedTimeComparisonComparison
Uploaded==
AssetIdsContainsContains

Sequences​

RekvizītsPushdownLocal
Id==
ExternalId=, StartsWith=, StartsWith
Name=, Search=, FilterFunctions
Description=, Search=, FilterFunctions
MetaData
AssetId==
DataSetId==
CreatedTimeComparisonComparison
LastUpdatedTimeComparisonComparison
Columns

CDF RAW datu bāzes​

RekvizītsPushdownLocal
Name==

CDF RAW tabulas​

RekvizītsPushdownLocal
Name==

CDF RAW rindas​

RekvizītsPushdownLocal
Key==, FilterFunction
LastUpdatedTimeComparisonComparison

Pielāgotu vaicājumu izmantošana datu filtrēšanai​

Varat izmantot Cognite Power BI connector pielāgotu vaicājumu izveidei, lai filtrētu rekvizītus. Piemēram, lai filtrētu pēc aktīvu Metadata rekvizītiem:

  1. Pakalpojumā Power BI atlasiet Iegūt datus galvenajā Power BI logā un atlasiet Cognite Data Fusion savienotāju.

  2. Projekta nosaukuma laukā ievadiet projekta nosaukumu, resursu un filtru šādā formātā:

    <project-name>/<resource-type>/?$filter=<Filter>

  3. Atlasiet Labi un pēc tam — Transformēt datus, lai atvērtu vaicājuma priekšskatījumu.

Piemēri​

Filtrēšana atbilst OData specifikācijai, un pastāv iespēja veidot filtrus ar vairākiem atribūtiem, saķēdējot filtrus, kuros izmantoti operatori "and" un "or". Piemēram, atbilstības filtram tiek izmantots formāts AttributeName eq 'AttributeValue':

Name eq '23-TE-96116-04'

Metadatu filtrēšana​

Metadatiem tiek filtrēti metadatu objektā ligzdotie rekvizīti. Lai filtrētu metadatu rekvizītu, jāizveido filtrs formātā "MetaData/NestedAttributeName eq 'NestedAttributeValue'", piemēram:

MetaData/RES_ID eq '525283'

Šis ir pielāgota vaicājuma piemērs, kuru veic projektā publicdata, filtrējot rekvizītu Metadata/RES_ID:

publicdata/Assets/?$filter=MetaData/RES_ID eq '525283'&amp;tenantID=48d5043c-cf70-4c49-881c-c638f5796997

Šis ir filtrs AND rekvizītam Metadata/RES_ID un Name:

publicdata/Assets/?$filter=MetaData/RES_ID eq '525283' and Name eq '23-TE-96116-04'&amp;tenantID=48d5043c-cf70-4c49-881c-c638f5796997

Minētajos piemēros tenantID=48d5043c-cf70-4c49-881c-c638f5796997 ir Microsoft Entra ID nomnieks, kas ir konfigurēts projektam publicdata.

Atkļūdošana

Lai atkļūdotu filtrēšanu, noder tādu rīku izmantošana, kas ļauj apskatīt, kādi filtri ir nosūtīti uz pakalpojumu OData, piemēram, Fiddler.

Pēdējoreiz atjaunināts: ,