Filtrar dados do CDF no Power BI
Adicione filtros no Power BI para filtrar grandes conjuntos de dados em milissegundos, em vez de minutos ou horas.
Os projetos do Cognite Data Fusion (CDF) podem conter milhões de linhas de dados. Baixar todas elas no Power BI não é eficiente ou viável.
A filtragem é essencial para criar conjuntos de dados viáveis no Power BI. O Cognite Power BI Connector envia a filtragem para o CDF usando o Cognite OData Service. Por sua vez, o CDF executa a filtragem e retorna apenas as linhas correspondentes para o Power BI.
Adicionar filtros no Power Query Editor
-
Selecione o botão de menu no cabeçalho da coluna à qual deseja adicionar o filtro.
-
Selecione Filtros de Texto e o tipo de filtro que deseja, por exemplo, Começa com.
-
Na caixa de diálogo Filtrar Linhas, especifique as condições para filtrar as linhas na coluna.
-
Selecione Avançado para definir vários filtros simultaneamente ou definir e adicionar um por vez.
dicaSempre especifique a condição que filtra mais linhas primeiro.
-
O
Cognite Power BI Connectorenvia a consulta para a filtragem noCDF. E oPower Queryexibe os resultados retornados doCDF.o
Power Queryoferece uma visualização do conjunto de resultados, que geralmente tem 1.000 linhas. A filtragem final ocorre quando você seleciona Fechar e Aplicar.
Filtragem compatível com os tipos de recursos do CDF
O Cognite Power BI Connector pode restringir ou enviar filtros para o CDF usando o Cognite OData Service. A filtragem pode acontecer no:
-
CDF: a filtragem mais eficaz. OCDFfaz a filtragem e nenhum dado desnecessário é transmitido entre oCDFe oPower BI. -
OData Service: o serviço doODatapode fazer a filtragem local por ser compatível com funcionalidades não existentes noCDF, como as funçõescontains
eendswith
. Primeiro, reduza o conjunto de dados o máximo possível usando a filtragem doCDF. -
Power Query: oPower Queryprecisa recuperar todos os dados para fazer a filtragem. Para tabelas grandes, isso pode envolver quantidades significativas de dados. Reduza o conjunto de dados o máximo possível primeiro.
As tabelas abaixo descrevem qual filtragem é compatível com cada tipo de recurso no CDF, quais filtros serão enviados para o CDF e qual filtragem será feita localmente pelo OData Service.
Definições
-
Pushdown: funções de filtro que são enviadas para o serviço do
ODatae oCDF. -
Local: filtragem local feita pelo serviço do
ODataantes de retornar o resultado para oPower BI. -
FilterFunctions:
Contains
,StartsWith
eEndsWith
. -
Comparison:
<
,<=
,>
,>=
e=
. -
Search: faz
pushdown, mas usa a API de pesquisa e requer filtragem local adicional.informaçõesA pesquisa retorna um número limitado de linhas e talvez você não receba todos os dados correspondentes no
CDF.
Assets (ativos)
Propriedade | Pushdown | Local |
---|---|---|
Id | = | = |
ExternalId | =, StartsWith | =, FilterFunctions |
Name | =, Search | =, FilterFunctions |
Description | Search | =, FilterFunctions |
ParentId | = | = |
ParentExternalId | = | = |
DataSetId | = | = |
Source | = | = |
MetaData | = | |
RootId | = | = |
CreatedTime | Comparison | Comparison |
LastUpdatedTime | Comparison | Comparison |
Time series (séries temporais)
Propriedade | Pushdown | Local |
---|---|---|
Id | = | = |
ExternalId | =, StartsWith | =, FilterFunctions |
Name | =, Search | =, FilterFunctions |
Description | Search | =, FilterFunctions |
IsString | = | = |
MetaData | = | |
Unit | = | = |
IsStep | = | = |
AssetId | = | = |
SecurityCategories | ||
DataSetId | = | = |
CreatedTime | Comparison | Comparison |
LastUpdatedTime | Comparison | Comparison |
Data point
Propriedade | Pushdown | Local |
---|---|---|
Id | = | = |
TimeStamp | Comparison | Comparison |
Events (eventos)
Propriedade | Pushdown | Local |
---|---|---|
Id | = | = |
ExternalId | =, StartsWith | FilterFunctions |
Description | Search | =, FilterFunctions |
Source | = | = |
Type | = | = |
SubType | = | = |
MetaData | = | |
DataSetId | = | = |
StartTime | Comparison | Comparison |
EndTime | Comparison | Comparison |
CreatedTime | Comparison | Comparison |
LastUpdatedTime | Comparison | Comparison |
AssetIds | Contains | Contains |
Files (arquivos)
Propriedade | Pushdown | Local |
---|---|---|
Id | = | = |
ExternalId | =, StartsWith | =, FilterFunctions |
Name | =, Search | =, FilterFunctions |
Source | = | = |
MimeType | = | = |
MetaData | ||
DataSetId | = | = |
SourceCreatedTime | Comparison | Comparison |
SourceModifiedTime | Comparison | Comparison |
CreatedTime | Comparison | Comparison |
LastUpdatedTime | Comparison | Comparison |
UploadedTime | Comparison | Comparison |
Uploaded | = | = |
AssetIds | Contains | Contains |
Sequences (sequências)
Propriedade | Pushdown | Local |
---|---|---|
Id | = | = |
ExternalId | =, StartsWith | =, StartsWith |
Name | =, Search | =, FilterFunctions |
Description | =, Search | =, FilterFunctions |
MetaData | ||
AssetId | = | = |
DataSetId | = | = |
CreatedTime | Comparison | Comparison |
LastUpdatedTime | Comparison | Comparison |
Columns |
Bancos de dados do CDF RAW
Propriedade | Pushdown | Local |
---|---|---|
Name | = | = |
Tabelas do CDF RAW
Propriedade | Pushdown | Local |
---|---|---|
Name | = | = |
Linhas do CDF RAW
Propriedade | Pushdown | Local |
---|---|---|
Key | = | =, FilterFunction |
LastUpdatedTime | Comparison | Comparison |
Usar consultas personalizadas para filtrar dados
Você pode usar o Cognite Power BI connector para criar consultas personalizadas para filtrar propriedades. Por exemplo, para filtrar as propriedades Metadata
do ativo:
-
No
Power BI, selecione Obter Dados na janela principal doPower BIe selecione o conector do Cognite Data Fusion. -
No campo do nome do projeto, digite o nome do projeto, o recurso e o filtro neste formato:
<project-name>/<resource-type>/?$filter=<Filter>
-
Selecione OK e, em seguida, Transformar Dados para abrir a visualização da consulta.
Exemplos
A filtragem segue a especificação do OData e você pode criar filtros com vários atributos ao encadear filtros com os termos AND/OR. Por exemplo, um filtro de igualdade usa o formato AttributeName eq 'AttributeValue'
:
Name eq '23-TE-96116-04'
Filtragem de metadados
Para metadados, a filtragem é executada em propriedades aninhadas dentro do objeto de metadados. Para filtrar uma propriedade de metadados, você precisa criar um filtro na formato "MetaData/NestedAttributeName eq 'NestedAttributeValue'
", por exemplo:
MetaData/RES_ID eq '525283'
Este é um exemplo de uma consulta ao projeto de publicdata, filtrado em Metadata/RES_ID
:
publicdata/Assets/?$filter=MetaData/RES_ID eq '525283'&tenantID=48d5043c-cf70-4c49-881c-c638f5796997
Este é um filtro AND
em Metadata/RES_ID
e Name
:
publicdata/Assets/?$filter=MetaData/RES_ID eq '525283' and Name eq '23-TE-96116-04'&tenantID=48d5043c-cf70-4c49-881c-c638f5796997
Nos exemplos acima, tenantID=48d5043c-cf70-4c49-881c-c638f5796997
é o locatário configurado do Microsoft Entra ID no projeto de publicdata.
Para depurar a filtragem, é útil usar ferramentas que permitem ver quais filtros são enviados para o serviço do OData, por exemplo Fiddler.