Etapas de arquitetura e implementação
Nesta unidade, apresentamos uma visão abrangente do Cognite Data Fusion (CDF) e da arquitetura do CDF. Também descrevemos as etapas essenciais para implementar o CDF.
Use a plataforma do CDF para contextualização e operações de dados:
-
A contextualização é um processo que combina aprendizado de máquina, um poderoso mecanismo de regras e conhecimento de domínio para mapear recursos de diferentes sistemas de origem entre si no modelo de dados do
CDF.Comece a contextualização dos seus dados com aprendizado de máquina e mecanismos de regras. Depois, deixe que especialistas validem e ajustem os resultados. Os dados refinados resultantes e os insights inferidos são a base para dimensionar sua implementação e soluções do
CDFem toda a organização, à medida que você compreende melhor seus dados.
-
As operações de dados são um conjunto de ferramentas e práticas para gerenciar o ciclo de vida dos seus dados pela colaboração e automação.
Ferramentas como extratores, transformadores, conjuntos de dados, monitoramento de qualidade e modelos de aprendizado de máquina permitem que engenheiros, cientistas e analistas de dados, entre outros, em toda a sua organização trabalhem juntos para estabelecer, automatizar e otimizar constantemente seu gerenciamento de dados e práticas de tomada de decisão.
Você vai aprender mais sobre contextualização e operações de dados posteriormente neste curso. Primeiro, confira as etapas iniciais da arquitetura do CDF.
A plataforma do CDF é executada na nuvem e tem um design modular, como mostrado na imagem abaixo:
As seções abaixo apresentam as principais etapas para a implementação do CDF e como elas estão relacionadas aos diferentes módulos do CDF. No decorrer do curso, você aprende mais detalhes sobre cada uma das etapas.
Etapa 1: configurar a governança de dados
Ao depender de dados para tomar decisões operacionais, é fundamental que você saiba quando os dados são confiáveis, e que os usuários finais saibam quando podem confiar nos dados para tomar decisões.
Antes de começar a integrar e aprimorar dados no CDF, você precisa definir e implementar suas políticas de governança de dados. Recomendamos que você atribua um administrador do CDF que possa trabalhar com o departamento de TI para garantir que o CDF siga as práticas de segurança da sua organização. Além disso, conecte o CDF ao seu provedor de identidade (IdP) e use as identidades de usuário do IdP existentes para gerenciar o acesso ao CDF e aos dados armazenados no CDF.
Com as ferramentas e recursos do CDF, você pode orquestrar e monitorar a governança de dados, estabelecer o acesso seguro, acompanhar a linhagem e garantir a integridade dos dados.
Etapa 2: integrar dados
Com a governança de dados, os integradores de sistema podem começar a integração dos dados no CDF usando suas fontes de dados de IT (tecnologia da informação) e TO (tecnologia operacional). Esses sistemas podem variar desde controles industriais com fornecimento de dados de sensor e ERP até modelos CAD 3D em sistemas de engenharia.
Extrair dados
Com acesso de leitura às fontes de dados, você pode configurar a integração do sistema para transmitir dados para a área de preparação do CDF, onde os dados podem ser normalizados e enriquecidos. Nossa solução é compatível com protocolos e interfaces padrão, como PostgreSQL e OPC-UA, para facilitar a integração de dados com suas ferramentas de ETL e soluções de data warehouse existentes.
Também temos extratores personalizados para sistemas específicos do setor e ferramentas padrão de ETL prontas para uso com dados tabulares mais tradicionais em bancos de dados compatíveis com SQL. Essa abordagem nos permite minimizar a lógica nos extratores e executar e reexecutar transformações nos dados na nuvem.
Transformar dados
Na área de preparação do CDF, os dados são armazenados no formato original. Essa abordagem permite executar e reexecutar transformações nos dados na nuvem e remodelá-los para se encaixar no modelo de dados do CDF. Voltaremos a falar sobre o modelo de dados mais à frente.
Separar as etapas de extração e transformação facilita a manutenção dos pipelines de integração e reduz a carga nos sistemas de origem. Recomendamos o uso de suas ferramentas de ETL existentes para transformar os dados. Mas também oferecemos a ferramenta CDF Transformations como uma alternativa para tarefas de transformação leves.
Aprimorar dados
As ferramentas interativas de contextualização no CDF permitem que você combine aprendizado de máquina, um poderoso mecanismo de regras e conhecimento de domínio para mapear recursos de diferentes sistemas de origem entre si no modelo de dados do CDF. Comece a contextualização dos seus dados com aprendizado de máquina e mecanismos de regras. Depois, deixe que especialistas validem e ajustem os resultados.
Etapa 3: criar soluções
Com dados completos e contextualizados, você pode criar aplicativos em que é possível, por exemplo, clicar em um componente no modelo 3D para ver todos os dados de séries temporais relacionados ou solicitar todas as leituras de pressão durante uma linha de fluxo.
Todas as informações armazenadas no CDF estão disponíveis em uma moderna API baseada em REST. Além de uma API bem documentada, a Cognite oferece conectores e SDKs para diversas linguagens de programação e ferramentas de análise comuns, como Python, JavaScript, Spark, OData (Excel e Power BI) e Grafana. Também oferecemos SDKs da comunidade para Scala e .Net.
Para criar aplicativos com base nos dados do CDF, você depende de um modelo de dados bem definido para fazer suposições sobre a estrutura dos dados.