Como se tornar um Microsoft Certified: Azure Data Engineer Associate — V2

29 de Julho de 2019 compartilhei aqui pra vocês esse link sobre minha tragetória para alcançar o título de Microsoft Certified: Azure Data Engineer Associate. Isso a 2 anos atrás galera, de lá pra cá muita coisa mudou no universo de engenharia de dados. Para acompanhar essa mudança, a @microsoft decidiu aposentar as certificações DP 200 e DP 201 em 30 de junho de 2021 e substituir pelo exame DP 203 que engloba todas as tecnologias abordadas nos exames anteriores, só que com o foco na nova plataforma de Big Data e Analytics — Azure Synapse Analytics. Objetivo desse post é compartilhar algumas dicas de materiais para estudo por onde me guiei para realizar o exame e passar nessa nova prova.

Já trabalho com engenharia de dados em ambiente Azure a aproximadamente 3 anos e confesso que isso facilitou o processo de entendimento e por onde estudar. Outra coisa em que me ajudou, foi estar ligado em todas as atualizações do produto Azure Synapse Analytics desde quando ele saiu para public preview. Acompanhei as atualizações da MS e fui testando até que fosse liberado para disponibilidade geral dentro do Azure (GA). Inclusive participei de diversos eventos compartilhando conteúdo sobre o Synapse.

Microsoft Certified: Azure Data Engineer Associate

Essa certificação faz parte da nova trilha de provas da Microsoft baseada em carreiras recentemente atualizada. Caso queira saber um pouco mais sobre as mudanças nas certificações da Microsoft em 2021, acesse esse link que tem disponível todas as verticais de certificações.

O exame DP-203 se enquadra na categoria de Data & AI, que é composta por 5 principais papéis:

• Azure Data Scientist
• Azure Data Engineer
• Azure AI Engineer
• Azure Database Administrator
• Azure Data Analyst

Caso você ainda não conheça nada sobre as trilhas de Data & AI, a Microsoft sugere que você tenha como pré-requisito opcional as seguintes certificações fundamentais para se ter uma boa base antes de partir para as carreiras citadas acima de Associate:

• Azure Fundamentals
• Azure Data Fundamentals
• Azure AI Fundamentals

Antes de iniciar os estudos para a DP 203 recomendo finalizar primeiramente as certificações AZ 900 e DP 900 que possuem um maior direcionamento para próxima etapa de engenharia de dados.

No descritivo das certificações fundamentais existem diversos materiais gratuitos para se preparar para esses exames na plataforma de treinamentos Microsoft Learn.

Abaixo segue toda documentação técnica e materiais que abordam o conteúdo cobrado nas habilidades medidas para DP 203:

• Azure Synapse Analytics
• Azure Data Lake Storage Gen2
• Azure Blob Storage
• Azure Databricks
• Azure Stream Analytics
• Azure Event Hubs
• Azure Datafactory
• Azure Monitor
• Azure Log Analytics

Documentação: Azure solution architectures (Gratuito)

Arquitetura de Big Data: Components, Lambda & Kappa architecture (Gratuito)

Microsoft Learn:

• Azure for the Data Engineer
• Store data in Azure
• Large-Scale Data Processing with Azure Data Lake Storage Gen2
• Realize Integrated Analytical Solutions with Azure Synapse Analytics
• Build data analytics solutions using Azure Synapse serverless SQL pools
• Work with Data Warehouses using Azure Synapse Analytics
• Data integration at scale with Azure Data Factory or Azure Synapse Pipeline
• Perform data engineering with Azure Synapse Apache Spark Pools
• Work with Hybrid Transactional and Analytical Processing Solutions using Azure Synapse Analytics
• Data engineering with Azure Databricks
• Implement a Data Streaming Solution with Azure Streaming Analytics
• Integrate Azure Synapse Analytics with Azure Data and AI services

Livros:

• Beginning Azure Synapse Analytics
• Beginning Apache Spark Using Azure DataBricks
• The Definitive Guide to Azure Data Engineering
• The Modern Data Warehouse in Azure
• Data Lake Analytics on Microsoft Azure
• Cloud Analytics with Azure — Second Edition
• The Power BI Professionals Guide to Azure Synapse Analytics

Material extra:

• Learn Path Databricks

No meu canal do Youtube tem vários vídeos bem completos abordando a ferramenta fim a fim e além disso estou lançando uma série sobre cada componente do Synapse Analytics (A meta é soltar um vídeo por semana, se inscrevam e ative as notificações para receber as novidades):

Azure Synapse Analytics #13 Configurando e Utilizando o Synapse Link para CosmosDB

Azure Synapse Analytics #12 Configurando e Utilizando o Synapse Spark (3.1)

Azure Synapse Analytics #11 Integração de dados com Synapse Pipelines

Azure Synapse Analytics #10 Integração com o Azure Key Vault

Azure Synapse Analytics #9 Dedicated SQL Pool: Segurança

Azure Synapse Analytics #8 Dedicated SQL Pool: Considerações de Performance — (Indexação)

Azure Synapse Analytics #7 Dedicated SQL Pool: Melhores práticas para carga de dados

Azure Synapse Analytics #6 Dedicated SQL Pool: Desenho das tabelas.

Azure Synapse Analytics #5 Dedicated SQL Pool: Arquitetura, deployment e considerações iniciais.

Azure Synapse Analytics #4 Serverless SQL Pool

Azure Synapse Analytics #3 Exame DP 203: Certificação Azure Data Engineer Associate

Azure Synapse Analytics #2 Conhecendo o Azure Synapse Studio

Azure Synapse Analytics #1 Criando e acessando o Synapse Analytics no portal do Azure

Minha intenção nesse post não foi detalhar as questões ou cenários abordados nessas provas, e sim compartilhar um material muito rico que aborda todos os tópicos cobertos na prova. Acho que vale muito a pena a experiência teórica e pratica de cada data engineer na preparação para essas certificações.

Espero sinceramente ter auxiliado e motivado outros profissionais que estejam em busca de conteúdo para se direcionar nessa carreira tão promissora.

Bons Estudos, boa sorte e qualquer dúvida estou totalmente a disposição em minhas redes sociais.

Até breve.

#microsoft #azure #dataengineer #dp203 #azuresynapseanalytics #azuredatabricks #sidneycirqueira