🏢 Sobre a empresa:

A contratante é uma consultoria de tecnologia especializada em arquiteturas modernas de dados, focada em implementar soluções escaláveis e seguras em ambientes de nuvem.

📋 Descrição e Requisitos:

🚀 Desenvolvimento de pipelines de dados utilizando Apache Spark, com foco em PySpark e Spark SQL.

🔹 Implementação e gerenciamento de camadas de dados utilizando Delta Lake e conceitos de ACID Transactions.

🏗️ Estruturação de soluções seguindo a Arquitetura Medallion (Bronze, Silver e Gold) para garantir qualidade e rastreabilidade.

🛡️ Atuação na governança e segurança dos dados por meio do Unity Catalog, assegurando controle de acessos e conformidade.

📊 Criação de consultas analíticas e modelos de dados utilizando Databricks SQL e SQL Warehouses.

⚙️ Agendamento e monitoramento de pipelines com Databricks Workflows para orquestração eficiente.

📂 Utilização de Databricks Asset Bundles (DABs) e arquivos YAML para automação de deploys e versionamento.

🌐 Integração de diversas fontes de dados com Cloud Storage, especialmente Azure Data Lake Storage (ADLS).

🔧 Gerenciamento de clusters, incluindo seleção de runtimes e otimização de custos e performance.

✅ Experiência sólida em engenharia de dados e conhecimento prático aprofundado na plataforma Databricks.

🔗 Candidate-se: tiago.vilela@decisionbr.com.br

#EngenhariaDeDados #Databricks #Azure #Python #BigData