Articles dans ce pilier
11 articles pour approfondir le sujet Data Engineering.
dbt: por que se tornou indispensável na stack de dados moderna
O dbt revolucionou a camada de transformação de dados. Por que adotá-lo, como implantá-lo e as boas práticas para extrair o máximo.
Data Lake, Data Warehouse, Data Lakehouse: Quais são as diferenças?
Os Data Warehouses, Data Lakes e Data Lakehouses são hoje as soluções mais populares, mas o que as diferencia?
Seus dados estão prontos. Sua arquitetura, ainda não.
80% dos projetos de IA não fracassam por causa dos algoritmos, e sim por dados fragmentados. Por que migrar para um Data Hub é a decisão que desbloqueia todo o resto.
Analytics Engineering e semantic layer: o elo perdido entre seus pipelines e suas decisões
Entre seus pipelines e suas decisões, frequentemente falta uma camada semântica documentada e testada. Veja o que ela muda na prática.
Solvency II: o que Python no dbt muda no fechamento do CFO
Quando o capital regulatório de uma seguradora sai do trilho sem explicação, o problema não é atuarial, é industrial. Python no dbt fecha esse buraco.
Proteger uma conta Snowflake Business Critical: o que o Trust Center não faz
O Trust Center da Snowflake cobre 60% da sua postura de segurança. Os 40% restantes (SIEM, policies SQL, RACI) continuam por sua conta. Plano de maturidade em 3 fases.
Seus logs Snowflake expiram em 365 dias. Seu auditor pede três anos.
O Snowflake mantém o histórico ACCOUNT_USAGE por 365 dias, nem um a mais. Para uma auditoria LGPD ou ISO 27001, é insuficiente. Veja como externalizar os logs corretamente para o S3, sem consumir um crédito de compute.
Quando os dados falam a linguagem do negócio
As tabelas intermediárias são a ponte semântica entre os dados brutos e o negócio. Como estruturá-las, nomeá-las e reutilizá-las.
dbt transforma o SQL legado em arquitetura sustentável
Por que refatorar com dbt não é apenas um projeto técnico. Como estruturar staging/intermediate/marts. Testes e documentação integrados.
Arquitetura Medallion: a estrutura de dados que garante qualidade e rastreabilidade
Bronze-Silver-Gold: a estrutura organizacional mais comprovada para garantir qualidade, rastreabilidade e escalabilidade.
Dados em streaming, uma necessidade
Os dados em streaming permitem responder de forma eficiente a uma necessidade crescente de análise de grandes volumes de dados em tempo real.