Otimização de custos Databricks

Contexto

Banco de investimento (4.000 funcionários). Fatura Databricks de 2 milhões de euros/ano em alta de 45%/ano. Nenhuma governança FinOps Databricks: clusters sempre ligados, jobs não otimizados, SQL Warehouses superdimensionados. Diretoria de TI sob pressão para reduzir os custos sem impactar as equipes de dados.

Problema & Desafio

Fatura Databricks de 2M€/ano em alta de 45% – orçamento insustentável em um horizonte de 2 anos. Clusters interativos ligados 24/7 → utilizados em média 4h/dia (utilização de 17%). SQL Warehouses superdimensionados: tamanho XL para consultas que requerem um M. Jobs Spark não otimizados: 30% dos jobs consomem 70% do orçamento. Nenhuma política de cluster auto-termination nem de resource tagging. TI deve reduzir 35% sem cortar os projetos data. equação impossível sem FinOps.

Solução & Entregas

- Auditoria FinOps Databricks completa e plano de otimização em serviço em 6 semanas - Cluster policies implementadas: auto-termination 30min, instance pools, spot instances - SQL Warehouses redimensionados: serverless ativado para workloads variáveis - Top 30% dos jobs otimizados (particionamento, caching, broadcast joins). custo unitário reduzido em 50% - Fatura reduzida em 38% (2M€ → 1,24M€/ano). superação do objetivo da TI de 35% - Governança FinOps perene: dashboards de custos por equipe, alertas de desvio, revisões mensais

Tecnologias