Dados públicos podem chegar inconsistentes, em formatos diferentes e sem controles de qualidade. [Ajustar ao caso real.]
ENGENHARIA DE DADOS · CASO 01
Pipeline de dados abertos da Colômbia
Ingestão diária do datos.gov.co, modelos em camadas e testes automatizados de qualidade.
Pipeline reproduzível com ingestão agendada, camadas bronze / silver / gold e testes que bloqueiam dados inválidos.
[Resultado real mensurável: tempo economizado, tabelas entregues, frequência de atualização.]
Contratos públicos por entidadeprévia · dados sintéticos · o Power BI será incorporado aqui
pipeline-datos-co/
├─ ingest/
│ └─ socrata.py
├─ models/
│ ├─ bronze/
│ ├─ silver/
│ └─ gold/
├─ tests/
└─ .github/workflows/
def extraer(dataset: str, limite: int = 50_000):
url = f"{BASE}/{dataset}.json"
datos = requests.get(url, params={"$limit": limite}).json()
df = pd.DataFrame(datos)
df.to_parquet(f"bronze/{dataset}/{hoy()}.parquet")
return len(df)