Los datos públicos llegan sucios, en formatos distintos y sin control de calidad. [Ajustar con el caso real.]
DATA ENGINEERING · CASO 01
Pipeline de datos abiertos de Colombia
Ingesta diaria desde datos.gov.co, modelo por capas y pruebas de calidad automáticas.
Pipeline reproducible: ingesta programada, capas bronze / silver / gold y tests que bloquean datos malos.
[Resultado medible real: tiempo ahorrado, tablas listas, frecuencia de actualización.]
Contratación pública por entidadvista previa · datos sintéticos · aquí va el Power BI embebido
pipeline-datos-co/
├─ ingest/
│ └─ socrata.py
├─ models/
│ ├─ bronze/
│ ├─ silver/
│ └─ gold/
├─ tests/
└─ .github/workflows/
def extraer(dataset: str, limite: int = 50_000):
url = f"{BASE}/{dataset}.json"
datos = requests.get(url, params={"$limit": limite}).json()
df = pd.DataFrame(datos)
df.to_parquet(f"bronze/{dataset}/{hoy()}.parquet")
return len(df)