Desarrollador Python para Expansión de Infraestructura Etl de Datos...

Estate Atlas, una startup de datos como servicio (DaaS) con la misión de proporcionar información basada en datos sobre los mercados inmobiliarios globales, busca un desarrollador Python experimentado. Ya hemos diseñado una infraestructura ETL de vanguardia sin servidor y ahora necesitamos impulsar su expansión.

El enfoque principal de esta oportunidad será localizar fuentes de datos internacionales de alto valor, verificar su precisión e integrar el código necesario para incorporarlas a nuestro ecosistema. Serás responsable de expandir nuestra cobertura a más de 15 países, asegurando que los datos sin procesar de diversas fuentes globales se extraigan, limpien y carguen correctamente en nuestro lago de datos.

Responsabilidades diarias seleccionadas:

Exploración y verificación de fuentes: Investigar y localizar activamente fuentes de datos fiables (registros gubernamentales, bancos centrales, portales) y crear hojas de datos para verificar su fiabilidad, formato y frecuencia de actualización. Disponemos del sitio web que contiene todas las fuentes.

Integración de pipelines: Escribir y mantener scripts Python eficientes para extraer datos sin procesar e integrarlos en nuestro pipeline ETL sin servidor existente.

Perfilado y calidad de datos: Analizar datos de muestra para comprender su estructura (comprobación de valores nulos, únicos y atípicos) y definir las reglas de negocio "limpias" para garantizar la calidad.

Estandarización: Implementar lógica de transformación mediante Polars y DuckDB para estandarizar diversos conjuntos de datos (por ejemplo, conversión de monedas a USD).

Category: IT & Programming Subcategory: Web development What is the scope of the project?: Medium-sized change