Espntegración de Datos Inmobiliarios Internacionales con Python y E...

Estate Atlas, una startup de datos como servicio (DaaS), busca un especialista en integración de datos para expandir su cobertura global. Nuestra misión es proporcionar información basada en datos sobre los mercados inmobiliarios globales, empoderando a inversores, analistas y profesionales con datos precisos, transparentes y prácticos. Ya hemos diseñado una infraestructura ETL de vanguardia sin servidor y ahora necesitamos impulsar su expansión.

La oportunidad se centra en la parte fundamental de nuestra estrategia de datos: localizar fuentes de datos internacionales de alto valor, verificar su precisión e integrar estos datos en nuestro ecosistema. El profesional seleccionado será responsable de expandir nuestra cobertura a más de 15 países, asegurando que los datos sin procesar de diversas fuentes globales se extraigan, limpien y carguen correctamente en nuestro lago de datos.

Responsabilidades diarias clave incluyen:

Exploración y verificación de fuentes: Investigar y localizar activamente fuentes de datos fiables (registros gubernamentales, bancos centrales, portales inmobiliarios, etc.). Se proporcionará acceso a un sitio web con fuentes preidentificadas. Crear hojas de datos para verificar la fiabilidad, el formato y la frecuencia de actualización de cada fuente.

Integración de pipelines: Escribir y mantener scripts Python eficientes para extraer datos sin procesar e integrarlos en nuestro pipeline ETL sin servidor existente.

Perfilado y calidad de datos: Analizar datos de muestra para comprender su estructura, incluyendo la comprobación de valores nulos, únicos y atípicos. Definir las reglas de negocio necesarias para garantizar la calidad y la limpieza de los datos.

Estandarización: Implementar lógica de transformación utilizando herramientas como Polars y DuckDB para estandarizar diversos conjuntos de datos, asegurando la coherencia y la usabilidad de la información.

Category: IT & Programming Subcategory: Data Science Project size: Large