Ingeniero de Datos Etl con Python para Expansión Global de Datos In...

Estate Atlas es una startup de datos como servicio (DaaS) con la misión de proporcionar información basada en datos sobre los mercados inmobiliarios globales. Nuestro objetivo es empoderar a inversores, analistas y profesionales con datos inmobiliarios precisos, transparentes y prácticos, construyendo la principal fuente mundial de datos inmobiliarios internacionales. Al agregar y estandarizar información de una amplia gama de fuentes globales, estamos haciendo que los mercados inmobiliarios sean más transparentes y accesibles. Ya hemos diseñado una infraestructura ETL de vanguardia sin servidor y ahora buscamos un profesional para impulsarla. Te centrarás en la parte fundamental de nuestra estrategia de datos: localizar fuentes de datos internacionales de alto valor, verificar su precisión e integrar el código necesario en nuestro ecosistema. Serás responsable de expandir nuestra cobertura a más de 15 países, garantizando que los datos sin procesar de diversas fuentes globales se extraigan, limpien y carguen correctamente en nuestro lago de datos. Las responsabilidades diarias incluyen: Exploración y verificación de fuentes: Investigar y localizar activamente fuentes de datos fiables (registros gubernamentales, bancos centrales, portales) y crear hojas de datos para verificar su fiabilidad, formato y frecuencia de actualización. Integración de pipelines: Escribir y mantener scripts Python eficientes para extraer datos sin procesar e integrarlos en nuestro pipeline ETL sin servidor existente. Perfilado y calidad de datos: Analizar datos de muestra para comprender su estructura (comprobación de valores nulos, únicos y atípicos) y definir las reglas de negocio "limpias" para garantizar la calidad. Estandarización: Implementar lógica de transformación utilizando herramientas como Polars y DuckDB para estandarizar diversos conjuntos de datos.

Category: IT & Programming Subcategory: Data Science Project size: Large