Instalación y Configuración de Apache Airflow On-Premise para Produ...

Se busca un especialista para la instalación y configuración completa de Apache Airflow en un entorno on-premise. El objetivo es establecer un ambiente productivo de alta disponibilidad que garantice la robustez y continuidad de las operaciones de orquestación de datos.

Las responsabilidades incluirán:

• Diseño e implementación de la arquitectura de alta disponibilidad para Apache Airflow.

• Configuración de los componentes de Airflow (Scheduler, Webserver, Workers) para redundancia y escalabilidad.

• Integración con una base de datos de metadatos robusta (por ejemplo, PostgreSQL o MySQL) con configuración de alta disponibilidad.

• Configuración de un sistema de colas de mensajes (por ejemplo, Celery o KubernetesExecutor) para la gestión de tareas distribuidas.

• Implementación de mecanismos de monitoreo y alerta para el estado del sistema.

• Asegurar la configuración de seguridad adecuada para el entorno productivo.

• Documentación detallada de la instalación y configuración.

Se requiere experiencia comprobada en despliegues de Airflow en entornos productivos, conocimientos sólidos de sistemas operativos Linux, bases de datos y herramientas de orquestación de contenedores como Docker y Kubernetes.

Category: IT & Programming Subcategory: Web development What is the scope of the project?: Medium-sized change