Desarrollo de Sistema de Web Scraping Automatizado para Plataforma...

Se busca un desarrollador experto para crear un sistema de web scraping automatizado. El objetivo principal es extraer, estructurar y almacenar datos públicos de la web "The Robing Room" para construir una base de datos robusta que servirá como fundamento para una futura plataforma tipo "Rate My Judge".

Objetivo del Proyecto:

Crear una base de datos completa de jueces con información relevante, incluyendo perfiles de jueces, valoraciones de usuarios, opiniones detalladas y métricas agregadas. Esta base de datos será la columna vertebral de una plataforma web donde los usuarios podrán consultar y valorar jueces.

Alcance del Scraping:

1. Datos de Jueces:

Para cada juez, se debe extraer la siguiente información:

• Nombre completo

• Ubicación (estado / ciudad / tribunal)

• Tipo de tribunal (civil, penal, etc.)

• id o url única del juez

• número total de reviews

• puntuación media

1. Reviews de Usuarios:

Para cada review, se requiere la extracción de:

• Rating numérico (ej: 1–10 o estrellas)

• Categorías valoradas (ej: imparcialidad, puntualidad, respeto, etc.)

• Texto completo de la opinión

• Fecha de publicación

• Tipo de usuario (si está disponible)

• ID de la review

1. Métricas Agregadas:

Si están disponibles en la web de origen, se deben extraer:

• Media de puntuaciones por categoría

• Distribución de ratings

• Número de casos valorados

• Estadísticas adicionales visibles

Requisitos Técnicos:

• Lenguaje de programación recomendado: Python (con librerías como Scrapy, BeautifulSoup, Selenium si es necesario para contenido dinámico).

• El sistema debe ser capaz de manejar:

• Paginación

• Carga dinámica de contenido (si aplica)

• Posibles bloqueos básicos (gestión de user-agents, delays entre solicitudes, etc.)

• Se espera un sistema de extracción estructurado, robusto y escalable.

Formato de Entrega:

• Un script funcional de scraping.

• Una base de datos estructurada con los datos extraídos, preferiblemente en formato json, csv, o directamente integrada en postgresql / mongodb.

Category: IT & Programming Subcategory: Web development What is the scope of the project?: Create a new custom site