Usos y aplicaciones de web scraping

Por Joel José García Rengifo & Freddy Madríz

El web scraping se utiliza en múltiples própositos, desde los más especializados hasta los más cotidianos. Entre ellos se destacan los siguientes:

• Seguridad y defensa: Los organismos de defensa cuentan con scripts que analizan el contenido de sitios web (blogs, páginas personales, dominios gratutios, etc) con el fin de detectar patrones de palabras que pudiesen incitar a actividades delictivas o ilegales. Una vez obtenidos los resultados, se puede escalar a un nuevo nivel de scraping , o se realizan análisis semi manuales de los sites identificados como sospechosos.
• Seguimiento de cambios de contenido(RSS): En oportunidades resulta particularmente útil mantenerse informado acerca de los cambios en el contenido de uno o varios sites. Por ejemplo, para enterarse de nuevas noticias publicadas, seguir el cambio de precios en algún artículo, o verificar las ofertas laborales disponibles para un perfil profesional específico. En estos casos algunas herramientas de la web pueden ser configuradas para hacer el scraping peridicamente e informar e caso de cambios. Algunas aplicaciones de este tipo son google reader o feedity.com.
• Análisis de contenido: también es frecuente hacer scraping de un grupo de sites con la finalidad de adelantar estudios de la información publicada. Esto puede ir desde un simple inventario de palabras y frases más utilizadas, hasta complejos análisis semánticos.