Diferencia entre revisiones de «LSWC scraping the web/taller scraping lwsc 2011»
| Línea 46: | Línea 46: | ||
{{Ejemplo| | {{Ejemplo| | ||
TOCdepth=3| | TOCdepth=3| | ||
| + | Lo primero que hay que hacer es ver la estructura del documento. Desde el navegador, accede al código fuente de la página web. | ||
'''Navegando al estilo Python''' | '''Navegando al estilo Python''' | ||
* ¿Cuál es el título del documento? | * ¿Cuál es el título del documento? | ||
| Línea 61: | Línea 62: | ||
{{Tip| Para el taller usaremos una copia local, para no saturar el servidor ;-) }} | {{Tip| Para el taller usaremos una copia local, para no saturar el servidor ;-) }} | ||
| − | |||
| − | |||
| − | + | Para selecciones más complejas podemos usar expresiones XPATH. Si no sabes XPATH, firebug te puede ayudar. Firebug copia la XPATH a cualquier elemento. | |
| − | + | ||
| − | + | ||
| − | + | * Listado de cursos: | |
| + | <source lang="python"> | ||
| + | from amara.bindery.html import parse | ||
| − | doc = | + | doc = parse('lista_cursos_inaem.html') |
| − | + | ||
| + | CURSOS = u'//td[@class="textoApl1"]' | ||
| + | lista_cursos = doc.xml_select(CURSOS) | ||
| + | for c in lista_cursos: | ||
| + | print c | ||
</source> | </source> | ||
| − | |||
| − | |||
Revisión de 06:48 7 nov 2011
Contenido
Planteamiento del taller de scraping
En el taller vamos a usar Python y Amara para hacer una práctica de web scraping. El nivel del taller es de iniciación.
Configuración
Python y Amara son multiplataforma. En el taller vamos a indicar cómo instalar el entorno en linux.
Actividad
$ sudo apt-get install python2.7 python2.7-dev python-pip idle-python2.7
$ sudo pip install http://files.akara.info/00-amara-latest.tar.bz2  Tip: Es necesario tener instalado un compilador de C y la cabeceras de python (en debian/ubuntu hay que instalar python-dev)
|
Lectura de una página html
El proceso básico consiste en utilizar un parser para analizar el documento. Amara tiene 3 parsers:
amara.parse amara.bindery.parse amara.bindery.html.parse
Para usar documentos html usaremos el tercero, que además soporta documentos no válidos (tagsoup). El objeto que devuelve el parser es el que usamos para leer y modifcar un documento web.
Actividad
|
Escribe este ejemplo para leer un documento. Modifica URL para que tenga una dirección real. ¿Qué vemos en la pantalla?
Tip: doc tiene toda la información del documento
|
Vamos a practicar con un ejemplo muy sencillo, el ejemplo de la liga
Example
 |
Ejemplo |
|
Lo primero que hay que hacer es ver la estructura del documento. Desde el navegador, accede al código fuente de la página web. Navegando al estilo Python
print doc.html.head.title
for liga doc.html.body.h2:
print liga
for equipo in doc.html.body.ul.li:
print equipo
|
Un ejemplo más complejo: análisis de los cursos de formación para el empleo
Vamos a usar ahora un ejemplo real: el listado de cursos de formación para el empleo del INAEM recogido en http://plan.aragon.es/MapaRec.nsf/fmrListado?OpenForm
Para selecciones más complejas podemos usar expresiones XPATH. Si no sabes XPATH, firebug te puede ayudar. Firebug copia la XPATH a cualquier elemento.
- Listado de cursos:
from amara.bindery.html import parse doc = parse('lista_cursos_inaem.html') CURSOS = u'//td[@class="textoApl1"]' lista_cursos = doc.xml_select(CURSOS) for c in lista_cursos: print c
