Curso Python DGA 2011/sistemas/admin monitor - Historial de revisiones

Luis.perez en 17:17 23 nov 2011

2011-11-23T17:17:55Z

Luis.perez: añadida info sobre watchdog

2011-11-21T19:55:21Z

añadida info sobre watchdog

Luis.perez en 17:18 1 sep 2011

2011-09-01T17:18:37Z

Luis.perez: Página creada con '{{TEP}} == Administración y monitorización de sistemas con Python == === Administración de sistemas con Fabric === ==== ¿ Qué es Fabric ? ==== * Herramienta de línea d…'

2011-08-31T17:51:22Z

Página creada con '{{TEP}} == Administración y monitorización de sistemas con Python == === Administración de sistemas con Fabric === ==== ¿ Qué es Fabric ? ==== * Herramienta de línea d…'

Página nueva

{{TEP}}

== Administración y monitorización de sistemas con Python ==

=== Administración de sistemas con Fabric ===

==== ¿ Qué es Fabric ? ====

* Herramienta de línea de comandos y librería para facilitar la administración de sistemas y despliegue de aplicaciones a través de SSH.
* Los scripts en fabric son python usando el api que provee.
* Permite ejecutar comandos shell localmente o remotamente, así como subir y bajar ficheros de sistemas remotos.
* Ejecuta mismas tareas en múltiples hosts definidos.
* Es capaz de manejar las peticiones de input por parte de los programas ejecutados a través de la shell remota (ej: petición de passwords)

==== Instalación ====

* Usaremos la última release 1.x, a día de hoy 1.2.1
* Ubuntu 11.04 (natty) trae fabric 0.9.3, aunque la próxima oneiric ya saldrá con una 1.0.
Por tanto instalaremos la última release de https://github.com/fabric/fabric/downloads.

Necesitaremos:
* tener setuptools instalada
* python-paramiko - nos sirve el paquete que trae ubuntu

Una vez descargada la release y cumplidas las dependencias:
python setup.py install

==== Herramienta ''fab'' y tareas ====

Fabric trae la herramienta ''fab'', con la que podemos ejecutar funciones (tareas) que escribamos en '''fabfile.py'''
<source lang="python">
# fabfile.py
def hello(name="world"):
print("Hello {0}".format(name))
</source>

<source lang="bash">

$ fab hello
Hello world

Done.
</source>

* Se pueden pasar parámetros:
<source lang="bash">
$ fab hello:luis
Hello luis

Done.

$ fab hello:name=luis
Hello luis

Done.
</source>

* Podemos hacer tareas que llamen a tareas, puesto que las tareas son funciones python.

==== Ejecución de operaciones en local ====

<source lang="python">
# fabfile.py
from fabric.api import local

def sysinfo():
cpu_info = local("cat /proc/stat")
mem_info = local("cat /proc/meminfo")

print(cpu_info)
print(mem_info)
</source>

==== Ejecución de operaciones en remoto ====

<source lang="python">
# fabfile.py
from fabric.api import local

def sysinfo():
cpu_info = run("cat /proc/stat")
mem_info = run("cat /proc/meminfo")

print(cpu_info)
print(mem_info)
</source>

* Si ejecutamos esta operación, dado que no hemos definido ningún host, fabric nos pedirá donde queremos ejecutar las operaciones (user@host)
<source lang="bash">
$ fab sysinfo
No hosts found. Please specify (single) host string for connection:
</source>

* Podemos definir los hosts donde ejecutar las operaciones de forma global al script:

<source lang="python">
env.hosts = ['192.168.0.11', '192.168.0.20', 'my_server']
</source>

Aunque esto asumirá que que el usuario con el que nos autenticamos es el mismo usuario que ejecuta el script.
* Podemos poner el usuario con el que se ejecutará:
<source lang="python">
env.hosts = ['luis@192.168.0.11', 'root@192.168.0.20', 'my_server']
</source>

* Podemos especificar hosts para una tarea en concreto:
<source lang="python">
@hosts('user1@logserver1', 'logserver')
def diskusage():
disk_usage = run("df -h /dev/sda1")
</source>

* ... o pasar por línea de comandos los hosts
<source lang="bash">
$ fab diskusage --hosts=192.168.0.11
</source>

==== Roles en Fabric ====

Se pueden agrupar hosts de forma que se puedan ejecutar tareas para un determinado grupo, usando ''@roles''

<source lang="python">
env.roledefs.update({
'locales': ['192.168.1.1', '192.168.1.2'],
'logservers': ['logserver1, logserver2']
})

@roles('logservers')
def diskusage():
pass
</source>

* También se puede ejecutar sobre un rol en concreto desde línea de comandos:
<source lang="bash">
$ fab -R logservers diskusage
</source>

==== Subiendo y bajando ficheros ====
<source lang="python">
put('bin/project.zip', '/tmp/project.zip')
put('*.py', 'cgi-bin/')
put('index.html', 'index.html', mode=0755)

get('/path/to/remote_file.txt')

</source>
----
{{Tip| Aquí se ha descrito la funcionalidad "core" de Fabric. Sin embargo, el paquete fabric.contrib trae varias utilidades comunes. Echad un vistazo a http://docs.fabfile.org/en/latest/index.html#contrib-api}}

@@ Línea 215: / Línea 215: @@
 === Monitorización de servidores y recolección de datos con Watchdog ===
 ==== ¿ Qué es Watchdog ? ====
@@ Línea 227: / Línea 230: @@
 e incluirlo en el pythonpath.
+</div>
 ==== Estructura del DSL ====
 [[Archivo:Watchdog dsl.png]]
 * Los servicios se registran en el monitor
 * Un servicio puede tener varias reglas, que se comprueban con una frecuencia de tiempo configurable
 * Se pueden definir acciones cuando las reglas terminan con éxito o fracaso.
+</div>
 ==== Reglas y acciones ====
 * Reglas: HTTP (prueba un servicio http), SystemHealth(comprueba que los niveles de cpu, disco, y memoria están por debajo de los niveles que establecemos), ProcessInfo, SystemInfo, Bandwith, Mem, Delta.
@@ Línea 240: / Línea 244: @@
 * Podemos crear acciones y reglas personalizadas, extendiendo de Action y Rule.
+</div>
 ==== Ejemplos ====
 Ejemplo básico:
@@ Línea 262: / Línea 267: @@
 ).run()
 </source>
+</div>
 Enviando emails:
@@ Línea 277: / Línea 283: @@
+   )
 </source>
+</div>
 Incidentes, varios errores en un determinado tiempo:
 <source lang="python">
@@ Línea 291: / Línea 298: @@
+   )
 </source>
+</div>
 Monitorizando la salud del sistema:
 <source lang="python">
@@ Línea 313: / Línea 321: @@
+     )
 </source>

← Revisión anterior		Revisión de 19:55 21 nov 2011
Línea 211:		Línea 211:
	----		----
	{{Tip\| Aquí se ha descrito buena parte de la funcionalidad "core" de Fabric, aunque provee más operaciones y context managers de los aquí descritos. Revisar la documentación de Fabric. Además, el paquete fabric.contrib trae varias utilidades comunes. Echad un vistazo a http://docs.fabfile.org/en/latest/index.html#contrib-api}}		{{Tip\| Aquí se ha descrito buena parte de la funcionalidad "core" de Fabric, aunque provee más operaciones y context managers de los aquí descritos. Revisar la documentación de Fabric. Además, el paquete fabric.contrib trae varias utilidades comunes. Echad un vistazo a http://docs.fabfile.org/en/latest/index.html#contrib-api}}
		+
		+
		+	=== Monitorización de servidores y recolección de datos con Watchdog ===
		+
		+	==== ¿ Qué es Watchdog ? ====
		+
		+	* Librería para facilitar la monitorización de servicios y notificar o realizar acciones en respuesta a incidentes.
		+	* DSL propio para definir servicios y acciones
		+	* Api simple y pequeña
		+
		+	==== Instalación ====
		+	Por ahora no está disponible por defecto en distribuciones. Basta con descargar:
		+
		+	https://raw.github.com/sebastien/watchdog/master/Sources/watchdog.py
		+
		+	e incluirlo en el pythonpath.
		+
		+	==== Estructura del DSL ====
		+	[[Archivo:Watchdog dsl.png]]
		+
		+	* Los servicios se registran en el monitor
		+	* Un servicio puede tener varias reglas, que se comprueban con una frecuencia de tiempo configurable
		+	* Se pueden definir acciones cuando las reglas terminan con éxito o fracaso.
		+
		+	==== Reglas y acciones ====
		+	* Reglas: HTTP (prueba un servicio http), SystemHealth(comprueba que los niveles de cpu, disco, y memoria están por debajo de los niveles que establecemos), ProcessInfo, SystemInfo, Bandwith, Mem, Delta.
		+	* Acciones: Log, Print, Restart (para reiniciar procesos), Email, XMPP, Incident (para ejectutar otras acciones en base a multiples fallos seguidos), ZMQPublish (para publicar mensajes en colas ZeroMQ).
		+
		+	* Podemos crear acciones y reglas personalizadas, extendiendo de Action y Rule.
		+
		+	==== Ejemplos ====
		+	Ejemplo básico:
		+
		+	<source lang="python">
		+	from watchdog import *
		+
		+	Monitor(
		+	Service(
		+	name="apache-ensure-up",
		+	monitor=(
		+	HTTP(
		+	GET="http://localhost:80/",
		+	freq=Time.ms(500),
		+	fail=[
		+	Print("Apache is down!!")
		+	]
		+	)
		+	)
		+	)
		+	).run()
		+	</source>
		+
		+	Enviando emails:
		+
		+	<source lang="python">
		+	HTTP(
		+	GET="http://myservice.com/,
		+	freq=Time.ms(500),
		+	fail=[
		+	Email(
		+	"admin@company.com",
		+	"[Watchdog] Service unreachable", "Latency over 500ms",
		+	"smtp.company.com", "username", "password"
		+	]
		+	)
		+	</source>
		+
		+	Incidentes, varios errores en un determinado tiempo:
		+	<source lang="python">
		+	HTTP(
		+	GET="http://myservice.com/,
		+	freq=Time.ms(500),
		+	fail=[
		+	Incident(
		+	errors = 5,
		+	during = Time.s(10)
		+	actions = [ ... ]
		+	]
		+	)
		+	</source>
		+
		+	Monitorizando la salud del sistema:
		+	<source lang="python">
		+	SystemInfo(
		+	freq=Time.s(1),
		+	success = (
		+	LogResult("myserver.system.mem=", extract=lambda r,_:r["memoryUsage"]),
		+	LogResult("myserver.system.disk=", extract=lambda r,_:reduce(max,r["diskUsage"].values())),
		+	LogResult("myserver.system.cpu=", extract=lambda r,_:r["cpuUsage"]),
		+	)
		+	),
		+	Delta(
		+	Bandwidth("eth0", freq=Time.s(1)),
		+	extract = lambda v:v["total"]["bytes"]/1000.0/1000.0,
		+	success = [LogResult("myserver.system.eth0.sent=")]
		+	),
		+	SystemHealth(
		+	cpu=0.90, disk=0.90, mem=0.90,
		+	freq=Time.s(60),
		+	fail=[Print("Health compromised!!")]
		+	)
		+	</source>

@@ Línea 1: / Línea 1: @@
 == Administración y monitorización de sistemas con Python ==
@@ Línea 76: / Línea 74: @@
 ==== Ejecución de operaciones en remoto ====
 <source lang="python">
 # fabfile.py
@@ Línea 147: / Línea 148: @@
 </source>
 ----
-{{Tip| Aquí se ha descrito la funcionalidad "core" de Fabric. Sin embargo, el paquete fabric.contrib trae varias utilidades comunes. Echad un vistazo a http://docs.fabfile.org/en/latest/index.html#contrib-api}}
+{{Tip| Aquí se ha descrito buena parte de la funcionalidad "core" de Fabric, aunque provee más operaciones y context managers de los aquí descritos. Revisar la documentación de Fabric. Además, el paquete fabric.contrib trae varias utilidades comunes. Echad un vistazo a http://docs.fabfile.org/en/latest/index.html#contrib-api}}