Todo era tan bonito, que resultó ser mentira

Motivación

Hemos estado usando la api soap de google para hacer las búsquedas dentro de gloobal.net, pero Google ha decidido dejar de dar soporte a esto desde Agosto de 2009, así que hemos tenido que buscarnos para seguir dando el servicio de otra forma. Como después de la experiencia nos hemos dejado de fiar de google un poco, por lo que hemos decidido usar mnogosearch para hacer esto, por aquello de apropiarnos de la tecnología.

Instalación

Partimos de una Debian Etch limpia recien sacada de la caja.

La versión de mnogosearch que viene con debian (etch) está obsoleta, por lo que se ha tenido que instalar desde los fuentes.

Compilando mnogosearch

Son unos pasos bastante sencillos los que hay que seguir,

ssh root@buscador
root@buscador's password:
buscador:~# # de aqui en adelante quitaré esto para que sea más fácil copiar y pegar 
apt-get update
apt-get upgrade
apt-get install make gcc less vim mysql-server libmysql++-dev
cd /usr/src/
wget http://www.mnogosearch.org/Download/mnogosearch-3.3.8.tar.gz # pudes buscar algo más moderno
tar xzvf mnogosearch-3.3.8.tar.gz
cd mnogosearch-3.3.8
perl install.pl # a las preguntas, todas por defecto menos Build shared libraries? (yes/no) [no]: yes
make
make install

Aqui ya estaría instalado el mnogosearch.

Compilando el módulo PHP en debian

Es importante hacer este paso después de haber instalado mnogosearch desde los fuentes.

cd /usr/src
apt-get install libapache2-mod-php5
apt-get build-dep php5
apt-get source php5
cd php5-5.2.6.dfsg.1/ # puede cambiar dependiendo de la versión de php
./debian/rules patch
cp  -a ../mnogosearch-3.3.8/php ext/mnogosearc
vim debian/rules # busca donde estan todos los --with y en medio pon --with-mnogosearch=shared,/usr/local/mnogosearch \
echo mnogosearch mnoGoSearch >> debian/modulelist
mkdir -p debian/php5-mnogosearch/usr/share/doc/php5-mnogosearch
./debian/rules binary #espera sentao
cp apache2-build/modules/mnogosearch.so /usr/lib/php5/20060613/
echo extension=mnogosearch.so > /etc/php5/conf.d/mnogosearch.ini
/etc/init.d/apache2 restart

Con esto ya está instalado todo el software necesario, ahora hay que configurarlo y echarlo a rodar.

Configuración

indexer.conf

La idea es ver la documentación sobre el fichero para saber lo que se está haciendo, pero aqui va lo más importante (cambiado) ojo este fichero no sería funcional:

DBAddr mysql://buscador:buscando@localhost/buscador/?dbmode=blob&Deflate=yes&zint4=yes
LocalCharset ISO-8859-1
StopwordFile stopwords/es.sl
HTTPHeader "User-Agent: Gloobal Crawler 0.3"
Disallow *html=1
Disallow *printview*
DefaultLang es
DetectClones yes
Server skip http://miweb/zonaoscura
Period 7d
Server http://miweb/
Period 1y
Server http://miweb/que_no_seactualiza/
Period 1h
Server HrefOnly http://miweb/novedades

La base de datos

Espero que hayas puesto contraseña a la base de datos en la instalación

mysql -u root -p
create database buscador DEFAULT CHARACTER SET latin1 COLLATE latin1_spanish_ci;
grant all privileges on buscador.* to "buscador"@"localhost" IDENTIFIED by "buscando";
\q
/usr/local/mnogosearch/sbin/indexer -Ecreate

Con esto la base de datos está creada y compuesta, solo le falta ser rellenada.

El sistema

Para que la base de datos se rellene hay que correr períodicamente el indexer, en nuestro caso hemos estado haciendo pruebas para ver la frecuencia con la que cambia la información de nuestras páginas y hemos determinado que cada media hora hay cambios suficientes como para que venga bien buscar enlaces nuevos, por lo que cada 30 minutos lanzamos el indexador con 1 hilo para que recoja 1000 páginas. Cada día a las 21h lanzamos dos hilos para que indexen todo lo viejo que esté caducado o nuevo que no esté indexado.

Cada dos horas lanzamos el proceso para convertir a blob la base de datos. Esto es necesario y bastante largo, afinarlo y tened en cuenta que las páginas indexadas no empiezan a aparecer hasta que esto no se ha lanzado.

Simplemente añadimos al /etc/crontab lo siguiente:

30 * * * * root /usr/local/mnogosearch/sbin/indexer -N 1 -n 1000 > /dev/null 2>/dev/null
00 21 * * * root /usr/local/mnogosearch/sbin/indexer -N 2  > /dev/null 2>/dev/null
20 */2 * * * root (/usr/local/mnogosearch/sbin/indexer -Eblob ; /bin/rm -f /usr/local/mnoGoSearch/var/cache/*) > /dev/null 2>/dev/null

y casi siempre hay que cambiar esto en el /etc/php5/apache2/php.ini

register_globals = On

Con esto ya tendríamos el indexador recogiendo información, Nos falta hacer algo en php con lo que hacer las búsquedas… En el próximo número.

Es tarde y todo se ha hecho en un par de días, las primeras gotas de rocio aparecen sobre la ventana y mis ojos enrojecidos se abren lentamente ante la aparición ¡Theodora!

Hemos preparado la retransmisión en vivo y en directo del Seminario internacional Colombia: Conflicto y derecho internacional humanitario, lo hemos montado en muy poco tiempo pero el resultado es bastante funcional.

La petición era transmitir por internet las jornadas ya que en el primer día se habían agotado las plazas. Mucha gente se había quedado sin poder asistir, además por la temática era interesante que mucha gente de otros lugares del mundo pudieran asistir virtualmente.

Antes de empezar hay que tener claros varios conceptos y los voy a explicar tal cual los he entendido (o me los he inventado).

Fuente: es lo que da el video y el audio al servidor de streaming.

Servidor de streaming: Es lo que recoge como entrada lo que da la fuente y se lo da a los clientes que se quieran enganchar.

Clientes: Son los que ven y escuchan lo que la fuente quiere transmitir.

Ningún concepto raro, ¿no? a mi me costó pillarlos, pero una vez claros continuamos, empezamos por el medio.

El servidor de streaming que hemos usado es icecast2, por qué icecast2 y no otro:

• Ya había usado icecast hace años para radio
• Es software libre
• apt-get install icecast2 #

La parte del servidor en sí no requiere mucho, simplemente instalarlo, y cambiar las contraseñas por defecto:

apt-get install icecast2

vim /etc/icecast2/icecast.xml

Unas tareas sencillas:

• Buscar hackme y reemplazar por tu contraseña favorita
• Configurar el hostname
• Cambiar el bind-address para que te puedas enganchar desde internet.

Luego hay que editar el fichero /etc/default/icecas2 y habilitarlo para que funcione… esto es para que cambiemos las contraseñas, así que no seas gañán o gañana y cambiala antes de hacer este paso.

Si ahora reinicias el icecast2 deberías tener un servidor funcionando

Icecast tiene un interfaz web de administración y estadísticas bastante sencillote ve a http://tuserver:8000 y entra con admin y su contraseña y verás sus funciones… esto te dejo que lo averigues tu.

Servidor funcionando… ahora deberíamos enchufarle algo para transmitir

Este paso fue un auténtico dolor de cabeza. En el primer momento pensabamos usar vlc para coger la entrada de firewire, convertirlo a ogg y enviarlo al servidor y… hubo problemas. No conseguí que el vlc cogiera el firewire (no hubo manera), ni que cogiera la entrada estandar para que enchufarsela al servidor ni que la vida sonriera, así que lo que decidí hacer es coger la entrada del firewire, pasarla a mpeg a un fichero local y enchufar el vlc a leer el fichero local y reenviarlo ya en ogg al servidor de streaming.

Todo lo siguiente requiere que tengas cargados los módulos de firewire

Asi que ejecutaba por un lado la conversión al vuelo de lo que entra por el firewire

dvgrab -format dv1 – | ffmpeg -deinterlace -f dv -i – -vcodec mpeg1video \

-s 352×288 -qscale 3.5 -acodec mp2 -ab 32k -ar 22050 de_la_camara.mpg

y por otro el envío al servidor de lo que se iba guardando (también lo muestra en local):

vlc -vv de_la_camara.mpg –sout\

‘#transcode{vcodec=theo,vb=800,scale=1,acodec=vorb,ab=128,channels=2}\

:duplicate{dst=display,dst=std{access=shout,mux=ogg,\

dst=source:micontraseñafavoritita@miservidorpreferido:8000/mievento.ogg}}’

Puedes hacer prueba de que funciona con el vlc:

vlc http://miservidorpreferido:8000/mievento.ogg

Esto mete un poco más de retraso pero, si lanzas las dos cosas separadas con un  & sleep 5; no será mucho . De todas formas el streaming ya hace bastante cache lo que hace que se vea con bastante retardo.

Ahora ya estamos emitiendo para toda la galaxia conocida nuestro evento, lo que pasa es que nadie nos conoce, pero seguro que tenemos una web que si conocen, así que vamos a embeber nuestro stream en la web. Para ello vamos a usar un script que hace que la etiqueta video de html5 funcione en navegadores que no lo soportan (o por lo menos lo intenta). Hay que aclarar que esto necesita que el cliente tenga instalado algo que le permita ver video ogg en el equipo y el plugin para el navegador (vlc, mplayer) o firefox 3.1 que ya soporta ogg nativamente

la cosa en cuestión es Mv Embed es bastante sencillo basta bajar el js ponerlo en el servidor y meter el siguiente código html en la web:

<script type=”text/javascript” src=”/PATH_AL_mv_embed/mv_embed.js”></script>

<video src=”http://miservidorpreferido:8000/mievento.ogg” thumbnail=”PONTE_UnA_FOTO_CHULA.png”></video>

Le puedes pasar opciones interesante como “autoplay=true” para que cargue el video automáticamente.

Tachan! ya tienes todo funcionando para restransmitir tu evento

Muchas gracias a Santiago Ramos de Ikusnet por la orientación y el apoyo moral

Hemos quedado gratamente satisfechos con las pruebas y muy posiblemente lo empecemos a implantar en algunos servicios que empiezan a tener mucho tráfico. Esto es más o menos lo que hemos hecho.

Nuestro esquema actual sería algo parecido a esto:

Bueno vamos al lío de cómo se haría esto, lo primero sería saber que servicios vamos a tener que tocar para poner esto en marcha, en nuestro caso serían:

• Apache, no mucho para decirle que ahora también escuche por real.example.com
• Bind9, para decirle que www.example.com es la máquina de cache
• Squid, el que va a hacer el trabajo sucio

En nuestro esquema cada servicio corre en una máquina distinta, así que empezaremos por apache y bind, que es donde menos hay que tocar…

En apache simplemente añadimos esta línea por cada dominio que queramos que sea resuelto por el cache:

/etc/apache/sites-enabled/example.com

[...]

ServerAlias real.example.com

[..]

Esto únicamente nos sirve para cuando queramos acceder al servidor sin pasar por la cache.

En la parte de bind, también es bastante sencillo, en el archivo de definición de la zona cambiamos la entrada del www

/etc/bind/db.example.com

[...]

www  IN  CNAME  cache

[...]

Ahora llega la parte importante instalar el squid y modificar la configuración para que haga de cache inverso.

Lo primero sería instalar squid con su orden favorita, apt-get install squid, urpmi squid, “instalame el squid becario”. En nuestro caso la configuración está hecha sobre una debian 4.0, pero no debería haber mucha diferencia entre nuestros unixes. Vamos a configurar squid

/etc/squid/squid.conf

http_port 80 vhost # Si vamos a escuchar en el puerto 80 haciendo la vhost (proxy inverso, esto sería todo

hierarchy_stoplist cgi-bin ?

acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

cache_mem 600 MB # tenemos 750MB y esta máquina sólo va a hacer esto…

maximum_object_size 30 MB # nos interesa cachear también archivos mas o menos grandes

maximum_object_size_in_memory 128 KB
access_log /var/log/squid/access.log squid

hosts_file /etc/hosts # esto es importante, por que aqui es donde resolvemos a la máquina que realmente tiene el apache

refresh_pattern .        0    20%    4320

collapsed_forwarding on
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8

acl Safe_ports port 80        # http

acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny to_localhost
acl dominios dstdomain “/etc/squid/dominios” all # esto es importante en este fichero le decimos a squid los dominios que vamos a cachear
http_access allow dominios
always_direct allow dominios
http_access allow localhost
http_access deny all
http_reply_access allow all

icp_access allow all

cache_effective_group proxy
visible_hostname cache-001.example.com # podemos tener muchos

coredump_dir /var/spool/squid

Tachan! ya casi lo tenemos, ahora hemos dejado dos ficheros más que debemos tocar

/etc/squid/dominios

www.example.com

example.com

coreapp.example.com

/etc/hosts

[...]

192.168.0.2 www.example.com example.com

192.168.0.3 copreapp.example.com

[...]

y ya releemos las configuraciones de todos los servicios y a ver como el dns va llevando poco a poco el tráfico al caché.

Es interesante que se instalen siempre algunas estadísticas… pero eso ya será otro artículo rápido como este.