Los usuarios de Squid sabran que por lo general y por default no se puede cachear videos de Youtube. Existen algunas razones, vamos a enumerar algunas:

• El video viene de varios cache servers internos que usa Youtube (o Google) entonces la url cambia.
• Si el video se cancela no baja entero.

Para evitar lo primero, a partir de la version 2.7 se incorpora una funcion “storeurl rewrite”, lo que permite separar (parseando) la URL que utiliza para buscar en su storage interno (backend - el cache en si mismo).

De esta manera podemos crear que multiples URL destino hagan referencia al mismo contenido del backend, asi evitamos duplicacion de contenido. Muy util para CDN.

Voy a poner un ejemplo simple: El sitio example.com tiene dos servidores web y me traen la misma imagen.gif, por default en Squid se almacena como dos imagenes diferentes, si haces un rewrite del store, podemos apuntar a la misma.

http://servidor1.example.com/image.gif
http://servidor2.example.com/image.gif

Podemos reescribir algo como: (sintaxis en Perl - mas info ver regex o me preguntan)

$url =~s!http://servidor\d+\.example\.com/(.*\.gif)!http://s-example.INTERNAL/$1!;

Expresion regular que tiene como funcion matchear servidor(numero) y cualquier nombre como gif, ese nombre se reemplaza en $1. Y se reescribe a un nombre de fantasia que invente yo.

Si mas o menos entienden, la idea es rescribir la url a una forma normalizada, tenemos que poner manos a  la obra para Youtube.

Cuando ejecutamos un video este se va a buscar a los caches internos que tienen, y la url tiene mas o menos esta forma: (llama a una funcion videoplayback)

http://v19.lscache7.c.youtube.com/videoplayback?ip=0.0.0.0&
sparams=id%2Cexpire%2Cip%2Cipbits%2Citag%2Calgorithm%2Cburst%2Cfactor&fexp=904708%2C905208&
algorithm=throttle-factor&itag=34&ipbits=0&burst=40&sver=3&expire=1264122000&key=yt1&
signature=654F0FB48D631BF220381FED556AE9E905989E71.0D479B82F2C57401EDB9AEB24A41C4447DA35E47&
factor=1.25&id=3e9103da619d1f28&

De esos tags podemos desprender varias cosas, pero en este caso solo nos interesa algo que identifique univocamente al video, nos quedamos con el parametro “id”.

Hacemos un rewrite asi:

$url =~s!^http://.*?/videoplayback\?.*id=([^&]+).*!http://v-youtube.INTERNAL/ID=$1!;

Si lo probamos (copiando la url por STDIN, nos devuelve por STDOUT la reescritura.

# perl /etc/squid/store.pl
http://v19.lscache7.c.youtube.com/videoplayback?...&id=3e9103da619d1f28&
http://v-youtube.INTERNAL/ID=3e9103da619d1f28

Y asi.

Parametros a de configuracion a modificar del squid.conf

# aca configuramos el store rewrite
storeurl_rewrite_program /etc/squid/store.pl
acl store_rewrite_list urlpath_regex get_video\? videoplayback\? videodownload\?
storeurl_access allow store_rewrite_list
storeurl_access deny all
cache allow store_rewrite_list

acl QUERY2 urlpath_regex get_video\? videoplayback\? videodownload\?
cache allow QUERY2

# patrones para caching y que ignoremos los encabezados No-Cache
refresh_pattern get_video\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videoplayback\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videodownload\? 10080 90% 999999 override-expire ignore-no-cache ignore-private

# importante para los range y que baje todo el video, y un pequeño bug con el tamaño de la url
minimum_object_size 512 bytes
maximum_object_size_in_memory 32 KB
range_offset_limit -1
maximum_object_size 200 MB
quick_abort_min -1

Y ahora la magica pieza del store rewrite.

#!/usr/bin/perl
$|=1;
while (<>) {
@X = split;
$url = $X[0];
$url =~s!^http://.*?/videoplayback\?.*id=([^&]+).*!http://v-youtube.INTERNAL/ID=$1!;
print "$url\n";

}

Solamente les dejo el ejercicio para “youtube usando videoplayback”, pero lo tengo para otros sitios de videos de Google, Metacafe, Dailymotion, Vimeo, Soapbox, BlipTV, Break, TV Uol (Brasil), y otros sitios de contenido XXX que no voy a poner aca porque Google me va a indexar y va a pensar mal de mi. Cualquier cosa me preguntan.

Miramos el access.log del squid y cuando acceso a un video (la segunda vez ya sale del cache):

1264093473.644  50428 172.22.0.153 TCP_HIT/200 9817978
GET http://v14.lscache8.c.youtube.com/videoplayback?ip=0.0.0.0&sparams=id%
2Cexpire%2Cip%2Cipbits%2Citag%2Calgorithm%2Cburst%2Cfactor&fexp=903707&
algorithm=throttle-factor&itag=5&ipbits=0&burst=40&sver=3&expire=1264118400&key=yt1&
signature=0913DFCF267D50241CBA4C84ECBB57450287AE31.262DB100A4F3960D2B66A26591F395D84FED2526&
factor=1.25&id=5a84b0718d025dea& - NONE/- video/x-flv

Hit, hit!

Nos ahorramos cada vez que ven ese video 9MB al estar en el cache.

Saludos a todos

Es un proyecto en el que estoy trabajando en el cual se visualizan alertas del IDS Snort. Hace tiempo que estoy investigando técnicas de Visualización de la Información.

Hoy en dia nos encontramos con grandes volúmenes de datos los cuales poseen valiosa información que nos estamos perdiendo a no poder filtrarla rápida y de manera ágil.

Por eso las técnicas de Visualización nos permiten representar una enorme cantidad de información de tal manera que el cerebro humano reconozca patrones que se destaquen del resto.

En este caso les voy a presentar un gráfico que realice con el software AfterGlow, el cual permite generar gráficos de nodos, conocidos como grafos o constelaciones. Para lo cual genere un par de scripts que minan la base de datos de IDS Snort buscando las ip origenes de los atacantes, luego parseando la salida busque los paises y los sistemas de autonomos asociados.

Los sistemas autonomos nos indican de que ISP (proveedor de internet) viene.

En el diagrama se representa los ataques detectados de 3 paises, los cuales representan un 80% del total, durante el mes de Agosto del 2008:

• USA [US] (43%)
• Argentina [AR] (38%)
• China [CN] (10%)

Se muestra la relacion:

• Pais (circulo gris) -> Sistemas Autonomos (cuadrado celeste) -> Direcciones IP Origen del Atacante (gama de colores).

Los colores de las IP estan dados por la cantidad de ataques que detallo a continuación:

• 1 a 5: PaleGreen

• 6 a 10: LawnGreen

• 11 a 20: LimeGreen

• 21 a 50: Orange

• 1 a 100: OrangeRed

• 101 o mas: Red

Se pueden desprender algunos patrones rapidamente:

• Desde USA la mayoria de los ataques fueron efectuados desde del AS 36408, que corresponde al ISP: Panther Express
• Desde Argentina el AS 16814 fue el que mas ataques genero, pertenece a IPLAN -NSS-, mi proveedor de Internet, seguramente máquinas “vecinas” con worms que buscan las clases y redes vecinas (mas proximas).
• Desde China vemos pocos ASN, se nota que esta muy sectorizado, imagino que debido al rigido control que se realiza de Internet desde el gobierno chino. Habra pocos proveedores de Internet?

Los dejo con esto, mas adelante voy a agregar mas informacion y alguna explicacion mayor de como genere los graficos.

Pueden ver un poco mas en: SnortViz

Gráfico: (pueden ver el gráfico en el tamaño original AQUI)

Al parecer la actualización del Firefox 2.0.0.14 es incompatible con el SwitchProxy 1.4.1

Revisando un poco la pagina del SwitchProxy no hay updates disponibles y al mirar los comentarios se puede ver que hay quejas ya que en la proxima version FF3 no hay compatibilidad.

Así que acá les propongo un tip para que se ejecute sin problemas, ya que por default deshabilita el plugin. al ser incompatible.

En la barra de URL, escriben: about:config y cambian app.update.incompatible.mode a 1

Listo! Esperemos que estos dias el Switch Proxy revise el codigo y verifique su compatibilidad por ahora parece funcionar sin problemas, pero no tuve tiempo para revisar el codigo en detalle.

—

Imagino que tenes un Debian Etch (Squid 2.6.5). Aca te dejo un patch que arme y algunas instrucciones para instalarlo. La idea es volver a tener un paquete de Debian con el patch para remover el signature del Squid.

Para el build del deb minimamente necesitas:

apt-get install build-essential dpkg-dev fakeroot debhelper po-debconf dpatch

Luego seguimos con los fuentes del Squid:

cd /usr/local/src
wget http://people.baicom.com/agramajo/patches/squid_2.6.5-not-signature.patch
apt-get source squid
cd squid-2.6.5/
patch -p1 < ../squid_2.6.5-not-signature
dpkg-buildpackage

El ultimo paso arma nuevamente el paquete del Squid, probablemente no tengas algunas librerias para generarlo, revisa la salida del dpkg-buildpackage.

Solo resta instalar el paquete:

cd ..
dpkg -i squid_2.6.5-6etch1_i386.deb

Si es la primera vez a instalar el Squid, faltaria el paquete common, pero no deberia ser tu caso.

dpkg -i squid-common_2.6.5-6etch1_all.deb

Existen varias formas de incorporar un patch a un paquete, por ejemplo con dpatch, pero bueno lo dejamos para otro momento!

Lo que realiza es inyectar código cuando estamos usando un buscador (google, msn, yahoo, etc) y marcar potenciales URL peligrosas con un tilde verde (sitio sin riesgo), signo de pregunta (no sabe), color rojo (peligroso), etc.

Como realmente me resulta molesto e invasivo lo que hace, decidí tratar de deshabilitarlo, lo cual deja hacerlo desde el panel central, pero el AVG siempre reporta que el componente esta inactivo y lo ve como un riesgo de seguridad. En versiones anteriores dejaba una opción para deshabilitar esta advertencia.

Una vez instalado o antes de instalarlo podemos remover el LinkScanner de una manera efectiva. Bajamos el paquete gratis al C:\ por ejemplo y ejecutamos:

c:\avg_free_stf_*.exe /REMOVE_FEATURE fea_AVG_SafeSurf /REMOVE_FEATURE fea_AVG_SafeSearch

Y listo el AVG, se reinstalara o instalara por primera vez según el caso, sin el LinkScanner! Seguramente sólo faltara actualizar la base del antivirus.

Para mas detalles (solo en ingles):

1. http://free.grisoft.com/ww.faq.num-1241

TCP Auto-tuning en teoría cumple la función de optimizar las conexiones TCP/IP sobre la base de utilización de la Red con el fin de mejorar la tasa de transferencia de rendimiento. (Mayor información Links 1 y 2)

Si utilizan conexiones RDESKTOP, PUTTY o cualquier otra consola sabrán que esto no funciona de manera correcta y en lugar de mejorar nuestro rendimiento lo empeora notablemente, experimentando pérdidas de conexión con el equipo remoto constantemente. (Mayor información Link 3)

Para solucionar este inconveniente lo que hay que hacer es deshabilitar esta función de la siguiente manera:

• Abrir una ventana cmd
• Ejecutar el comando: netsh interface tcp set global autotuning=disabled 

Otra opción si no se quiere deshabilitar esta función es restringirla:

• Abrir una ventana cmd
• Ejecutar el comando: netsh interface tcp set global autotuning=restricted

Cualquiera de estas dos modificaciones solucionan el problema.

En el caso que se quiera volver atrás con el cambio lo que se debe hacer es:

• Abrir una ventana cmd
• Ejecutar el comando: netsh interface tcp set global autotuning=normal

Luego de ejecutar este comando el Vista volvera a su modo default.

Para chequear en que estado se encuentra esta función debe ejecutarse el siguiente comando:

• Abrir una ventana cmd
• Ejecutar el comando: netsh interface tcp show global

Recomendamos dejar el resto de los parámetros por “default” y no modificarlos.

 

Para más detalles técnicos pueden leer:

1. http://blogs.msdn.com/wndp/archive/2006/05/05/winhec-blog-tcpip-2.aspx
2. http://blogs.msdn.com/wndp/archive/2007/07/05/receive-window-auto-tuning-on-vista.aspx
3. http://support.microsoft.com/kb/934430