baicom blog

Muy interesante logre hacer el cache de youtube, estube buscando informacion y solo la encontraba en thailandes y los traductores poco podian hacer, si alguien mas necesita hacer el cacheo en smoothwall, sigan estos pasos:

entramos a la consola con putty y en la terminal:

crear la carpeta /etc/squid

root$ mkdir /etc/squid

despues creamos el script en perl para cambiar las direcciones

root$ vi /etc/squid/store.pl

lo llenamos con el codigo q nos proporciono el buen Alejandro Gramajo:

#!/usr/bin/perl
$|=1;
while (<>) {
@X = split;
$url = $X[0];
$url =~s!^http://.*?/videoplayback\\?.*id=([^&]+).*!http://v-youtube.INTERNAL/ID=$1!;
print \"$url\\n\";}

ponemos permisos de ejecucion a nuestro script

root$ chmod 755 /etc/squid/store.pl

Ahora editamos el archivo de configuracion alterno de nuestro Smoothwall

root$ vi /var/smoothwall/proxy/advanced/acls/include.acl

y lo llenamos con el codigo:

storeurl_rewrite_program /etc/squid/store.pl
acl store_rewrite_list urlpath_regex get_video\\? videoplayback\\? videodownload\\?
storeurl_access allow store_rewrite_list
storeurl_access deny all
cache allow store_rewrite_list

acl QUERY2 urlpath_regex get_video\\? videoplayback\\? videodownload\\?
cache allow QUERY2

refresh_pattern get_video\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videoplayback\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videodownload\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
minimum_object_size 512 bytes
maximum_object_size_in_memory 32 KB
range_offset_limit -1
maximum_object_size 200 MB
quick_abort_min -1

Ahora solo reiniciamos el servicio de Advanded web proxy desde la interface web y listo!

Y como peticion podrias colocar los demas sitios q mencionas, sobre todo los xxx … gracias y saludos

Ariel, seguramente tenes que revisar tus ACL.

Saludos,
Alejandro

Ariel,

El ejemplo que puse no tiene una configuracion completa de Squid, solamente es la parte para redirigir el store al script.
Ese ACL que estas viendo es solo para “matchear” parte de las URL de Youtube.

La configuracion que te viene por default en Squid es completa, deberias agregar tu red interna.
Algo como esto.

acl mynetworks src 192.168.1.0/24 192.168.2.0/24
http_access allow mynetworks

Y revisar el orden, ya que despues de eso debe haber un deny.

Saludos

Le diste los permisos de ejecucion?

# chmod a+x /etc/squid/store.pl

Verifica si no pusiste un error sin querer asi:

# perl -c /etc/squid/store.pl
/etc/squid/store.pl syntax OK

Espero que sirva.

Me parece que necesitas consultoria de BAICOM Networks! Jeje

Saludos

Gracias… Ya lo solucione.. era un espacio en el scripts, que no debia estar.

Hola Jesus. Gracias por tus comentarios.

Revisaste los permisos del script en perl como pusimos arriba?

Saludos

Jesus, si lo dejas tal cual esta la expiracion se producira de manera automatica podes jugar con estos valores

refresh_pattern get_video\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videoplayback\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videodownload\? 10080 90% 999999 override-expire ignore-no-cache ignore-private

Podes reemplazar 999999 es la cantidad de tiempo en minutos que un objeto recide sin expiracion explicita.

Y por otro lado el squid no consume mas espacio que lo que vos definis en cache_dir, por defecto:

cache_dir ufs /var/spool/squid 100 16 256

Mi recomendacion si tenes 20g y que arme una estructura de directorios mayor:

cache_dir ufs /var/spool/squid 20000 64 256

Saludos

Hola he estado probando el script y ha funcionado bien, salvo el detalle que al parecer los videos expiran en algunos días, pero si me está ahorrando algo de tráfico; tengo una duda, yo al menos me entiendo razonablemente bien con la línea de comandos, pero no se programación viendo en los foros de smoothwall hay una contribución que hace caché de actualizaciones de windows y antivirus, pongo a continuación el enlace http://community.smoothwall.org/forum/viewtopic.php?f=26&t=23480 , y entiendo que squid no soporta más de un redirector, al menos en smoothwall; habrá alguna forma de combinar ambos códigos, para así poder cachear youtube y actualizaciones en forma simultánea? En verdad que esto sería fabuloso.
Saludos!!

Hola Jesus,
podes combinar ambas cosas sin problemas, pero en este caso no te vale la pena, ya que con squid podes cachear sin problemas los updates de MS y otros, aca te dejo algunos refresh que yo uso, tambien podes usar tags como override-expire para no darle importancia a cuando el sitio de obliga a expirar los archivos, pero esto puede traer otros problemas.

refresh_pattern -i \.gif$ 10080 100% 43200
refresh_pattern -i \.jpg$ 10080 100% 43200
refresh_pattern -i \.jpeg$ 10080 100% 43200
refresh_pattern -i \.bmp$ 10080 100% 43200
refresh_pattern -i \.mid$ 10080 100% 43200
refresh_pattern -i \.wav$ 10080 100% 43200
refresh_pattern -i \.ico$ 10080 100% 43200
refresh_pattern -i \.yim$ 10080 100% 43200
refresh_pattern -i \.jar$ 10080 100% 43200
refresh_pattern -i \.ldict$ 10080 100% 43200
refresh_pattern -i \.swf$ 10080 100% 43200
refresh_pattern -i \.class$ 10080 100% 43200
refresh_pattern -i \.cab$ 10080 100% 43200
refresh_pattern -i \.flv$ 10080 90% 999999 override-expire
refresh_pattern windowsupdate\.microsoft\.com/.*\.(cab|exe|psf) 4320 100% 120960 reload-into-ims
refresh_pattern update\.microsoft\.com/.*\.(cab|exe|psf) 4320 100% 120960 reload-into-ims
refresh_pattern office\.microsoft\.com/.*\.(cab|exe|psf) 4320 100% 120960
refresh_pattern windowsupdate\.com/.*\.(cab|exe|psf) 4320 100% 120960 reload-into-ims
refresh_pattern download\.microsoft\.com/.*\.(cab|exe|psf) 4320 100% 120960 reload-into-ims
refresh_pattern microsoft\.com 4320 100% 10080

Seguramente cuando tenga un poco de tiempo voy a ampliar la configuracion del squid en este post o en otro con mas features para cachear otros contenidos.

Saludos

en ubuntu server como haria para hacer cache de videos una ayuda estoy verde

Hola, me sale esteos mensajes:
2010/04/07 17:17:07| cache_cf.cc(346) squid.conf:128 unrecognized: ’storeurl_rewrite_program’
2010/04/07 17:17:07| cache_cf.cc(346) squid.conf:130 unrecognized: ’storeurl_access’
2010/04/07 17:17:07| cache_cf.cc(346) squid.conf:131 unrecognized: ’storeurl_access’

Tengo Debian 5 y squid3 Version 3.0.STABLE8

ya hice
# chmod a+x /etc/squid3/store.pl

# perl -c /etc/squid3/store.pl
/etc/squid3/store.pl syntax OK

hay que instalar algo adicional?

Rcpimeki, en squid 3 se llaman los tag de otra manera, fijate en la doc o instala con apt-get el squid 2.7 esta disponible.

Diego, próximamente voy a ampliar el articulo con otros sitios para caching, para agregar hay que analizar cada sitio en particular que funcion llama y descarga el flv.

Saludos,
Ale

Hola Ale

Gracias por tu valiosa información, sabes que he estado ampliando el script de perl, con el fin de almacenar en la cache, videos de otras webs; por tanto, he desarrollado uno que detallo a continuaciòn y de la misma manera, quisiera conocer tus comentarios acerca de este emprendimiento.

Lo he probado colocando variables estaticas, con links de diferentes sitios, dando resultados satisfactorios a nivel del script.

!——————————————————— 0 ———————————————————!

#!/usr/bin/perl
$|=1;
while () {
@X = split;
$url = $X[0];
if ($url =~ /([0-9A-Za-z_+]*\.flv)/) {
$url =”http://v-proxy.INTERNAL/ID=$1″;
print “$url \n”;
#print “$1 \n”;
}
elsif ($url =~ /(get_video|videodownload|videoplayback)?/) {
if ($url =~ /.*id=([^&]+).*/) {
$url = “http://v-proxy.INTERNAL/ID=$1″;
print “$url \n”;
#print “$1 \n”;
}
}
else {
print $x . $_ . “\n”;
}
}

!——————————————————— 0 ———————————————————!

Como se puede apreciar el script es bastante generico, es decir, que se podria cachear todo lo referente a videos de cualquier sitio, si tienen esa sintaxis (casi la mayoria)… Por tanto, si se requiere colocar seguridad unicamente para cachear ciertos dominios, lo pueden controlar en el fichero squid.conf con la ACL dstdomain.

Saludos Cordiales.

Buenas a tod@s,
tengo una duda tras leer esto, que por un lado me viene bien, pero otro lado me gustaria saber si hay forma de guardar en el log del Squid las URL de los videos visitados…

me gustaria tener un registro de los videos que se han visto pero por defecto eso no puedo verlo en el log.

Conoceis algun modo??

salu2

Podrian ayudarme para hacer trabjar esto en windows usando el cygwin y el squid 2.7 stable 8 (version windows) ???? Estoy en las nubes .

Por cierto , para hacerlo funcionar en windows puse esta linea

storeurl_rewrite_program C:/cygwin/bin/perl.exe C:/cygwin/usr/local/bin/store.pl

Funciona, pero no se si fue la opcion mas optima, como dije antes estoy en las nubes .

Se puede usar refresh_pattern con acls ?

Algo asi quiero hacer

acl static_images urlpath_regex -i \.(jpg|jpeg|gif|png)$
cache allow static_images
refresh_pattern static_images 0 20% 4320

Chino,
muy interesante, y dime en Squidnt como sería, bueno si no es mucha molestia

Funciona esto con squid 3.1 ?? alguien lo ha probado ?

Muy bueno la verdad es que justo con mi hermano estabamos haciendo un servidor para la cache de youtube

buenas, estoy probando un server con centos y squid 3, el cual me permite cachar bastante bien, pero al poner las lineas de la configuracion para obtener los videos de youtube en el conf(previamente fue creado el store.pl) este servicio se detiene. Tengo habilitadas las acl mynetwork, alguien me podria dar una ayuda?

LuisArtur, gracias por dejar tu comentario.

Con respecto al caching, con la configuración listada deben funcionarte tanto el caching de youtube como las paginas comunes, revisa los access list.
Ya que solamente ciertos patrones van a ser redirigidos al script que reescribe el store.

Saludos

Ya lo solucione,, agregando un \";\" .. sin las comillas al final de cada linea

ahora es normal que me aparezacan tantos procesos del store.pl , casi 100 tengo y el cpu,, me lo esta matando

Gracias,, por tu ayuda,, lo voy a probar,, consulta

Esta solucion es la misma que hay en el sitio de squid ?
http://wiki.squid-cache.org/ConfigExamples/DynamicContent/YouTube
me refiero codigo del store.

Este codigo que vos pones en el sitio ,, cachea (YouTuve, Google, Metacafe, Dailymotion, Vimeo, Soapbox, BlipTV, Break, TV Uol, etc) ?

consulta?,, ustedes venden el codigo que cache lo demas ?

ahhh ok..
gracias,, lo voy a tener en cuenta,, no se porque pero no puedo ingresar el codigo en lusca,,
storeurl_rewrite_program /etc/squid/store.pl
acl store_rewrite_list urlpath_regex get_video\\? videoplayback\\? videodownload\\?
storeurl_access allow store_rewrite_list
storeurl_access deny all
cache allow store_rewrite_list

acl QUERY2 urlpath_regex get_video\\? videoplayback\\? videodownload\\?
cache allow QUERY2

refresh_pattern get_video\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videoplayback\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videodownload\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
minimum_object_size 512 bytes
maximum_object_size_in_memory 32 KB
range_offset_limit -1
maximum_object_size 200 MB
quick_abort_min -1

me devuelve

parse_refreshpattern: Unknown option ‘get_video\?’: override-expire
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘get_video\?’: ignore-no-cache
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘get_video\?’: ignore-private
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videoplayback\?’: override-expire
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videoplayback\?’: ignore-no-cache
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videoplayback\?’: ignore-private
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videodownload\?’: override-expire
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videodownload\?’: ignore-no-cache
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videodownload\?’: ignore-private

Me parece muy buen aporte, pero tengo instalado Ferdora 12 con Squid 3.1 y no me funciona, tendras la solucion para esta version. Gracias