baicom blog

Jahvier says:

Muy interesante logre hacer el cache de youtube, estube buscando informacion y solo la encontraba en thailandes y los traductores poco podian hacer, si alguien mas necesita hacer el cacheo en smoothwall, sigan estos pasos:

entramos a la consola con putty y en la terminal:

crear la carpeta /etc/squid

root$ mkdir /etc/squid

despues creamos el script en perl para cambiar las direcciones

root$ vi /etc/squid/store.pl

lo llenamos con el codigo q nos proporciono el buen Alejandro Gramajo:

#!/usr/bin/perl
$|=1;
while (<>) {
@X = split;
$url = $X[0];
$url =~s!^http://.*?/videoplayback\\?.*id=([^&]+).*!http://v-youtube.INTERNAL/ID=$1!;
print \"$url\\n\";}

ponemos permisos de ejecucion a nuestro script

root$ chmod 755 /etc/squid/store.pl

Ahora editamos el archivo de configuracion alterno de nuestro Smoothwall

root$ vi /var/smoothwall/proxy/advanced/acls/include.acl

y lo llenamos con el codigo:

storeurl_rewrite_program /etc/squid/store.pl
acl store_rewrite_list urlpath_regex get_video\\? videoplayback\\? videodownload\\?
storeurl_access allow store_rewrite_list
storeurl_access deny all
cache allow store_rewrite_list

acl QUERY2 urlpath_regex get_video\\? videoplayback\\? videodownload\\?
cache allow QUERY2

refresh_pattern get_video\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videoplayback\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videodownload\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
minimum_object_size 512 bytes
maximum_object_size_in_memory 32 KB
range_offset_limit -1
maximum_object_size 200 MB
quick_abort_min -1

Ahora solo reiniciamos el servicio de Advanded web proxy desde la interface web y listo!

Y como peticion podrias colocar los demas sitios q mencionas, sobre todo los xxx … gracias y saludos

Ariel says:

Gracias… Ya lo solucione.. era un espacio en el scripts, que no debia estar.

jesus says:

Hola he estado probando el script y ha funcionado bien, salvo el detalle que al parecer los videos expiran en algunos días, pero si me está ahorrando algo de tráfico; tengo una duda, yo al menos me entiendo razonablemente bien con la línea de comandos, pero no se programación viendo en los foros de smoothwall hay una contribución que hace caché de actualizaciones de windows y antivirus, pongo a continuación el enlace http://community.smoothwall.org/forum/viewtopic.php?f=26&t=23480 , y entiendo que squid no soporta más de un redirector, al menos en smoothwall; habrá alguna forma de combinar ambos códigos, para así poder cachear youtube y actualizaciones en forma simultánea? En verdad que esto sería fabuloso.
Saludos!!

jorge villafuerte says:

en ubuntu server como haria para hacer cache de videos una ayuda estoy verde

rcpimeki says:

Hola, me sale esteos mensajes:
2010/04/07 17:17:07| cache_cf.cc(346) squid.conf:128 unrecognized: ‘storeurl_rewrite_program’
2010/04/07 17:17:07| cache_cf.cc(346) squid.conf:130 unrecognized: ‘storeurl_access’
2010/04/07 17:17:07| cache_cf.cc(346) squid.conf:131 unrecognized: ‘storeurl_access’

Tengo Debian 5 y squid3 Version 3.0.STABLE8

ya hice
# chmod a+x /etc/squid3/store.pl

# perl -c /etc/squid3/store.pl
/etc/squid3/store.pl syntax OK

hay que instalar algo adicional?

Diego says:

Hola Ale

Gracias por tu valiosa información, sabes que he estado ampliando el script de perl, con el fin de almacenar en la cache, videos de otras webs; por tanto, he desarrollado uno que detallo a continuaciòn y de la misma manera, quisiera conocer tus comentarios acerca de este emprendimiento.

Lo he probado colocando variables estaticas, con links de diferentes sitios, dando resultados satisfactorios a nivel del script.

!——————————————————— 0 ———————————————————!

#!/usr/bin/perl
$|=1;
while () {
@X = split;
$url = $X[0];
if ($url =~ /([0-9A-Za-z_+]*\.flv)/) {
$url =”http://v-proxy.INTERNAL/ID=$1″;
print “$url \n”;
#print “$1 \n”;
}
elsif ($url =~ /(get_video|videodownload|videoplayback)?/) {
if ($url =~ /.*id=([^&]+).*/) {
$url = “http://v-proxy.INTERNAL/ID=$1″;
print “$url \n”;
#print “$1 \n”;
}
}
else {
print $x . $_ . “\n”;
}
}

!——————————————————— 0 ———————————————————!

Como se puede apreciar el script es bastante generico, es decir, que se podria cachear todo lo referente a videos de cualquier sitio, si tienen esa sintaxis (casi la mayoria)… Por tanto, si se requiere colocar seguridad unicamente para cachear ciertos dominios, lo pueden controlar en el fichero squid.conf con la ACL dstdomain.

Saludos Cordiales.

ardilla says:

Buenas a tod@s,
tengo una duda tras leer esto, que por un lado me viene bien, pero otro lado me gustaria saber si hay forma de guardar en el log del Squid las URL de los videos visitados…

me gustaria tener un registro de los videos que se han visto pero por defecto eso no puedo verlo en el log.

Conoceis algun modo??

salu2

kakasi says:

Podrian ayudarme para hacer trabjar esto en windows usando el cygwin y el squid 2.7 stable 8 (version windows) ???? Estoy en las nubes .

kakasi says:

Por cierto , para hacerlo funcionar en windows puse esta linea

storeurl_rewrite_program C:/cygwin/bin/perl.exe C:/cygwin/usr/local/bin/store.pl

Funciona, pero no se si fue la opcion mas optima, como dije antes estoy en las nubes .

elbrutox says:

Se puede usar refresh_pattern con acls ?

Algo asi quiero hacer

acl static_images urlpath_regex -i \.(jpg|jpeg|gif|png)$
cache allow static_images
refresh_pattern static_images 0 20% 4320

Percy SE says:

Chino,
muy interesante, y dime en Squidnt como sería, bueno si no es mucha molestia

Ariel says:

Funciona esto con squid 3.1 ?? alguien lo ha probado ?

Emanuel (Wolverine) says:

Muy bueno la verdad es que justo con mi hermano estabamos haciendo un servidor para la cache de youtube

azzaro says:

buenas, estoy probando un server con centos y squid 3, el cual me permite cachar bastante bien, pero al poner las lineas de la configuracion para obtener los videos de youtube en el conf(previamente fue creado el store.pl) este servicio se detiene. Tengo habilitadas las acl mynetwork, alguien me podria dar una ayuda?

AF says:

Ya lo solucione,, agregando un \";\" .. sin las comillas al final de cada linea

ahora es normal que me aparezacan tantos procesos del store.pl , casi 100 tengo y el cpu,, me lo esta matando

AF says:

Gracias,, por tu ayuda,, lo voy a probar,, consulta

Esta solucion es la misma que hay en el sitio de squid ?
http://wiki.squid-cache.org/ConfigExamples/DynamicContent/YouTube
me refiero codigo del store.

AF says:

Este codigo que vos pones en el sitio ,, cachea (YouTuve, Google, Metacafe, Dailymotion, Vimeo, Soapbox, BlipTV, Break, TV Uol, etc) ?

AF says:

consulta?,, ustedes venden el codigo que cache lo demas ?

AF says:

ahhh ok..
gracias,, lo voy a tener en cuenta,, no se porque pero no puedo ingresar el codigo en lusca,,
storeurl_rewrite_program /etc/squid/store.pl
acl store_rewrite_list urlpath_regex get_video\\? videoplayback\\? videodownload\\?
storeurl_access allow store_rewrite_list
storeurl_access deny all
cache allow store_rewrite_list

acl QUERY2 urlpath_regex get_video\\? videoplayback\\? videodownload\\?
cache allow QUERY2

refresh_pattern get_video\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videoplayback\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
refresh_pattern videodownload\\? 10080 90% 999999 override-expire ignore-no-cache ignore-private
minimum_object_size 512 bytes
maximum_object_size_in_memory 32 KB
range_offset_limit -1
maximum_object_size 200 MB
quick_abort_min -1

me devuelve

parse_refreshpattern: Unknown option ‘get_video\?’: override-expire
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘get_video\?’: ignore-no-cache
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘get_video\?’: ignore-private
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videoplayback\?’: override-expire
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videoplayback\?’: ignore-no-cache
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videoplayback\?’: ignore-private
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videodownload\?’: override-expire
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videodownload\?’: ignore-no-cache
2010/08/05 15:24:02| parse_refreshpattern: Unknown option ‘videodownload\?’: ignore-private

Willi says:

Me parece muy buen aporte, pero tengo instalado Ferdora 12 con Squid 3.1 y no me funciona, tendras la solucion para esta version. Gracias

carlos says:

Que recomeindan usar ? Squid o Varnish ? Cual es el que tiene un mejor desempeño ? ambos son multiplataforma (windows / Linux) ?

Carlos says:

Esto todavia funciona ? Porque he intentado pero no cachea .

Diego says:

Hola Alejandro!

Gracias por tu aporte, quisiera que me ayudes por favor. Sabes yo lo aplique con Python, pero no me esta funcionando bien, me puedes ayudar a depurar este script por favor. Si tienes el script anterior en python, te agradecería mucho.

Saludos.

—————————————————————————————————————————
#!/usr/bin/env python

import re
import sys
import urlparse

playback_re = re.compile(r\^http://.*youtube.com/videoplayback?.*$\)

def parseParams(url):
params = {}
for i in urlparse.urlsplit(url)[3].split(\&\):
if \=\ in i:
n, p = i.split(\=\, 1)
params[n] = p
return params

while True:
line = sys.stdin.readline()
try:
channel, url = line[0]
matched = False

if playback_re.match(url):
params = parseParams(url)
if ‘itag’ in params:
new_url = \http://srv.youtube.SQUIDINTERNAL/videoplayback?id=%s&itag=%s\ % (params['id'], params['itag'])
print channel, new_url
else:
new_url = \http://srv.youtube.SQUIDINTERNAL/videoplayback?id=%s\ % (params['id'])
print channel, new_url
matched = True

if matched == \False\:
print channel, url

except Exception:
print line

sys.stdout.flush()

—————————————————————————————————————————

Luis CArlos says:

Hola Alejnadro Gamajo, he estado usand esta solución para cachear videos de youtube y ha funcionado muy bien. Quiero decirles a lso que no le sale que sigan intentado y no se rindan, en comentarios más abajo varias personas dan solución a posibles errores. SIn embargo hace una semana aprox ya no cachea casi ningún video, sale el mensaje “error viendo el video, intente de nuevo mas tarde”. T epedidría que porfavro des una actualización al código para seguir utilizando este script muy bueno. Saludos.

Guillermo says:

El codigo funciona de maravilla, gracias por compartirlo ya que ahorro mucho en ancho de banda, solo tengo un problema y es que no me cachea sino youtube, no lo hace con .exe ni con .cab o .jpg, que podria hacer ??, muchas gracias.

Slim says:

Excelente solo le falto colocar al inicio esto…. (http|https) asi toma los videos que pasan por https tambien