Ver el código de «Wget mirror»

== Introducción ==
A raiz de la necesidad de replicar el repositorio de nodejs en un servidor interno (porque las máquinas que van a instalar paquetes no tienen acceso a internet) se me ocurrió buscar información sobre como hacer un mirror con WGET de un site remoto

== Comando ==

El comando final que he usado es

<pre>
wget -e robots=off --mirror -nH --no-parent --reject="index.html*" -I /dist/v0.10.0/ https://nodejs.org/dist/v0.10.0/
</pre>

La explicación es la siguiente:

con el -e robots=off desactivamos la lectura del fichero robots, que impecía que pudiera hacer el mirror sobre el directorio /dist

--mirror  atajo para -N -r -l inf --no-remove-listing,

estos parámetros son:

-N para que no se descargue el fichero si el de origen no es mas nuevo que el destino
-r para que sea recursivo en los enlaces
-l inf, para profundidad infinita
-no-remove-listing, para no borrar los ficheros .listing


Además, a nuestro comando añadimos los siguientes parámetros:

-nH, para que en el directorio de destion no incluya un directorio padre con el nombre del host

--no-parent, supestamente no asciende al directorio raiz para descargarse contenido, pero no me ha funcionado del todo

--reject="index.html*", no se descarga los ficheros index.html*, ya que ese fichero es el que nos devuelve con la lista de ficheros, y realmente no existe, es por así decirlo virtual. De esta forma se borra

-I /dist/v0.10.0/ solo nos copia los enlaces que cumplan con ese patron, así evitamos descargar enlaces de fuera de este patron o del directorio padre


== Script de automatizacion ==
Si quisieramos descargar ciertos directorios de un repo remoto, podrías aplicar un script como el siguiente:

<pre>
#!/bin/bash
INPUT_URI='https://nodejs.org'
INCLUDE_DIRS_FILE='repoclone.include'

for INCLUDE_DIR in $(cat $INCLUDE_DIRS_FILE); do
  wget -e robots=off --mirror -nH --no-parent --reject="index.html*" -I $INCLUDE_DIR/ $INPUT_URI/$INCLUDE_DIR/
done
</pre>

En este script se hace referencia a un fichero '''repoclone.include''' donde tendremos que ir añadiendo los path de los directorios que queremos clonar.