Diferencia entre revisiones de «Hadoop»
(Página creada con «=Introducción= Documento con apuntes sobre mi investigación sobre que es hadoop y como instalarlo. Viene de la necesidad en mi curro de instalar un sistema de procesado d...») |
|||
| Línea 6: | Línea 6: | ||
= Instalación = | = Instalación = | ||
== Preparación == | == Preparación == | ||
| − | Antes de nada he tenido que instalar Java 1.6.x (segun la documentación, preferiblemente desde SUN). Para descargarlo desde esta [http://www.oracle.com/technetwork/java/javase/downloads/index.html página] | + | Antes de nada he tenido que instalar Java 1.6.x (segun la documentación, preferiblemente desde SUN). Para descargarlo desde esta [http://www.oracle.com/technetwork/java/javase/downloads/index.html página]. Me lo he descargado a /opt/src, y después lo he ejecutado poniendo '''sh /opt/src/jre-6u33-linux-x64.bin'''. Esto descomprime el binario y lo deja en /opt/src/jre1.6.0_33 y yo lo he movido a /opt/jre1.6.0_33. Además creo un enlace dentro del propio /opt con '''ln -s /opt/jre1.6.0_33 java'''. |
| + | |||
| + | Tambien he añadido al fichero /root/.bashrc las siguientes líneas | ||
| + | |||
| + | <pre> | ||
| + | export JAVA_HOME=/opt/java | ||
| + | export PATH=$PATH:$JAVA_HOME/bin | ||
| + | </pre> | ||
| + | |||
| + | Comprobamos que tenemos el paquete ssh y sshd en el servidor | ||
| + | |||
| + | == Descarga == | ||
| + | Nos descargamos el hadoop. Para ello vamos a esta [http://hadoop.apache.org/core/releases.html página] para descargarnos la versión estable actual. | ||
| + | |||
| + | En primer lugar me he bajado la versión estable en RPM para 64 bits. Me la he descargado en el directorio /opt/src. Después lo he instalado con rpm: '''rpm -i hadoop-1.0.3-1.x86_64.rpm''' | ||
| + | |||
| + | == Configuración previa == | ||
| + | Antes de arrancar nada, nada más instalar el rpm, editamos el fichero /etc/hadoop/hadoop-env.sh. Comprobamos que hace un export a la ubicación de java correcta (/opt/java) | ||
| + | |||
| + | Si ejecutamos '''/usr/bin/hadoop''', nos dará información de como arrancar el proceso de hadoop. | ||
Revisión de 10:22 1 ago 2012
Contenido
Introducción
Documento con apuntes sobre mi investigación sobre que es hadoop y como instalarlo. Viene de la necesidad en mi curro de instalar un sistema de procesado distribuido de ciertos ficheros de log.
Enlaces de interes
Instalación
Preparación
Antes de nada he tenido que instalar Java 1.6.x (segun la documentación, preferiblemente desde SUN). Para descargarlo desde esta página. Me lo he descargado a /opt/src, y después lo he ejecutado poniendo sh /opt/src/jre-6u33-linux-x64.bin. Esto descomprime el binario y lo deja en /opt/src/jre1.6.0_33 y yo lo he movido a /opt/jre1.6.0_33. Además creo un enlace dentro del propio /opt con ln -s /opt/jre1.6.0_33 java.
Tambien he añadido al fichero /root/.bashrc las siguientes líneas
export JAVA_HOME=/opt/java export PATH=$PATH:$JAVA_HOME/bin
Comprobamos que tenemos el paquete ssh y sshd en el servidor
Descarga
Nos descargamos el hadoop. Para ello vamos a esta página para descargarnos la versión estable actual.
En primer lugar me he bajado la versión estable en RPM para 64 bits. Me la he descargado en el directorio /opt/src. Después lo he instalado con rpm: rpm -i hadoop-1.0.3-1.x86_64.rpm
Configuración previa
Antes de arrancar nada, nada más instalar el rpm, editamos el fichero /etc/hadoop/hadoop-env.sh. Comprobamos que hace un export a la ubicación de java correcta (/opt/java)
Si ejecutamos /usr/bin/hadoop, nos dará información de como arrancar el proceso de hadoop.
