Aprende en Comunidad
Avalados por :
Cómo instalar Apache Hadoop y Apache Hive en Windows 10 con SAP HANA Studio: Guía paso a paso
- Creado 01/03/2024
- Modificado 01/03/2024
- 218 Vistas
0
Cargando...
Este artículo es para aquellos interesados en aprender cómo instalar Apache™ Hadoop®, Apache Hive™ data warehouse en el Bash Shell de Windows 10. Luego conectar SAP HANA con Apache Hive™ a través de SAP HANA Studio usando SDA (Smart Data Access).
El objetivo aquí es utilizar Hadoop y Hive en una máquina local con Linux aprovechando la Actualización de Aniversario de Windows 10 como una alternativa a una instancia de Linux en la Nube.
Ventaja principal : Tener mi propio sistema Ubuntu Linux listo para usar con Windows 10 y sin preocuparme por costos adicionales por el uso de la instancia. ¡Sí!
No discutiré la instalación de Hadoop y Hive en esta publicación. De lo contrario, sería demasiado largo. Sin embargo, creo que vale la pena hacer una segunda publicación compartiendo mi instalación, que por cierto es ligeramente diferente de las instalaciones convencionales, especialmente al usar MySQL 5.7 con la base de datos de metastore de Hive. También tuve problemas con HiveServer2 (o HS2) y el Puerto 10000 que necesita estar abierto y escuchando para las declaraciones SQL. También compartiré mi instalación de SAP HANA One y la configuración de SDA. También hablaré sobre los conectores ODBC de HIVE que utilicé en mi escenario. Todo eso en una nueva publicación.
Por ahora, explicaré los conceptos básicos de la instalación de Bash en Windows 10, seguido por la configuración para permitir conexiones externas, como SAP HANA ONE en la Nube.
Los pasos son:
Así que, ¡comencemos!
Hay mucha información por ahí sobre cómo hacerlo. No perderé tiempo explicándolo aquí. Utiliza el siguiente enlace para obtener más información:
https://msdn.microsoft.com/en-us/commandline/wsl/install_guide
Ahora, la instalación oficial es la 14.04 trusty. Sin embargo, actualicé la mía a Ubuntu 16.04 LTS (xenial). Esto es para corregir la instalación de MySQL. Utilizo MySQL con Hive.
Puedes verificar la versión usando el siguiente comando en bash: $ lsb_release -a
Nuevamente, puedes encontrar mucha información por ahí. Si estás empezando, te sugiero actualizar a 16.04 tan pronto como completes la instalación regular.
Consejo : Antes de la actualización, cambié "/etc/sudoers" de la siguiente manera:
Esto es para evitar el error tty al usar sudo más adelante. En mi instalación, uso ffaian como usuario de Bash. En este caso, nunca necesito usar "sudo -l" o "sudo su" para obtener acceso de root . Todo lo que hago, lo hago usando sudo al principio de mi comando de bash
http://www.omgubuntu.co.uk/2016/08/upgrade-bash-windows-10-ubuntu-16-04-lts
Pasos que realicé:
Para evitar el problema de tty de sudo y otros, ejecuta estos comandos justo antes de ejecutar do-release-upgrade
El objetivo aquí es utilizar Hadoop y Hive en una máquina local con Linux aprovechando la Actualización de Aniversario de Windows 10 como una alternativa a una instancia de Linux en la Nube.
Ventaja principal : Tener mi propio sistema Ubuntu Linux listo para usar con Windows 10 y sin preocuparme por costos adicionales por el uso de la instancia. ¡Sí!
No discutiré la instalación de Hadoop y Hive en esta publicación. De lo contrario, sería demasiado largo. Sin embargo, creo que vale la pena hacer una segunda publicación compartiendo mi instalación, que por cierto es ligeramente diferente de las instalaciones convencionales, especialmente al usar MySQL 5.7 con la base de datos de metastore de Hive. También tuve problemas con HiveServer2 (o HS2) y el Puerto 10000 que necesita estar abierto y escuchando para las declaraciones SQL. También compartiré mi instalación de SAP HANA One y la configuración de SDA. También hablaré sobre los conectores ODBC de HIVE que utilicé en mi escenario. Todo eso en una nueva publicación.
Por ahora, explicaré los conceptos básicos de la instalación de Bash en Windows 10, seguido por la configuración para permitir conexiones externas, como SAP HANA ONE en la Nube.
Los pasos son:
- Instalación de Bash en Ubuntu en Windows 10 y actualización a LSW con Ubuntu 16.04
- Servicio SSH
- Reenvío de puertos
Así que, ¡comencemos!
1. Instalación de Bash en Ubuntu en Windows 10
Hay mucha información por ahí sobre cómo hacerlo. No perderé tiempo explicándolo aquí. Utiliza el siguiente enlace para obtener más información:
https://msdn.microsoft.com/en-us/commandline/wsl/install_guide
Ahora, la instalación oficial es la 14.04 trusty. Sin embargo, actualicé la mía a Ubuntu 16.04 LTS (xenial). Esto es para corregir la instalación de MySQL. Utilizo MySQL con Hive.
Puedes verificar la versión usando el siguiente comando en bash: $ lsb_release -a
| Versión Trusty por defecto (Actualización de Aniversario de Windows) | Ubuntu 16.04 (actualizada) |
|
No hay módulos LSB disponibles.
ID del Distribuidor: Ubuntu Descripción: Ubuntu 14.04.5 LTS Versión: 14.04 Nombre en clave: trusty |
No hay módulos LSB disponibles.
ID del Distribuidor: Ubuntu Descripción: Ubuntu 16.04.1 LTS Versión: 16.04 Nombre en clave: xenial |
Nuevamente, puedes encontrar mucha información por ahí. Si estás empezando, te sugiero actualizar a 16.04 tan pronto como completes la instalación regular.
Consejo : Antes de la actualización, cambié "/etc/sudoers" de la siguiente manera:
|
# Permitir a los miembros del grupo sudo ejecutar cualquier comando
%sudo ALL=(ALL:ALL) ALL ffaian ALL=(ALL:ALL) ALL |
Esto es para evitar el error tty al usar sudo más adelante. En mi instalación, uso ffaian como usuario de Bash. En este caso, nunca necesito usar "sudo -l" o "sudo su" para obtener acceso de root . Todo lo que hago, lo hago usando sudo al principio de mi comando de bash
http://www.omgubuntu.co.uk/2016/08/upgrade-bash-windows-10-ubuntu-16-04-lts
Pasos que realicé:
Para evitar el problema de tty de sudo y otros, ejecuta estos comandos justo antes de ejecutar do-release-upgrade
|
sudo -S apt-mark hold sudo
sudo 
Pedro Pascal
Se unió el 07/03/2018
Facebook
Twitter
Pinterest
Telegram
Linkedin
Whatsapp
Sin respuestas
No hay respuestas para mostrar
Se el primero en responder
contacto@primeinstitute.com
(+51) 1641 9379 © 2024 Copyright. Todos los derechos reservados. Desarrollado por Prime Institute
Hola ¿Puedo ayudarte?
|
