Aprende en Comunidad
Avalados por :
Como instalar Apache Hadoop e Apache Hive no Windows 10 com o SAP HANA Studio: Guia passo a passo
- Creado 01/03/2024
- Modificado 01/03/2024
- 97 Vistas
0
Cargando...
Este artigo destina-se a quem estiver interessado em aprender como instalar o Apache™ Hadoop®, o data warehouse Apache Hive™ no Bash Shell do Windows 10 e, em seguida, conectar o SAP HANA ao Apache Hive™ através do SAP HANA Studio usando o SDA (Smart Data Access).
O objetivo aqui é utilizar o Hadoop e o Hive em uma máquina local com Linux aproveitando a Atualização de Aniversário do Windows 10 como uma alternativa a uma instância de Linux na Nuvem.
Principal vantagem : Ter o meu próprio sistema Ubuntu Linux pronto para uso com o Windows 10 e sem me preocupar com custos adicionais pelo uso da instância. Sim!
Não vou discutir a instalação do Hadoop e do Hive neste post. Caso contrário, seria muito longo. No entanto, acredito que vale a pena fazer um segundo post compartilhando minha instalação, que, aliás, é ligeiramente diferente das instalações convencionais, especialmente ao usar o MySQL 5.7 com o banco de dados de metadados do Hive. Também tive problemas com o HiveServer2 (ou HS2) e a porta 10000 que precisa estar aberta e ouvindo para as instruções SQL. Também compartilharei minha instalação do SAP HANA One e a configuração do SDA. Também falarei sobre os conectores ODBC do HIVE que utilizei em meu cenário. Tudo isso em um novo post.
Por enquanto, explicarei os conceitos básicos da instalação do Bash no Windows 10, seguido pela configuração para permitir conexões externas, como SAP HANA ONE na Nuvem.
Os passos são:
Então, vamos começar!
Há muitas informações por aí sobre como fazer isso. Não vou perder tempo explicando aqui. Use o seguinte link para mais informações:
https://msdn.microsoft.com/en-us/commandline/wsl/install_guide
Agora, a instalação oficial é a 14.04 trusty. No entanto, atualizei a minha para o Ubuntu 16.04 LTS (xenial). Isso é para corrigir a instalação do MySQL. Eu uso o MySQL com o Hive.
Você pode verificar a versão usando o seguinte comando no bash: $ lsb_release -a
Novamente, há muitas informações por aí. Se você está começando, sugiro atualizar para 16.04 assim que concluir a instalação regular.
Dica : Antes da atualização, alterei "/etc/sudoers" da seguinte forma:
Isso é para evitar o erro tty ao usar sudo mais tarde. Na minha instalação, uso ffaian como usuário do Bash. Nesse caso, nunca preciso usar "sudo -l" ou "sudo su" para obter acesso de root . Tudo o que faço, faço usando sudo no início do meu comando bash
http://www.omgubuntu.co.uk/2016/08/upgrade-bash-windows-10-ubuntu-16-04-lts
Passos que executei:
Para evitar o problema do tty do sudo e outros, execute esses comandos imediatamente antes de executar o do-release-upgrade
O objetivo aqui é utilizar o Hadoop e o Hive em uma máquina local com Linux aproveitando a Atualização de Aniversário do Windows 10 como uma alternativa a uma instância de Linux na Nuvem.
Principal vantagem : Ter o meu próprio sistema Ubuntu Linux pronto para uso com o Windows 10 e sem me preocupar com custos adicionais pelo uso da instância. Sim!
Não vou discutir a instalação do Hadoop e do Hive neste post. Caso contrário, seria muito longo. No entanto, acredito que vale a pena fazer um segundo post compartilhando minha instalação, que, aliás, é ligeiramente diferente das instalações convencionais, especialmente ao usar o MySQL 5.7 com o banco de dados de metadados do Hive. Também tive problemas com o HiveServer2 (ou HS2) e a porta 10000 que precisa estar aberta e ouvindo para as instruções SQL. Também compartilharei minha instalação do SAP HANA One e a configuração do SDA. Também falarei sobre os conectores ODBC do HIVE que utilizei em meu cenário. Tudo isso em um novo post.
Por enquanto, explicarei os conceitos básicos da instalação do Bash no Windows 10, seguido pela configuração para permitir conexões externas, como SAP HANA ONE na Nuvem.
Os passos são:
- Instalação do Bash no Ubuntu no Windows 10 e atualização para LSW com Ubuntu 16.04
- Serviço SSH
- Encaminhamento de portas
Então, vamos começar!
1. Instalação do Bash no Ubuntu no Windows 10
Há muitas informações por aí sobre como fazer isso. Não vou perder tempo explicando aqui. Use o seguinte link para mais informações:
https://msdn.microsoft.com/en-us/commandline/wsl/install_guide
Agora, a instalação oficial é a 14.04 trusty. No entanto, atualizei a minha para o Ubuntu 16.04 LTS (xenial). Isso é para corrigir a instalação do MySQL. Eu uso o MySQL com o Hive.
Você pode verificar a versão usando o seguinte comando no bash: $ lsb_release -a
| Versão Trusty por padrão (Atualização de Aniversário do Windows) | Ubuntu 16.04 (atualizada) |
|
Não há módulos LSB disponíveis.
ID do Distribuidor: Ubuntu Descrição: Ubuntu 14.04.5 LTS Versão: 14.04 Nome de código: trusty |
Não há módulos LSB disponíveis.
ID do Distribuidor: Ubuntu Descrição: Ubuntu 16.04.1 LTS Versão: 16.04 Nome de código: xenial |
Novamente, há muitas informações por aí. Se você está começando, sugiro atualizar para 16.04 assim que concluir a instalação regular.
Dica : Antes da atualização, alterei "/etc/sudoers" da seguinte forma:
|
# Permitir que os membros do grupo sudo executem qualquer comando
%sudo ALL=(ALL:ALL) ALL ffaian ALL=(ALL:ALL) ALL |
Isso é para evitar o erro tty ao usar sudo mais tarde. Na minha instalação, uso ffaian como usuário do Bash. Nesse caso, nunca preciso usar "sudo -l" ou "sudo su" para obter acesso de root . Tudo o que faço, faço usando sudo no início do meu comando bash
http://www.omgubuntu.co.uk/2016/08/upgrade-bash-windows-10-ubuntu-16-04-lts
Passos que executei:
Para evitar o problema do tty do sudo e outros, execute esses comandos imediatamente antes de executar o do-release-upgrade
|
sudo -S apt-mark hold sudo
sudo 
Pedro Pascal
Se unió el 07/03/2018
Facebook
Twitter
Pinterest
Telegram
Linkedin
Whatsapp
Sin respuestas
No hay respuestas para mostrar
Se el primero en responder
contacto@primeinstitute.com
(+51) 1641 9379 © 2024 Copyright. Todos los derechos reservados. Desarrollado por Prime Institute
Hola ¿Puedo ayudarte?
|
