¡Caminando hacia el éxito!

Aprende en Comunidad

Avalados por :

Guia detalhada para migrar um Data Warehouse para o Amazon Redshift com Amazon S3 e DS 4.2

  • Creado 01/03/2024
  • Modificado 01/03/2024
  • 3 Vistas
0
Cargando...

Tenho visto muitas mensagens sobre isso, mas não muitas respostas úteis.

Como estou iniciando um projeto sobre isso, pensei em detalhar o projeto conforme ele acontece, pois pode ajudar os outros.

Estamos migrando nosso Data Warehouse para o Amazon Redshift. Estamos usando Data Services para carregar os dados e Webbi para executar relatórios a partir dele.

Vou começar pelo que já fiz.

Em primeiro lugar, tentar carregar dados diretamente no Redshift é muito lento e não recomendo, nem é a forma sugerida de fazê-lo. Você quer incorporar o Amazon S3 como ponto de partida.

A última versão do DS 4.2 tem um driver nativo para o S3. Configure um bucket e comece sua carga lá. Estamos usando CDC, então estamos carregando nossos dados alterados no S3. A diferença entre isso e o ODBC no Redshift foi a seguinte. Talvez 100 linhas por segundo com sorte no ODBC. 300.000 a 400.000 por segundo no S3. Uma vez que os dados estiverem lá, você pode configurá-los para copiar para o Redshift de dentro da Amazon. Se tudo o que você quer é levar os dados para o Redshift, então aqui você terminou e funciona muito bem. Além disso, o S3 não é muito caro.

Se você está usando o Redshift como seu Data Warehouse, continue lendo.

Uma vez que os dados estiverem no S3, copie-os para o Redshift. Fizemos isso e funciona bem.

Estou no processo de obter o ODBC da SAP que vem com as ferramentas de BI, já que o ODBC nativo do Redshift não é 100% compatível (o que significa que nem tudo no DS funciona através dele).

Espero que com o ODBC da SAP isso melhore. Meu objetivo é poder executar todo o SQL para não ter que hospedar o DS na Amazon. Adicionarei mais informações depois de ter testado esta parte.

Pedro Pascal
Se unió el 07/03/2018
Pinterest
Telegram
Linkedin
Whatsapp

4 Respuestas

0
Cargando...

Um dos grandes benefícios de usar os Serviços de Dados é que todos os conectores estão incluídos gratuitamente. Portanto, ao decidir mudar e transferir seu armazém de dados para outra tecnologia, você não precisará reconstruí-lo do zero. Isso seria muito doloroso. Como já tínhamos nosso Data Warehouse no SQL Server no DS, movê-lo para o redshift através do S3 foi muito fácil e não foi um projeto grande.

Respondido el 15/04/2024
LUCIANO RIOJA GHIOTTO
Se unió el 13/07/2019
0
Cargando...

Olá Mark

Estou trabalhando em um teste de conceito para extrair dados do S/4 Hana para o Red Shift. Havia alguma razão pela qual você não considerou o Matillion para a extração? Foi porque já tinha o SAP BODS funcionando e queria evitar desenvolver a extração novamente no Matillion?

Você pode compartilhar as lições aprendidas do seu projeto? Se tiver uma parte 2 desta integração, por favor, compartilhe comigo.

Poonam

Respondido el 15/04/2024
LUCIANO RIOJA GHIOTTO
Se unió el 13/07/2019
0
Cargando...

Peço desculpas por não ter retornado a isso. Como o S3 não é realmente um banco de dados, mas sim um sistema de arquivos, você verá a conexão para ele em formatos e então criará uma nova localização de arquivo e selecionará o armazenamento na nuvem da Amazon S3 nas localizações de arquivo. Acredito que isso esteja disponível pelo menos desde a versão 4.2 sp6, eu acho. Sei que está disponível há mais de um ano.

Respondido el 15/04/2024
LUCIANO RIOJA GHIOTTO
Se unió el 13/07/2019
0
Cargando...

A forma como foi construído foi gerando os arquivos planos no servidor SAP (você pode ver os arquivos em AL11), configurando o caminho lógico e então a equipe de Basis ajudou a escrever um código para transferir os arquivos do servidor SAP para o S3.

Poonam

Respondido el 15/04/2024
LUCIANO RIOJA GHIOTTO
Se unió el 13/07/2019

contacto@primeinstitute.com

(+51) 1641 9379
(+57) 1489 6964

© 2024 Copyright. Todos los derechos reservados.

Desarrollado por Prime Institute

¡Hola! Soy Diana, asesora académica de Prime Institute, indícame en que curso estas interesado, saludos!
Hola ¿Puedo ayudarte?