Tenho visto muitas mensagens sobre isso, mas não muitas respostas úteis.
Como estou iniciando um projeto sobre isso, pensei em detalhar o projeto conforme ele acontece, pois pode ajudar os outros.
Estamos migrando nosso Data Warehouse para o Amazon Redshift. Estamos usando Data Services para carregar os dados e Webbi para executar relatórios a partir dele.
Vou começar pelo que já fiz.
Em primeiro lugar, tentar carregar dados diretamente no Redshift é muito lento e não recomendo, nem é a forma sugerida de fazê-lo. Você quer incorporar o Amazon S3 como ponto de partida.
A última versão do DS 4.2 tem um driver nativo para o S3. Configure um bucket e comece sua carga lá. Estamos usando CDC, então estamos carregando nossos dados alterados no S3. A diferença entre isso e o ODBC no Redshift foi a seguinte. Talvez 100 linhas por segundo com sorte no ODBC. 300.000 a 400.000 por segundo no S3. Uma vez que os dados estiverem lá, você pode configurá-los para copiar para o Redshift de dentro da Amazon. Se tudo o que você quer é levar os dados para o Redshift, então aqui você terminou e funciona muito bem. Além disso, o S3 não é muito caro.
Se você está usando o Redshift como seu Data Warehouse, continue lendo.
Uma vez que os dados estiverem no S3, copie-os para o Redshift. Fizemos isso e funciona bem.
Estou no processo de obter o ODBC da SAP que vem com as ferramentas de BI, já que o ODBC nativo do Redshift não é 100% compatível (o que significa que nem tudo no DS funciona através dele).
Espero que com o ODBC da SAP isso melhore. Meu objetivo é poder executar todo o SQL para não ter que hospedar o DS na Amazon. Adicionarei mais informações depois de ter testado esta parte.
