Autor: Rafael Arruda (Linkedin)
Já tinha comentado com alguns colegas, que o Pentaho Data Integration, era muito mais que apenas um software open source para ETL, claro que já estaria de bom tamanho, só que quanto mais você trabalha mais o PDI amplia seus horizontes.
Estava trabalhando com uma base de automóveis e tinha a quantidade de venda por modelo de uma montadora, porém, não tinha o valor de cada carro, então tive a ideia de como conseguir o valor de venda dos carros, na Tabela Fipe.
Documentação da API da tabela Fipe
Documentação da API: http://fipeapi.appspot.com/
No Pentaho, acessar API é bem fácil, basta respeitar os seguintes passos:
- Informar a url da API;
- Informar o tipo de dados que está retornando na url como Json, csv, XML entre outros;
- Usar o input correto para o tipo de dados que esta retornando;
- Depois tratar os dados e carregar ele no banco de dados ou em uma planilha;
Pronto! Agora você já sabe como trazer os dados e consolidar a informação com os seus dados atuais.
Dados que foram lidos da transformação acima
Ao todo serão 4 api´s que serão utilizadas e todas terão o mesmo fluxo, o que muda é que quanto mais dados, mais aumenta o trabalho de tratamento das informações.
Segue o processo completo:
Em tese, utilizei os mesmos steps da primeira imagem. O que mudou é que substitui e concatenei alguns campos para formar a url de forma automática.
Dados que retornou da api de carros:
Dados que retornou da api detalhada de carros:
Espero que esse exemplo possa te ajudar a entender que hoje as empresas tem diversas fontes de dados e que o PDI é uma ótima ferramenta para consolidar todas essas informações que são geradas todos os dias.
Esta pensando em vender seu carro? Consulte api da tabela Fipe, boas análises e bons negócios.
O link nao esta funcionando