Acessando os dados da Tabela Fipe com Pentaho Data Integration

Autor: Rafael Arruda (Linkedin)

Já tinha comentado com alguns colegas, que o Pentaho Data Integration, era muito mais que apenas um software open source para ETL, claro que já estaria de bom tamanho, só que quanto mais você trabalha mais o PDI amplia seus horizontes.

Estava trabalhando com uma base de automóveis e tinha a quantidade de venda por modelo de uma montadora, porém, não tinha o valor de cada carro, então tive a ideia de como conseguir o valor de venda dos carros, na Tabela Fipe.

Documentação da API da tabela Fipe

Documentação da API: http://fipeapi.appspot.com/

No Pentaho, acessar API é bem fácil, basta respeitar os seguintes passos:

  • Informar a url da API;
  • Informar o tipo de dados que está retornando na url como Json, csv, XML entre outros;
  • Usar o input correto para o tipo de dados que esta retornando;
  • Depois tratar os dados e carregar ele no banco de dados ou em uma planilha;

Pronto! Agora você já sabe como trazer os dados e consolidar a informação com os seus dados atuais.

Dados que foram lidos da transformação acima

Ao todo serão 4 api´s que serão utilizadas e todas terão o mesmo fluxo, o que muda é que quanto mais dados, mais aumenta o trabalho de tratamento das informações.

Segue o processo completo:

Em tese, utilizei os mesmos steps da primeira imagem. O que mudou é que substitui e concatenei alguns campos para formar a url de forma automática.

Dados que retornou da api de carros:

Dados que retornou da api detalhada de carros:

Espero que esse exemplo possa te ajudar a entender que hoje as empresas tem diversas fontes de dados e que o PDI é uma ótima ferramenta para consolidar todas essas informações que são geradas todos os dias.

Esta pensando em vender seu carro? Consulte api da tabela Fipe, boas análises e bons negócios.

1 Comentário

Faça um comentário