No episódio #23 do DadosCast, apresentado por Daniel Luz e Claudio Lima, convidamos Alexandre Varella para discutir sobre como a Engenharia de Dados pode ajudar empresas a tomarem melhores decisões.
Alexandre já foi Engenheiro de Dados na beAnalytic, e hoje trabalha como gerente de TI na L’auto Cargo.
Ao longo do episódio eles exploraram as principais características da Engenharia de Dados, bem como os desafios da área e a importância para a gestão de empresas.
O episódio em áudio está disponível nas principais plataformas de podcast, mas você também pode assistir a esse encontro em vídeo no YouTube.
Gostou desse podcast? Ouça também o episódio anterior: Business Analytics: como usar para melhorar a tomada de decisão empresarial
Quem é o Alexandre Varella e como ele entrou na engenharia de dados
Alexandre Varella é engenheiro de produção formado pela UFRN, e durante sua graduação fez um intercâmbio no Canadá focado na área de computação. Após a graduação passou um tempo como analista de dados, depois engenheiro de dados, e hoje atua como gerente de TI na L’auto Cargo.
Como eu era da engenharia de produção comecei na logística como estagiário, e aí eu tinha facilidade em mexer no Excel e algumas coisas do tipo, e também programação. Aí acabamos criando esse braço lá na empresa de desenvolvimento. – Alexandre Varella
Qual o papel da engenharia de dados nas empresas?
A área de engenharia de dados vem de muitos anos, começando com consultores e analistas que trabalham com negócios há bastante tempo. Basicamente esses profissionais atuavam fazendo uma espécie de engenharia de dados misturada com a parte de análise.
Hoje as ferramentas mudaram um pouco. Antes era utilizado principalmente o Excel para construir bases de dados confiáveis para disponibilizar para os negócios. Hoje utilizamos bancos de dados propriamente ditos, automações, entre outros.
Hoje eu vejo a função do engenheiro de dados bem mais definido, embora ainda tenha um misto com outras atividades, o que depende da maturidade de dados de cada empresa. – Alexandre Varella
Varella vê a engenharia de dados como um viabilizador de negócio. Muitas vezes os gestores e outros operacionais têm dificuldade em acessar os bancos de dados e puxar informações. Muitas vezes também os dados são crus, e a engenharia de dados sanitiza essas informações e as disponibiliza no formato que a empresa necessita.
Atualmente é muito difícil pensar na área de negócios sem a engenharia de dados, pois as empresas hoje produzem uma quantidade gigantesca de informações. Antes, quando havia apenas dois ou três sistemas era mais fácil de lidar, contudo, hoje é necessário analisar métricas e dados de diversas fontes, como as redes sociais da empresa, o site, os sistemas de CRM, entre diversos outros.
Antigamente o Excel fazia a parte de tratamento e visualização de dados, mas hoje já temos diversas plataformas específicas para cada etapa – como por exemplo as ferramentas de visualização Power BI, Qlik, Tableau, Looker.
Quais são os requisitos de um projeto de engenharia de dados?
Primeiramente, é importante ter muito claro quais são os objetivos da empresa com aquele projeto.
Vale a pena ter essas bases de dados bem mapeadas, estruturadas e disponibilizadas pra poder gerar a análise? As vezes você não consegue gerar a análise porque não tem estrutura. Então [na L’auto] a gente olhou esse ponto. Qual o problema estamos tendo pra gerar boas análises? – Alexandre Varella
Para Varella, não adianta fazer análises muito robustas e trazer a ciência de dados se não há uma boa estruturação dos dados.
As maiores dificuldades na implementação de um projeto
Uma das maiores dificuldades encontradas por engenheiros de dados é justamente na parte técnica.
O fato de haverem muitas opções de ferramentas pode acabar causando uma certa confusão no início de um projeto, para entender quais ferramentas de fato são úteis àquela proposta e que trarão os melhores resultados.
Por exemplo, não adianta pagar caro por uma ferramenta muito robusta quando a empresa tem uma demanda de dados baixa, assim como também não vale a pena pagar barato por uma ferramenta que seja deficitária ao executar o projeto.
A engenharia de dados preza muito pela eficiência nos processos, portanto, outro ponto a se prestar atenção é que além de saber qual ferramenta usar, é saber usá-la apropriadamente.
No final, também é importante ter a maleabilidade de entender o momento atual da empresa, sua expertise técnica e seu orçamento para o investimento.
L’auto Cargo x beAnalytic
Em 2022 a beAnalytic realizou um projeto de engenharia de dados e um pouco de Business Intelligence na L’auto Cargo, buscando solucionar alguns gargalos que a empresa tinha.
O projeto que foi tocado pela be teve um resultado enorme na parte de engenharia de dados. Teve todo o processo de estruturação e pipeline dos dados. […]A ideia é que agora as pessoas do nosso time comecem a usar a ferramenta também, pessoas que não tem essa familiaridade com a tecnologia. – Alexandre Varella
À princípio o foco era totalmente na parte de engenharia, contudo o BI foi adicionado para dar maior profundidade às análises da empresa. No geral, Alexandre relata que a estruturação, automações e visualização de dados conseguiu reduzir quase na metade o tempo alocado na gestão dos dados, além de aumentar significativamente a produtividade.
Qual a diferença entre Data Lake e Data Darehouse?
As duas tecnologias atuam como repositório de dados, e podem ser usadas isoladamente ou em conjunto. O Data Lake é um repositório de dados não estruturados, ou seja, dados que não tiveram um tratamento prévio.
O Data Warehouse, por sua vez, serve como um repositório para dados estruturados, que podem ter sido tratados antes ou após serem adicionados ao banco de dados. Para Alexandre, o DW é a opção onde conseguirmos ter acesso à dados mais filtrados e simplificados.