Engenharia de Dados

Não é novidade que o cientista de dados é umas das profissões mais procuradas hoje em dia, eles aliam programação, estatística e conhecimento de negócios para obter incites sobre negócios, aumentando a eficiência deste, essas habilidades não são muito comuns principalmente no Brasil, o que acaba elevando muito seus salários consideravelmente para os profissionais da área, o que é justificado pois a ciência de dados pode gerar um enorme valor para as empresas.

Porém, para que o cientista de dados faça seu trabalho ele precisa visualizar muitos dados. Geralmente as empresas tem um oceano de dados ás vezes escondidos em seus servidores, em logs, aplicações, redes sociais ou até mesmos digitalizados. Porém os dados devem ser coletados, organizados e deve-se implementar uma infraestrutura para que o cientista de dados possa trabalhar de forma eficiente. É aí que entra o trabalho dos engenheiros de dados.

Os engenheiros de dados são responsáveis pela criação do pipeline, que transformam dados brutos que estão nos mais variados formatos, em um formato que permita o cientista de dados fazer seu trabalho, além de manter a pipeline em funcionamento para obter os dados na hora certa e com o nível de segurança exigido pela empresa. O engenheiro de dados é tão importante quanto o cientista de dados, porém, são recebe a mesma visibilidade por estar longe do produto final do resultado das análises.

Algumas atribuições ao engenheiro de dados são:

Transformações de dados

• Processamento paralelo
• Integração de sistemas heterogêneos
• Construir aplicações escaláveis
• Análise de performance
• Arquitetar sistemas distribuídos
• Criar pipelines confiáveis
• Combinar fontes de dados
• Criar a arquitetura de soluções
• Colaborar com a equipe de Data Science e construir as soluções certas para essas equipes

Algumas das ferramentas utilizadas pelo engenheiro de dados são o Hadoop e Spark, algumas linguagens são Scala e Python. Os engenheiros de dados podem ser classificados como generalistas, centrado no pipeline e baseado em banco de dados.

Fontes:

https://www.napratica.org.br/o-que-os-engenheiros-de-dados-fazem/

https://www.youtube.com/watch?v=1SNoNTaWFIo

http://datascienceacademy.com.br/blog/o-que-faz-um-engenheiro-de-dados/