Engenharia de Dados – IGTI

MBA

Engenharia de Dados

A pós-graduação tem como objetivo colaborar para a formação do Engenheiro de Dados, abordando conceitos e práticas com os objetivos de projetar e implementar soluções que envolvam dados.

10 meses
13 de maio de 2021
12 de maio de 2021
Consulte

Forme-se um

Engenheiro(a) de Dados

Conduza iniciativas envolvendo o planejamento de soluções integradas, usando diversas tecnologias de gerenciamento de dados disponíveis no mercado, por meio de arquiteturas escaláveis e robustas, garantindo a disponibilidade, segurança, qualidade e confiabilidade dos dados.

Motivos para fazer sua pós no IGTI

O IGTI é referência nacional em Pós-graduação e formação profissional em TI e Tecnologias Emergentes.

93% de Retenção

Taxa de alunos que concluem o curso muito superior à média de mercado para EAD.

100% Interativo

A distribuição dos alunos nas aulas interativas permite maior troca de conhecimento.

85% de Satisfação

Este é o percentual de alunos que avaliam as suas disciplinas com 4 ou 5 estrelas.

Faça seu MBA como um Bootcamp aplicável ao mercado

Estude intercalando disciplinas práticas com atividades do projeto aplicado do curso.
10 meses
BOOTCAMP ENGENHEIRO(A) DE DADOS
BOOTCAMP ENGENHEIRO(A) DE DADOS
148h
O curso vai te habilitar para trabalhar com Engenharia de Dados na construção de pipelines de dados. Conheça as técnicas e tecnologias usadas na construção do pipeline de dados (data flow) que envolvem processos de coleta, preparação, armazenamento e acesso a dados, além da integração e combinação de diferentes fontes de dados. Aprenda a construir e automatizar seu pipeline de dados.
Apresentação, Modelo de Ensino e Normas Acadêmicas
Apresentação, Modelo de Ensino e Normas Acadêmicas
22h
O IGTI - Instituto de Gestão em Tecnologia da Informação. Canais de Atendimento ao Aluno. Modelo de Ensino. Estrutura das disciplinas. Normas Acadêmicas. O Trabalho de Conclusão do Curso – TCC. Visão Geral do Ambiente de Ensino a Distância.
Fundamentos em Engenharia de Dados
Fundamentos em Engenharia de Dados
- Conceitos fundamentais: Dados, fontes de dados, Big Data, tipos de dados;
- Visão geral do pipeline de ciência de dados: coleta, preparação, armazenamento, processamento/análise, visualização;
- Atividades de engenharia do Pipeline de Dados;
- Fundamentos de modelagem de dados;
- Linguagem SQL;
- Visão geral dos processos de coleta, armazenamento e preparação de dados;
- Exemplo prático de coleta, preparação e armazenamento de dados;
- Visão geral em Cloud Computing.
Coleta e Preparação de Dados
Coleta e Preparação de Dados
-Fundamentos da coleta de dados;
-Particularidades dos processos aquisição, extração, ingestão, coleta;
-Coleta de dados em bases de dados (Relacional e NoSQL);
-Coleta de dados via API (Twitter, site de notícias, dados governamentais);
-Coleta de dados via crawler e scraper Manipulando dados desalinhados, inconsistentes e não padronizados;
-Transformação, limpeza, enriquecimento de dados;
-Integração de dados, Tratamento de dados ausentes;
-Categorização e discretização;
-Técnicas de anonimização de dados (LGPD);
-Combinando dados de múltiplas fontes;
-Normalização de Dados;
-Transformação e transferência de dados;
-Ferramentas para preparação de dados;
-Exemplos e práticas de preparação em dados estruturados, semiestruturados e não estruturados;
-Preparação de dados para mineração de texto (n-gramas, remoção de stopwords e normalização morfológica (stemming);
-Estudos de caso.
Novos Paradigmas em Armazenamento de Dados
Novos Paradigmas em Armazenamento de Dados
-SGBDs SQL(relacionais), NoSQL, NewSQL: o que é, diferenças e vantagens, ACID versus Teorema CAP / BASE, Categorias de SGBD NoSQL, Tecnologias existentes;
-Sistemas de arquivo: o que é, vantagens, tecnologias existentes;
-Armazenamento de dados em nuvem: Conceitos de Data Lake, Data Warehouse e Data -Lakehouse;
-Soluções de Data Lake - AWS S3, GCS (Google Cloud) e Azure Blob Storage;
-Soluções de DW - AWS Redshift, Google Big Query e Azure SQL Datawarehouse;
-Engines de Data Lake: Dremio, Trino, Presto;
-Soluções de Armazenamento escalável - Apache Druid, Apache Pinot, ElasticSearch.
Pipelines de Dados
Pipelines de Dados
-Atividades do pipeline de dados: aquisição, transformações, ingestão;
-Visão geral de soluções (plataformas, tecnologias) para extração, ingestão, transformação, armazenamento e análise de dados;
-Fluxo de dados (data flow) ETL/ELT (Extração, Transformação e Carga);
Implementação e automatização de ETL/ELT (data flow): Apache NiFi e Apache -Airflow;
-Pipeline de Dados com Apache Airflow;
-Pipeline de Dados com Apache Nifi;
-Exemplos de Pipeline de Dados em tempo real com Apache Kafka.
Desafio Final
Desafio Final
BOOTCAMP ENGENHEIRO(A) DE DADOS CLOUD
BOOTCAMP ENGENHEIRO(A) DE DADOS CLOUD
148h
Neste curso o aluno vai aprender a conceber, construir, implantar e testar arquiteturas de escaláveis e confiáveis para projetos de dados.
Fundamentos em arquitetura de dados e soluções em Nuvem
Fundamentos em arquitetura de dados e soluções em Nuvem
-Fundamentos em arquitetura de dados;
-Componentes/Elementos de uma arquitetura de dados - o Well Architected Framework;
-Arquitetura de Soluções em Nuvem;
-DataBase as a Service (DBaaS): Modelos e Componentes das plataformas;
-Projetos de repositórios de dados: Data Lake + DW e Data Lakehouse (talvez abordar engines de Data Lake: Dremio, Trino, Presto);
-Uso de ferramentas de IaC (Infrastructure as Code) para implantação automatizada de infraestrutura (Terraform, Terragrunt, Pulumi, Cloud Formation, etc.);
-Introdução a Kubernetes e automatização de containers;
-Arquitetura orientada a eventos (Cloud Watch Triggers, Funções Lambda, APIs com API;
-Arquitetura batch: Uso de ferramentas modernas para orquestração de batch jobs de processamento (Apache Airflow, Prefect);
-Demonstração de plataformas em nuvem: AWS, Google Cloud, Azure.
Processamento de Fluxos Contínuos de Dados
Processamento de Fluxos Contínuos de Dados
-Stream Processing Applications;
-Arquitetura de sistemas de stream processing;
-Padrões de projetos de fluxos contínuos de dados;
-Arquiteturas de projetos de dados (Arquitetura streaming, arquitetura lambda, arquitetura kappa e arquitetura Unifield);
-Coleta, armazenamento e processamento de dados de fluxos contínuos;
-Conexão a fontes de dados com Kafka Connect;
-Processamento em Tempo Real com ksqlDB e Spark Streaming;
-Entrega de dados em solução de armazenamento (Data Lake, Data Warehouse, DBs modernos);
-Arquitetura e pipelines de dados para tempo real usando o Kafka e novos storages para armazenamento (Apache Druid, Apache Pinot, Hive, ElasticSearch)
Tecnologias de Big Data - Processamento de dados massivos
Tecnologias de Big Data - Processamento de dados massivos
-Computação distribuída, conceitos básicos;
-Introdução ao Ecossistema Apache Hadoop, Arquitetura e principais componentes;
-Apache Spark, conceitos, instalação e configuração;
-Utilizações do Apache Spark, PySpark, Spark SQL e Scala;
-Leituras de arquivos de diversos formatos (CSV, json, parquet, ORC);
-Escrita de arquivos em diversos formatos (CSV, json, parquet, ORC);
-Estratégias de particionamento de dados;
-Técnicas de otimização do Spark.
Desenho de arquiteturas de dados escaláveis
Desenho de arquiteturas de dados escaláveis
-Arquiteturas escaláveis;
-Conceito e tipos de escalabilidade;
-Arquitetura de microsserviços, conceitos e aplicações;
-Tecnologias para escalabilidade de soluções em nuvem (Load Balancers, Auto-scaling);
-Virtualização e Containers;
-Kubernetes, conceitos básicos;
-Kubernetes - implantação de soluções utilizando manifestos .yaml, helm charts e operadores;
-Monitoramento de soluções escaláveis.
Desafio Final
Desafio Final
Projeto Aplicado
Projeto Aplicado
148h
O Projeto Aplicado substitui o tradicional Trabalho de Conclusão de Curso.

Tudo o que é desenvolvido é prático, assim o aluno terá que propor soluções para um problema com alto grau de incerteza, a partir de uma abordagem focada na prototipação de soluções e ideias inovadoras.
Inovação e Design Thinking
Inovação e Design Thinking
Na etapa Inovação e Design Thinking o aluno irá aprender uma abordagem para resolver problemas, fomentar a criatividade e a inovação centrada no usuário.
Desafio e Solução
Desafio e Solução
Na etapa Desafio e Solução, o aluno terá oportunidade de planejar todo o seu projeto, aplicando as técnicas aprendidas em Inovação e Design Thinking juntamente com as ferramentas utilizadas pela metodologia ágil.
Sprints
Sprints
A construção da solução é realizada por Sprints, que são etapas determinadas em espaços específicos de tempo, em que um conjunto de atividades devem ser executadas. Ao final, será feita uma entrega relevante para o desenvolvimento da solução.

Em cada Sprint o aluno incrementará o seu Projeto Aplicado, apresentando as evidências do planejamento, da execução dos requisitos e da solução. Além disso, será possível validar as hipóteses e estratégias levantadas no início do projeto.
Apresentação à Banca
Apresentação à Banca
Esta é a última etapa do Projeto Aplicado, em que o aluno irá reunir a documentação acumulada ao longo das Sprints, consolidar os resultados e defender seu trabalho na forma de "pitch" para uma banca avaliadora.
Projeto aplicado com foco em Inovação

O curso convida o aluno a propor soluções para problemas com alto grau de incerteza, a partir de uma abordagem focada na prototipação de soluções e ideias inovadoras.

Conhecer mais

Linhas de Especialização do Projeto Aplicado

O Projeto Aplicado substitui o tradicional Trabalho de Conclusão de Curso.
Tudo o que é desenvolvido é prático.

Arquitetura poliglota de referência

Objetivo

Planejar e apresentar uma Arquitetura de Referência que permita a persistência de dados no estilo poliglota.

A quem se destina?

Destina-se especialmente aos profissionais que desejam atuar no mercado, ou já atuam, como Engenheiro de Dados. Aqui o Engenheiro de Dados atuará na definição da infraestrutura de dados necessária para aplicações que demandem múltiplos estilos de armazenamento de dados, levando em consideração a variedade de dados trazida pelo Big Data.

Solução completa usando o framework Apache Hadoop

Objetivo

Proporcionar ao aluno o contato com todo o processo de implantação de uma solução baseada no Ecossistema Hadoop, que abrange processos desde a coleta, processamento, armazenamento até a apresentação de dados.

A quem se destina?

Destina-se especialmente aos profissionais que desejam atuar no mercado, ou já atuam, como Engenheiro de Dados especialistas no Ecossistema Hadoop.

Projeto de data hub e mineração de dados

Objetivo

Proporcionar ao aluno o contato com todo o processo de Extração, Transformação e Carga para planejar, implantar e preparar um Data Hub (repositório de dados) para realizar mineração de dados.

A quem se destina?

Profissionais com interesse em desempenhar (ou que já estam desempenhando) as funções de Engenharia de Dados especializadas nos processos de “Extração, Transformação e Carga” ou “Extração, Carga e Transformação”, focando na preparação dos dados para serem usados em análises. Além disso, o profissional deve realizar atividades ligadas à elaboração de modelos de análise de dados, desenvolvimento de rotinas de carga e tratamento de dados.

Pratique o que você aprendeu

Desenvolva um projeto aplicado contextualizado, práticas de laboratórios e dinâmica de jogos.

Aprenda com os melhores

Estude de forma interativa com um time de profissionais experientes e atuantes no mercado.

Conhecer todos os nossos professores
Neylson Crepalde

Certificado AWS Solutions Architect, apaixonado por codificação, pipelines de dados, arquitetura de soluções em nuvem, DataOps, ciência de dados, ciência de redes e automatização.

Túlio Philipe Ferreira e Vieira
Doutorando em Modelagem Matemática Computacional, CEFET-MG

Possui mais de 6 anos de experiência desenvolvendo projetos aplicados nas áreas de internet das coisas e cidades inteligentes por meio da utilização de algoritmos baseados em inteligência computacional e estatística. Além disso, possui artigos publicados em revistas e congressos internacionais sobre aprendizado de máquina e otimização e um livro didático sobre o tema Internet das Coisas.

Fernanda Farinelli
Doutora em Ciência da Informação e Cientista da Computação

Atua há 20 anos com dados, desempenhando atividades nas funções de administração de banco de dados (Oracle, DB2, DMSII, MongoDB, etc); administração de dados (modelagem relacional, dimensional e NoSQL); engenharia e arquitetura de dados; governança de dados; ontologista; e coordenação de equipe. Professora a mais 15 anos em cursos de graduação e pós-graduação.

Gustavo Aguilar
MBA em Ciência de Dados, IGTI

Profissional de Tecnologia da Informação com mais de 20 anos de experiência na área de banco de dados, atuando em grandes empresas do setor de telecomunicação. Além disso, possui vivência em administração de ambientes de missão crítica, atua como líder de equipe, consultor nas áreas de modelagem, arquitetura e engenharia de dados, Cloud Computing e treinamento.

João Paulo Barbosa Nascimento
Doutor em Modelagem Matemática Computacional, CEFET-MG

Professor de Graduação, Pós-Graduação e Analista de Sistemas. Atua há 20 anos como Desenvolvedor de Sistemas com vivência em diversos tipos de projetos e há 10 anos iniciou a sua carreira professor e sua linha de pesquisa envolve Teoria de Grafos e Processamento Distribuído.

Realize uma videoconferência gratuita com um professor

Em dúvida sobre o curso mais adequado ao seu perfil?
Gostaria de conhecer melhor o nosso modelo de ensino?

Agendar videoconferência

Processo seletivo

O processo seletivo do IGTI é simples e permite você conhecer melhor nossa cultura.
1
Solicitar um contato

No prazo máximo de um dia útil, um consultor entrará em contato para esclarecer as suas dúvidas e agendar a videoconferência com um professor do IGTI.

Solicitar contato
2
Participar da videoconferência

No dia e horário agendado, participe da videoconferência com o professor que abordará a metodologia de aprendizado do Instituto e discutirá a aderência de seu perfil ao curso de interesse.

3
Realizar a matrícula

Um dia útil após a videoconferência com o professor, o consultor do IGTI entrará novamente em contato para confirmar a sua matrícula e encaminhar, por e-mail, o contrato digital para assinatura eletrônica.

Faça sua matrícula antecipadamente e ganhe até R$ 1.000,00 em desconto

Estude na melhor escola de Pós-graduação em TI do país.

Invista em sua carreira profissional e certifique os seus conhecimentos.

Opte por planos de pagamento conforme a sua necessidade.

Consultar planos

O IGTI está no grupo de excelência do MEC

Com 14 anos de mercado, o IGTI é referência em pós-graduação em TI no Brasil.

Consultar credenciamento

Na dúvida?
Experimente uma aula grátis!

Que tal experimentar nosso ambiente de ensino para sentir como o IGTI ajudará você a conectar com seu futuro?

Experimentar aula grátis