BOOTCAMP ENGENHEIRO(A) DE DADOS
BOOTCAMP ENGENHEIRO(A) DE DADOS
148h
O curso vai te habilitar para trabalhar com Engenharia de Dados na construção de pipelines de dados. Conheça as técnicas e tecnologias usadas na construção do pipeline de dados (data flow) que envolvem processos de coleta, preparação, armazenamento e acesso a dados, além da integração e combinação de diferentes fontes de dados. Aprenda a construir e automatizar seu pipeline de dados.
Apresentação, Modelo de Ensino e Normas Acadêmicas
Apresentação, Modelo de Ensino e Normas Acadêmicas
22h
O IGTI - Instituto de Gestão em Tecnologia da Informação. Canais de Atendimento ao Aluno. Modelo de Ensino. Estrutura das disciplinas. Normas Acadêmicas. O Trabalho de Conclusão do Curso – TCC. Visão Geral do Ambiente de Ensino a Distância.
Fundamentos em Engenharia de Dados
Fundamentos em Engenharia de Dados
- Conceitos fundamentais: Dados, fontes de dados, Big Data, tipos de dados;
- Visão geral do pipeline de ciência de dados: coleta, preparação, armazenamento, processamento/análise, visualização;
- Atividades de engenharia do Pipeline de Dados;
- Fundamentos de modelagem de dados;
- Linguagem SQL;
- Visão geral dos processos de coleta, armazenamento e preparação de dados;
- Exemplo prático de coleta, preparação e armazenamento de dados;
- Visão geral em Cloud Computing.
Coleta e Preparação de Dados
Coleta e Preparação de Dados
-Fundamentos da coleta de dados;
-Particularidades dos processos aquisição, extração, ingestão, coleta;
-Coleta de dados em bases de dados (Relacional e NoSQL);
-Coleta de dados via API (Twitter, site de notícias, dados governamentais);
-Coleta de dados via crawler e scraper Manipulando dados desalinhados, inconsistentes e não padronizados;
-Transformação, limpeza, enriquecimento de dados;
-Integração de dados, Tratamento de dados ausentes;
-Categorização e discretização;
-Técnicas de anonimização de dados (LGPD);
-Combinando dados de múltiplas fontes;
-Normalização de Dados;
-Transformação e transferência de dados;
-Ferramentas para preparação de dados;
-Exemplos e práticas de preparação em dados estruturados, semiestruturados e não estruturados;
-Preparação de dados para mineração de texto (n-gramas, remoção de stopwords e normalização morfológica (stemming);
-Estudos de caso.
Novos Paradigmas em Armazenamento de Dados
Novos Paradigmas em Armazenamento de Dados
-SGBDs SQL(relacionais), NoSQL, NewSQL: o que é, diferenças e vantagens, ACID versus Teorema CAP / BASE, Categorias de SGBD NoSQL, Tecnologias existentes;
-Sistemas de arquivo: o que é, vantagens, tecnologias existentes;
-Armazenamento de dados em nuvem: Conceitos de Data Lake, Data Warehouse e Data -Lakehouse;
-Soluções de Data Lake - AWS S3, GCS (Google Cloud) e Azure Blob Storage;
-Soluções de DW - AWS Redshift, Google Big Query e Azure SQL Datawarehouse;
-Engines de Data Lake: Dremio, Trino, Presto;
-Soluções de Armazenamento escalável - Apache Druid, Apache Pinot, ElasticSearch.
Pipelines de Dados
Pipelines de Dados
-Atividades do pipeline de dados: aquisição, transformações, ingestão;
-Visão geral de soluções (plataformas, tecnologias) para extração, ingestão, transformação, armazenamento e análise de dados;
-Fluxo de dados (data flow) ETL/ELT (Extração, Transformação e Carga);
Implementação e automatização de ETL/ELT (data flow): Apache NiFi e Apache -Airflow;
-Pipeline de Dados com Apache Airflow;
-Pipeline de Dados com Apache Nifi;
-Exemplos de Pipeline de Dados em tempo real com Apache Kafka.
Desafio Final
Desafio Final
BOOTCAMP ENGENHEIRO(A) DE DADOS CLOUD
BOOTCAMP ENGENHEIRO(A) DE DADOS CLOUD
148h
Neste curso o aluno vai aprender a conceber, construir, implantar e testar arquiteturas de escaláveis e confiáveis para projetos de dados.
Fundamentos em arquitetura de dados e soluções em Nuvem
Fundamentos em arquitetura de dados e soluções em Nuvem
-Fundamentos em arquitetura de dados;
-Componentes/Elementos de uma arquitetura de dados - o Well Architected Framework;
-Arquitetura de Soluções em Nuvem;
-DataBase as a Service (DBaaS): Modelos e Componentes das plataformas;
-Projetos de repositórios de dados: Data Lake + DW e Data Lakehouse (talvez abordar engines de Data Lake: Dremio, Trino, Presto);
-Uso de ferramentas de IaC (Infrastructure as Code) para implantação automatizada de infraestrutura (Terraform, Terragrunt, Pulumi, Cloud Formation, etc.);
-Introdução a Kubernetes e automatização de containers;
-Arquitetura orientada a eventos (Cloud Watch Triggers, Funções Lambda, APIs com API;
-Arquitetura batch: Uso de ferramentas modernas para orquestração de batch jobs de processamento (Apache Airflow, Prefect);
-Demonstração de plataformas em nuvem: AWS, Google Cloud, Azure.
Processamento de Fluxos Contínuos de Dados
Processamento de Fluxos Contínuos de Dados
-Stream Processing Applications;
-Arquitetura de sistemas de stream processing;
-Padrões de projetos de fluxos contínuos de dados;
-Arquiteturas de projetos de dados (Arquitetura streaming, arquitetura lambda, arquitetura kappa e arquitetura Unifield);
-Coleta, armazenamento e processamento de dados de fluxos contínuos;
-Conexão a fontes de dados com Kafka Connect;
-Processamento em Tempo Real com ksqlDB e Spark Streaming;
-Entrega de dados em solução de armazenamento (Data Lake, Data Warehouse, DBs modernos);
-Arquitetura e pipelines de dados para tempo real usando o Kafka e novos storages para armazenamento (Apache Druid, Apache Pinot, Hive, ElasticSearch)
Tecnologias de Big Data - Processamento de dados massivos
Tecnologias de Big Data - Processamento de dados massivos
-Computação distribuída, conceitos básicos;
-Introdução ao Ecossistema Apache Hadoop, Arquitetura e principais componentes;
-Apache Spark, conceitos, instalação e configuração;
-Utilizações do Apache Spark, PySpark, Spark SQL e Scala;
-Leituras de arquivos de diversos formatos (CSV, json, parquet, ORC);
-Escrita de arquivos em diversos formatos (CSV, json, parquet, ORC);
-Estratégias de particionamento de dados;
-Técnicas de otimização do Spark.
Desenho de arquiteturas de dados escaláveis
Desenho de arquiteturas de dados escaláveis
-Arquiteturas escaláveis;
-Conceito e tipos de escalabilidade;
-Arquitetura de microsserviços, conceitos e aplicações;
-Tecnologias para escalabilidade de soluções em nuvem (Load Balancers, Auto-scaling);
-Virtualização e Containers;
-Kubernetes, conceitos básicos;
-Kubernetes - implantação de soluções utilizando manifestos .yaml, helm charts e operadores;
-Monitoramento de soluções escaláveis.
Desafio Final
Desafio Final
Projeto Aplicado
Projeto Aplicado
148h
O Projeto Aplicado substitui o tradicional Trabalho de Conclusão de Curso.
Tudo o que é desenvolvido é prático, assim o aluno terá que propor soluções para um problema com alto grau de incerteza, a partir de uma abordagem focada na prototipação de soluções e ideias inovadoras.
Inovação e Design Thinking
Inovação e Design Thinking
Na etapa Inovação e Design Thinking o aluno irá aprender uma abordagem para resolver problemas, fomentar a criatividade e a inovação centrada no usuário.
Desafio e Solução
Desafio e Solução
Na etapa Desafio e Solução, o aluno terá oportunidade de planejar todo o seu projeto, aplicando as técnicas aprendidas em Inovação e Design Thinking juntamente com as ferramentas utilizadas pela metodologia ágil.
Sprints
Sprints
A construção da solução é realizada por Sprints, que são etapas determinadas em espaços específicos de tempo, em que um conjunto de atividades devem ser executadas. Ao final, será feita uma entrega relevante para o desenvolvimento da solução.
Em cada Sprint o aluno incrementará o seu Projeto Aplicado, apresentando as evidências do planejamento, da execução dos requisitos e da solução. Além disso, será possível validar as hipóteses e estratégias levantadas no início do projeto.
Apresentação à Banca
Apresentação à Banca
Esta é a última etapa do Projeto Aplicado, em que o aluno irá reunir a documentação acumulada ao longo das Sprints, consolidar os resultados e defender seu trabalho na forma de "pitch" para uma banca avaliadora.
