Curso Online
Data Analytics & Visualization

1.1. INTRODUÇÃO À ANÁLISE DE DADOS

› Conceitos fundamentais: o que é análise de dados?

› O ciclo da análise de dados: recolha, limpeza, exploração, modelação e apresentação

› Tipos de dados: estruturados, não estruturados, categóricos e contínuos

› Atividade prática

1.2. RECOLHA E PREPARAÇÃO DE DADOS

› Fontes de dados: Ficheiros CSV, APIs, bases de dados, scraping

› Qualidade dos dados: Problemas comuns (valores em falta, inconsistências)

› Transformação de dados: Ferramentas para limpeza (Excel, Pandas em Python)

› Atividade prática

1.3. ESTATÍSTICA BÁSICA PARA ANÁLISE

› Métricas descritivas: média, mediana, moda, desvio padrão e variância

› Distribuições de dados: normal, uniforme, assimétrica

› Identificação de outliers: métodos simples, como o IQR

› Atividade prática

1.4. VISUALIZAÇÃO INICIAL DE DADOS

› Gráficos básicos: histogramas, gráficos de dispersão, gráficos de barras

› Quando utilizar cada tipo de gráfico?

› Ferramentas: introdução a ferramentas simples, como Excel ou Matplotlib/Seaborn

› Atividade prática

2.1. ESTRATÉGIAS DE COLETA DE DADOS

› Fontes de dados: dados internos (ERP, CRM), dados externos (APIs, Web scraping, repositórios públicos)

› Planeamento de coleta: definição de objetivos e requisitos, tipos de dados necessários, política de qualidade

› Automação de coleta: scripts de automação (Python, R) e ferramentas de ETL/ELT

› Exemplos práticos

2.2. INTEGRAÇÃO DE DADOS

› Conceito de Integração: por que integrar dados de múltiplas fontes? Desafios e benefícios

› Ferramentas de Integração: ETL (Extract, Transform, Load) vs. ELT (Extract, Load, Transform); plataformas (Talend, Informatica, Pentaho, Airbyte, etc.)

› Arquiteturas de Integração: Data Lake, Data Warehouse, Data Mart

› Casos práticos: configuração de pipelines para integrar dados provenientes de diferentes sistemas; verificação de consistência e qualidade.

2.3. BOAS PRÁTICAS E PROCESSOS DE GOVERNANÇA

› Governança de Dados: metadados, linhagem de dados, segurança e conformidade (LGPD/GDPR)

› Documentação e Catálogo de Dados: ferramentas para rastreabilidade e documentação das tabelas, colunas, atualizações

› Atividade prática

3.1 REVISÃO DE CONCEITOS FUNDAMENTAIS DE SQL

› SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY: Revisão rápida

› Tipos de Dados e Funções: numéricos, strings, datas; funções de string, data e conversão

› Tabelas e Relações: Joins (INNER, LEFT, RIGHT, FULL)

› Atividade prática

3.2. TÉCNICAS AVANÇADAS DE CONSULTA

› Subqueries e CTE (Common Table Expressions): criação de consultas mais legíveis e organizadas

› Window Functions: ranking, partição e agregações móveis (ex.: ROW_NUMBER, LAG, LEAD)

› Modelagem Relacional: normalização, chaves primárias e estrangeiras, boas práticas para modelagem SQL

› Atividade prática

3.3. OTIMIZAÇÃO E PERFORMANCE

› Índices: tipos de índices, análise de planos de execução

› Técnicas de Tuning: redução de tempo de resposta e de uso de recursos

› Transações e Concorrência: conceitos de ACID, locking, isolamento de transações

› Estudo de caso

3.4. EXPLORATORY DATA ANALYSIS (EDA)

› Exploração de Dados Avançada: descoberta de outliers, correlações iniciais, criação de tabelas temporárias

› Integração com Ferramentas Externas: conexão do SQL a Python (Pandas) ou BI Tools para visualização rápida

› Projeto prático final

4.1. INTRODUÇÃO AO DBT

› O que é dbt (Data Build Tool)? Conceitos básicos e a filosofia de Analytics as code

› Configuração do Ambiente: instalação, diretórios, dependências e integração com Data Warehouses (BigQuery, Snowflake, Redshift, etc.)

› Primeiros modelos: como criar modelos, seeds e snapshots no dbt

› Atividade prática: setup inicial de um projeto dbt, configuração de fontes de dados

4.2. MODELAGEM E TRANSFORMAÇÕES COM DBT

› Estrutura de Projeto: pasta de models, staging vs. core vs. marts

› Testes e Validações:testes de singularidade, not null, referências, relacionamentos

› Macros e Jinja: automação de lógicas repetitivas com templates

› Exercício guiado: construção de uma pipeline de transformação de dados do estágio (landing) até o mart analítico

4.3. VERSION CONTROL, DOCUMENTAÇÃO E DEPLOY

› Documentação: dbt docs generate, criação de documentação automatizada

› Version Control: integração com Git (GitHub, GitLab) para colaboração

› Deployment: CI/CD pipelines, dbt Cloud vs. dbt Core

› Estudo de Caso

4.4. INTEGRAÇÃO COM FERRAMENTAS DE ENCERRAMENTO

› Conexão com Ferramentas de BI: como consumir as tabelas transformadas no Power BI, Tableau ou Looker

› Monitoramento e Observabilidade: alertas, logs e melhores práticas de manutenção

5.1. INTRODUÇÃO AOS PRODUTOS DE DADOS

› O que são produtos de dados? Exemplos: recomendadores, dashboards, modelos preditivos, motores de pesquisa

› Diferença entre produtos baseados em dados e análises pontuais

› O ciclo de vida dos produtos de dados: ideação, recolha e preparação de dados, modelação, entrega, manutenção

› Casos reais: Exemplos de produtos de dados em indústrias como tecnologia, saúde, e-commerce e finanças

5.2. COMPONENTES E ETAPAS DE DESENVOLVIMENTO

› Definição do Problema e Requisitos

› Preparação e Qualidade de Dados

› Modelação e Arquitectura do Produto

5.3. ENTREGA E ITERAÇÃO DE PRODUTOS DE DADOS

› Prototipagem e Validação

› Entrega e Métricas de Sucesso

› Manutenção e Escalabilidade

5.4. CONCLUSÃO E APLICAÇÃO PRÁTICA

› Mini-projeto final.

6.1. INTRODUÇÃO AVANÇADA AO MICROSOFT FABRIC E POWER BI

› Microsoft Fabric: conceitos, funcionalidades-chave (Data Factory, Data Lakehouse, Synapse, Power BI integrado)

› Revisão de Conceitos de Power BI: Datasets, relatórios, dashboards, workspace, gateways

› Conexão a Diferentes Fontes: Dataflows, DirectQuery vs. Import

› Atividade prática

6.2. MODELAGEM DE DADOS AVANÇADA

› Modelos Star Schema e Snowflake: boas práticas de modelagem dimensional

› Relacionamentos e Hierarquias: tipos de relacionamento (1:1, 1:N, M:N), criação de hierarquias de data, geográficas, etc

› DAX Avançado: CALCULATE, FILTER, iteradores (SUMX, AVERAGEX), funções de tempo (DATEADD, SAMEPERIODLASTYEAR)

› Exemplos práticos

6.3. VISUALIZAÇÃO E NARRATIVA DE DADOS

› Design de Dashboards: layout, cor, harmonia visual, escolha de visuais adequados

› Visualizações Personalizadas: custom visuals, drill through, tooltips avançados

› Narrativa de Dados (Data Storytelling): como estruturar histórias usando dados e elementos visuais

› Atividade prática

7.1. DEFINIÇÃO DO PROJETO

› Apresentação de cenários e datasets possíveis (ou escolha de um dataset real do participante)

› Definição de objetivos, KPIs e questões de negócio que o projeto pretende responder

› Organização das equipas/projetos e planeamento macro

7.2. RECOLHA E PREPARAÇÃO DE DADOS

› Recolha de dados e verificação de qualidade Limpeza e integração inicial: ferramentas e métodos vistos nos Módulos 2 e 3

› Documentação inicial: dicionário de dados, diagramas de fluxo

7.3. ENGENHARIA ANALÍTICA E MODELAGEM

› Criação de modelos analíticos com dbt (ou outra ferramenta escolhida)

› Definição de tabelas dimensionais e factuais

› Implementação de testes e validações

› Integração com o ambiente final (Data Warehouse/Lake)

7.4. CRIAÇÃO DE DASHBOARDS DE VISUALIZAÇÃO

› Utilização do Power BI (ou outra ferramenta BI) para gerar relatórios/dashboards

› Aplicação de boas práticas de design e storytelling

7.5. APRESENTAÇÃO DOS RESULTADOS

› Elaboração de storytelling final: contexto, abordagem, descobertas e recomendações

› Apresentação formal para a turma e/ou stakeholders simulados

› Feedback e perguntas do público