Arthur Reis Engenheiro de Dados e IA

Sistema multi-agente que executa tarefas de ETL no Microsoft Fabric a partir de work items do Azure DevOps, com agentes hospedados no Azure AI Foundry. Três agentes por papel seguem o fluxo Receber → Refinar → Realizar → Analisar: o PM transforma o ticket em especificação com critérios de aceite, o Engineer executa via Fabric REST API com permissões escopadas por cenário e o QA valida o resultado de forma independente, com acesso somente leitura.

Cenários de Bronze, Silver, Gold e modelo semântico, com seleção de modelo por papel guiada pelo Azure AI Evaluation SDK.

Sistema multi-agente que gera recomendações de revisão em Pull Requests usando modelos da OpenAI (ChatGPT), integrado ao fluxo do GitHub via GitHub Actions. Agentes especializados analisam as mudanças de código Spark e SQL e publicam sugestões direto no PR, acelerando o ciclo de revisão do time.

Migração de uma plataforma Databricks do Azure para a AWS: recriação da governança no Unity Catalog (metastore, storage credentials e external locations no S3), cópia das tabelas Delta com validação de contagem e consistência, e redeploy de jobs e workflows via Databricks Asset Bundles. O cutover foi planejado por domínio para minimizar a indisponibilidade para as áreas de negócio.

Sistema de despacho automático que roteia tarefas de dados (SQL, PySpark, pipelines, governança) para 15 agentes IA especializados. Executado via CLI, Chainlit web, ou diretamente no VS Code Chat.

Fork do projeto original data-agents de Thomaz Rossito — adaptado para operar com GitHub Copilot Chat API, adicionando governança automática de nomenclatura, workflows colaborativos multi-agente, Knowledge Base estruturada, sistema de memória episódica e protocolo QA peer-to-peer.

Template corporativo e esteira de CI/CD para que áreas de negócio criem aplicações web internas via Vibe Coding, conversando com agentes de IA sem tocar em código ou terminal. O time de dados provisiona a infraestrutura (repositório, banco e variáveis de ambiente) e as regras de arquitetura ficam versionadas em AGENTS.md/CLAUDE.md para qualquer agente seguir.

Governança embutida no fluxo: RLS obrigatório em todas as tabelas, chaves privilegiadas fora do código da aplicação e auditoria de conformidade antes do deploy em produção.

Stack: Next.js, TypeScript, Tailwind CSS, Supabase, GitHub, Vercel.

Projeto de refactoring e otimização de uma plataforma de dados baseada em Databricks, com foco em performance, manutenibilidade e cumprimento de SLA crítico de 15 minutos. Após redesign completo do framework e otimizações em PySpark, SQL e arquitetura, a solução atingiu o SLA e se tornou mais escalável, estável e fácil de manter.

Otimização de pipelines ETL críticos no Databricks aplicando BroadcastJoin, CLUSTER BY, OPTIMIZE e leitura incremental. Os pipelines passaram por reduções de até 94% no tempo de execução, com impacto direto no consumo de DBU e nas janelas de processamento.

Concepção e implementação de um Lakehouse corporativo para grande empresa brasileira com arquitetura medalhão (Bronze, Silver e Gold), integrando múltiplas fontes com destaque para o ERP Protheus. Workspaces segregados por domínio de negócio integrados a um workspace central de Engenharia. Cargas orquestradas via Azure Data Factory com pipelines parametrizados e controlados por SLA.

Migração completa de Data Warehouse On-Premise para arquitetura Lakehouse no Microsoft Fabric: modelagem dimensional, pipelines de ingestão e transformação, migração de procedures SQL para Lakehouse e publicação de relatórios em Power BI com conexão ao Lakehouse.

Stack: Microsoft Fabric, OneLake, Data Factory, PySpark, Synapse Data Warehouse, Power BI, T-SQL, Delta Lake.

Integração dos dados da empresa com a IA do Databricks (Genie) para acelerar processos e fomentar a cultura Data-Driven. Realização de testes e difusão da utilização da ferramenta em toda a empresa.

Migração de banco de dados MongoDB para Databricks utilizando MongoDB Data Federation, AWS S3 e rotinas de carga incremental com Spark. O resultado foi uma rotina regular de atualização dos dados mais robustos da empresa, inclusive transações com milhões de linhas.

Implementação de um Lakehouse no Databricks integrando toda a base de dados de uma Fintech com SQL, Spark, Databricks e AWS. O resultado foi o aumento de performance nas análises e na atualização de relatórios e painéis.

Criação de Portal de Dashboards que reduziu o custo de licenças Power BI de R$ 45/licença para R$ 5/licença. A redução de custos e a potência da plataforma levaram à extensão do Portal para mais de 500 clientes da empresa, transformando-o em um produto de dados.

Classificação automática de gênero em banco de dados legado usando a biblioteca gender_guesser.detector do Python. O resultado foi o preenchimento da tabela com assertividade de aproximadamente 87% (calculada a partir de corpus reduzido).