RAG 1: uma coleta que pode ser auditada
Como reuni guias e estudos com Scrapling e guardei as versões para poder revisar de onde saiu cada decisão.
Neste artigo
Depois de revisar o experimento ANEEL–TAESA, eu não queria trocar o buscador apenas porque uma receita parecia convincente. Precisava saber o que cada fonte recomendava, o que havia testado e o que eu conseguiria reproduzir. Comecei pelo artigo de Contextual Retrieval, seu notebook e o catálogo RAG do Claude. Esta série descreve essa revisão e um procedimento proposto; não apresenta uma nova melhoria medida na Taesa.
Primeiro delimitei a coleta
Usei o checkout local do Scrapling 0.4.15 com Fetcher para requisições HTTP comuns. O catálogo tinha 19 guias marcados como RAG & Retrieval. Seu HTML também continha links de outras categorias: seguir todas as âncoras produziria uma coleta diferente da solicitada. Selecionei as linhas pelo rótulo e guardei a lista de URLs antes de baixar os detalhes.
A captura preservou HTML, texto e links, além dos notebooks vinculados e de doze textos de pesquisa selecionados. O registro contém 62 respostas HTTP 200; não são 62 documentos independentes, pois há redirecionamentos e duplicatas. A cobertura é das páginas e notebooks identificados, não um espelho de todo o domínio, suas imagens e seus datasets. O código de terceiros foi baixado, não executado.
O que guardei para poder repetir
Cada resposta tem URL solicitada e final, data UTC, status, tamanho e SHA-256. O texto extraído tem seu próprio hash. Guardei o commit dos notebooks e os hashes do código local do coletor. O hash detecta mudanças nos bytes; não demonstra que o conteúdo seja verdadeiro, completo ou juridicamente vigente. Essas verificações exigem outros controles.
# PowerShell: new snapshot; scripts in the research workspace
$env:RAG_COLETA_DIR = "C:/Desenvolvindo/CientistaDeDados/rag_snapshot_novo"
python -X utf8 rag_pesquisa_2026/coletar.py
python -X utf8 rag_pesquisa_2026/coletar_complementos.py
python -X utf8 rag_pesquisa_2026/coletar_notebooks.py
python -X utf8 rag_pesquisa_2026/verificar_coleta.py
python -X utf8 rag_pesquisa_2026/testar_coleta.pyEm outra máquina é necessário instalar as dependências do checkout e ajustar seu caminho. Os comandos acima rodam a partir do repositório de pesquisa, não do servidor do blog. Uma pasta nova evita sobrescrever a captura anterior. Depois se conferem cobertura, títulos, corpo e código; HTTP 200 sozinho também pode devolver uma página vazia ou um desafio de acesso.
Um catálogo de artigos não equivale a uma revisão completa
O repositório bibliográfico consultado declara 265 trabalhos, mas sua análise esclarece que apenas dois receberam leitura integral. No commit capturado, 8f548e6, estão README.md e Analise.md; faltam a pasta portfolio e os PDFs citados. Usei o catálogo para descobrir fontes e fui aos textos primários para as afirmações centrais. Registrei essas ausências em vez de tratá-las como materiais revisados.
A síntese em português é própria; as cópias integrais permanecem na pesquisa local. Também não confundi a data editorial de 2024 com a versão atual do código. O produto desta etapa é uma coleta verificável, um registro de limites e perguntas de engenharia. Ainda não é evidência de que uma nova arquitetura funciona melhor.
Fontes de partida: repositório bibliográfico