Metodologia do Observatório
O Observatório IBeGI utiliza uma esteira de Big Data Discovery, processamento de dados não estruturados e curadoria editorial assistida por inteligência artificial. Seu objetivo não é reproduzir indiscriminadamente tudo o que aparece na imprensa, mas identificar, verificar e organizar conteúdos com utilidade para profissionais do ciclo do crédito.
Cada conteúdo percorre uma sequência de controles antes de permanecer na edição. O processo começa pela descoberta automatizada em fontes web e RSS, passa pela normalização e deduplicação das URLs, por avaliações editoriais independentes, pela captura do conteúdo original, pela validação de escopo e pela estruturação editorial em Markdown.
A metodologia combina regras determinísticas, modelos de linguagem e controles técnicos de qualidade. Fontes, domínios, URLs e tipos de conteúdo considerados inadequados podem ser bloqueados antes do uso de inteligência artificial.
Depois da primeira avaliação, o conteúdo original é capturado diretamente da página de origem. Quando a extração convencional não é suficiente, o sistema pode utilizar navegação automatizada como mecanismo de contingência.
Uma segunda revisão independente reavalia a relevância da matéria. A ausência dessa revisão, sua reprovação ou a falta de uma captura válida impedem a publicação automática. Os conteúdos aprovados ainda são submetidos a uma validação final baseada no texto integral capturado.
Gates técnicos bloqueiam textos incompletos, páginas de erro, CAPTCHAs, capturas insuficientes e outros sinais de baixa qualidade.
Depois da publicação assistida por IA, o Observatório identifica coberturas semelhantes, consolida matérias sobre o mesmo fato e preserva as fontes relacionadas dentro da publicação principal. Essa organização recebe validação humana.
A inteligência artificial também auxilia na sugestão dos conteúdos de maior relevância do dia. A decisão final sobre os três destaques é editorial e humana.
Tecnologias utilizadas
O pipeline do Observatório combina processamento de dados, automação de navegador, modelos de linguagem, tratamento de imagens e armazenamento relacional.
Python executa os jobs de descoberta, classificação, captura, validação, estruturação editorial e publicação. Bash orquestra etapas, logs, locks, checkpoints e retomadas após falhas. MySQL/MariaDB mantém o staging, os estados do processamento, a auditoria e os registros finais.
Requests e BeautifulSoup realizam a captura e interpretação primária das páginas. Playwright resolve redirecionamentos e trata páginas que dependem de navegador ou JavaScript. Pillow valida, recorta, redimensiona e converte imagens para WebP.
Markdown e JSONL são usados como formatos de intercâmbio editorial e processamento estruturado.
OpenCode e execução dos modelos
O Observatório utiliza o OpenCode como infraestrutura para executar e integrar diferentes modelos de inteligência artificial ao pipeline editorial.
A OpenCode Go API, por meio de um endpoint compatível com Chat Completions, é utilizada na classificação inicial, na validação final de escopo e na estruturação editorial.
O OpenCode CLI executa a segunda revisão editorial independente em lotes. Essa separação permite utilizar modelos diferentes em etapas distintas, configurar alternativas em caso de falha e evitar que uma única avaliação determine todo o fluxo.
Os modelos podem mudar de forma controlada conforme qualidade, custo, disponibilidade e desempenho. Por isso, o relatório deve registrar os modelos efetivamente utilizados em cada edição.
Modelos de inteligência artificial
O Observatório não depende de uma única decisão produzida por um único modelo. As responsabilidades são separadas entre etapas para reduzir o risco de uma avaliação isolada determinar a publicação.
A classificação inicial analisa metadados, título, trecho, fonte e contexto da descoberta. A segunda revisão é independente e pode utilizar outro modelo. A validação final utiliza o texto original capturado. A estruturação editorial recebe o conteúdo aprovado para produzir título, síntese em Markdown e tags.
Na configuração atual, o DeepSeek V4 Flash é utilizado na classificação inicial, na validação final e na estruturação editorial. O Qwen 3.7 Plus executa a segunda revisão independente. O DeepSeek V4 Pro atua como alternativa quando a revisão principal não pode ser concluída.
Uso de IA generativa
A inteligência artificial generativa é utilizada para estruturar editorialmente o conteúdo aprovado.
O sistema produz título em português, síntese objetiva em Markdown e tags relacionadas. A orientação é preservar os fatos presentes na fonte, remover menus, chamadas comerciais, repetições e elementos sem valor informativo.
A IA não deve acrescentar dados, opiniões ou informações ausentes do material original. A fonte, a URL, a data e o veículo de origem permanecem vinculados ao registro.
Rastreabilidade e governança
Cada candidata permanece registrada em uma área de staging auditável. O sistema preserva a origem da descoberta, os termos responsáveis por sua localização, as decisões dos modelos, scores, justificativas, conteúdo capturado, erros, tentativas, validação final e vínculo com a publicação resultante.
Além dos registros em banco, o pipeline mantém logs por data, checkpoints, arquivos das revisões, auditorias das pesquisas e exportações editoriais.
A deduplicação e a seleção de destaques possuem decisão editorial validada por uma pessoa. O objetivo é combinar a escala da automação com controle, transparência e responsabilidade editorial.
Transparência sobre as fontes
Os conteúdos publicados pelo Observatório permanecem vinculados à fonte original. O IBeGI utiliza inteligência artificial para captura, classificação e estruturação editorial, mas preserva a atribuição e recomenda consultar a fonte para informações sensíveis ou sujeitas a atualização.
