Pacotes de evidência

Um pacote de evidência é um diretório autodescritivo de tabelas estatísticas, figuras SVG acessíveis e um suplemento de linhas excluídas ou retidas, tudo derivado de uma campanha concluída e filtrado a um nível de evidência. O DispatchAtlas organiza a evidência exportada nesses pacotes por níveis para que cada pacote exponha apenas os dados que seu nível de evidência permite.

🪜 Níveis de pacote

Os quatro identificadores de nível vêm de um vocabulário fixo seguro para o público. Cada nível é uma política de divulgação executável, não um rótulo editorial:

Cada pacote é gerado a partir do mesmo conjunto de dados filtrado por nível que suas tabelas e figuras, de modo que uma exportação de nível inferior não pode revelar mecanismos de nível superior, afirmações de implantação nem linhas retidas. O filtro falha fechando: em vez de vazar, uma exportação que exporia um mecanismo de nível posterior sob um nível inferior levanta um erro. As linhas que uma política proíbe são excluídas e escritas em um manifesto de exclusões suplementar com o motivo.

📁 Conteúdo do pacote

Um pacote contém:

• tabelas estatísticas (resumos de solvers, comparações por pares, rankings, cobertura de benchmarks, linhas inviáveis),
• figuras SVG acessíveis com um manifesto de figuras registrando o papel, a proveniência e a nota de acessibilidade de cada figura,
• um suplemento que registra as linhas excluídas ou retidas e todo método roteado para limitações,
• bundle.json, o manifesto que lista cada arquivo gerado e faz hash da carga útil canônica do manifesto.

Veja exportações de análise para o layout completo do pacote e os métodos estatísticos por trás de cada tabela e figura.

⚙️ Como os pacotes são produzidos

Uma campanha exporta para um pacote por nível por meio do comando de exportação:

uv run dispatchatlas export `
  --campaign-dir .\experiments\results\smoke-pilot `
  --target-dir .\experiments `
  --authorized-output-root .\experiments `
  --tier core

O pacote aterrissa em evidence-bundles/{campaign_id}-{tier}/ sob o espaço de trabalho alvo — a camada de curadoria do espaço de trabalho de experimentos. Em escala, tools/build_campaign_evidence.py constrói catálogos de benchmarks candidatos, executa as campanhas configuradas, realiza a análise e escreve os pacotes para cada nível mais um conjunto de dados do portal a partir de uma configuração registrada:

uv run python tools/build_campaign_evidence.py `
  --output-root .\experiments `
  --problem-count-per-profile 30 `
  --stochastic-seeds 10 `
  --campaign-suffix local

O construtor emite o progresso das fases para stderr para a materialização do catálogo, o planejamento da campanha, a execução, a análise, a exportação do pacote e a escrita do relatório, e escreve intencionalmente a evidência gerada fora das árvores de fonte rastreadas pelo Git.

✅ Como os pacotes são verificados

• Hashing do manifesto. bundle.json lista cada arquivo gerado e faz hash da carga útil canônica do manifesto, de modo que o conteúdo de um pacote é verificável contra seu próprio manifesto.
• Determinismo. Reexecutar a mesma exportação contra as mesmas entradas produz as mesmas cargas úteis JSON, de tabela e de figura.
• Derivação, não autoridade. Um pacote é sempre derivado dos registros em nível de execução na camada de reprodutibilidade — nunca uma fonte de verdade independente — e esses registros são eles próprios com hash de conteúdo e verificáveis por reprodução por meio do motor de campanhas.
• Promoção com portão. Os pacotes alcançam superfícies públicas apenas por meio dos portões de versão e divulgação descritos em prontidão da versão.

Os níveis de evidência mapeiam para o vocabulário ACM Artifact Review and Badging, versão 1.1 (2020), lido em conjunto com a orientação de otimização-estocástica de López-Ibáñez, Branke e Paquete (2021). Qualquer pacote de nível com seu bundle.json com hash de conteúdo e manifesto de figuras está pronto para o selo Artifacts Evaluated — Functional; um pacote publicado através do portal público está pronto para Artifacts Available; um pacote de campanha completa cujo manifesto de reprodutibilidade fixa as sementes, o ambiente, o piso de execução e a paridade de orçamento e de ajuste está pronto para Results Reproduced. Results Replicated exige uma implementação independente construída apenas a partir das descrições escritas do método, o que nenhuma plataforma pode conceder sobre si mesma — declarado aqui para que o mapeamento permaneça honesto.

🌐 O que o portal consome

O portal de resultados consome o conjunto de dados do portal que a mesma rota de exportação produz (portal-results.json mais um índice CSV) — tags pesquisáveis, rótulos de divulgação, valores de objetivo, ids de execução e metadados de campanha ligados por hash — renderizados em ativos estáticos do site por tools/build_site_assets.py. O portal nunca lê o espaço de trabalho de experimentos nem executa campanhas; ele apresenta apenas exportações comprometidas e filtradas por divulgação.