본문으로 건너뛰기
DispatchAtlas
검색

증거 번들

증거 번들은 통계 표, 접근 가능한 SVG 그림, 그리고 제외되거나 보류된 행의 보충으로 이루어진 자기 기술적 디렉터리로, 모두 완료된 한 캠페인에서 파생되어 하나의 증거 계층으로 필터링됩니다. DispatchAtlas는 내보낸 증거를 이러한 계층별 번들로 구성하여 각 번들이 그 증거 계층이 허용하는 데이터만 노출하도록 합니다.

🪜 번들 계층

네 개의 계층 id는 고정된 공개 안전 어휘에서 옵니다. 각 계층은 편집적 라벨이 아니라 실행 가능한 공개 정책입니다:

계층포함제외
core핵심 공개 증거만.속도·품질·플랫폼 증거; 보류된 행.
speed핵심과 속도 증거.품질과 플랫폼 증거; 보류된 행.
quality핵심·속도·품질 증거.플랫폼-전용 증거; 보류된 행.
platform완전한 공개 플랫폼 증거: 재현성, 포털, 패키지, 릴리스 준비도.편집된 소스와 제한된 내부 마커. 이들은 모든 계층에서 차단된 채 유지됨.

각 번들은 그 표 및 그림과 동일한 계층 필터링 데이터셋으로부터 생성되므로, 하위 계층 내보내기는 상위 계층 메커니즘, 배포 주장, 또는 보류된 행을 드러낼 수 없습니다. 필터는 닫는 쪽으로 실패합니다: 누출하는 대신, 하위 계층 아래에서 후속 계층 메커니즘을 노출할 내보내기는 오류를 일으킵니다. 정책이 금지하는 행은 제외되어 사유와 함께 보충 제외 매니페스트에 기록됩니다.

📁 번들 내용

번들은 다음을 담습니다:

  • 통계 표(솔버 요약, 쌍별 비교, 순위, 벤치마크 커버리지, 실행 불가능 행),
  • 각 그림의 역할·출처·접근성 비고를 기록하는 그림 매니페스트를 동반한 접근 가능한 SVG 그림,
  • 제외되거나 보류된 행과 한계로 라우팅된 모든 방법을 기록하는 보충,
  • bundle.json, 생성된 모든 파일을 나열하고 정전적 매니페스트 페이로드를 해시하는 매니페스트.

완전한 번들 레이아웃과 각 표 및 그림 뒤의 통계 방법은 분석 내보내기 를 참조하세요.

⚙️ 번들이 생성되는 방법

한 캠페인은 내보내기 명령을 통해 계층마다 하나의 번들로 내보냅니다:

uv run dispatchatlas export `
  --campaign-dir .\experiments\results\smoke-pilot `
  --target-dir .\experiments `
  --authorized-output-root .\experiments `
  --tier core

번들은 대상 작업 공간 아래 evidence-bundles/{campaign_id}-{tier}/ 에 안착합니다 — 실험 작업 공간 의 큐레이션 계층입니다. 규모에서는 tools/build_campaign_evidence.py 가 후보 벤치마크 카탈로그를 구축하고, 구성된 캠페인을 실행하고, 분석을 수행하며, 기록된 하나의 구성으로부터 모든 계층의 번들과 포털 데이터셋을 작성합니다:

uv run python tools/build_campaign_evidence.py `
  --output-root .\experiments `
  --problem-count-per-profile 30 `
  --stochastic-seeds 10 `
  --campaign-suffix local

빌더는 카탈로그 구체화, 캠페인 계획, 실행, 분석, 번들 내보내기, 보고서 작성의 단계 진행을 stderr로 내보내며, 생성된 증거를 의도적으로 Git 추적 소스 트리 밖에 작성합니다.

번들이 검증되는 방법

  • 매니페스트 해싱. bundle.json 은 생성된 모든 파일을 나열하고 정전적 매니페스트 페이로드를 해시하므로 번들의 내용은 자신의 매니페스트에 대해 검사 가능합니다.
  • 결정성. 동일한 입력에 대해 동일한 내보내기를 다시 실행하면 동일한 JSON·표·그림 페이로드가 생성됩니다.
  • 파생이지 권위가 아님. 번들은 항상 재현성 계층의 실행 수준 기록에서 파생됩니다 — 결코 독립적 진실의 원천이 아니며 — 그 기록들 자체가 콘텐츠 해시되어 캠페인 엔진 을 통해 재생 검증 가능합니다.
  • 게이트 승격. 번들은 릴리스 준비도 에 기술된 릴리스 및 공개 게이트를 통해서만 공개 표면에 도달합니다.

증거 계층은 López-Ibáñez, Branke and Paquete (2021) 의 확률적-최적화 지침과 나란히 읽는, ACM Artifact Review and Badging 어휘 버전 1.1(2020)에 대응합니다. 콘텐츠-해시된 bundle.json 과 그림 매니페스트를 가진 어떤 계층 번들도 Artifacts Evaluated — Functional 배지에 준비되어 있습니다; 공개 포털을 통해 게재된 번들은 Artifacts Available 에 준비되어 있습니다; 재현성 매니페스트가 시드, 환경, 실행 하한, 그리고 예산과 튜닝 패리티를 고정하는 완전 캠페인 번들은 Results Reproduced 에 준비되어 있습니다. Results Replicated 는 쓰인 방법 서술만으로 구축된 독립적 구현을 요구하며, 이는 어떤 플랫폼도 자신에 대해 부여할 수 없습니다 — 대응이 정직하게 유지되도록 여기 명시합니다.

🌐 포털이 소비하는 것

결과 포털 은 동일한 내보내기 경로가 생성하는 포털 데이터셋 (portal-results.json 과 CSV 인덱스) — 검색 가능한 태그, 공개 라벨, 목표 값, 실행 id, 해시 연결 캠페인 메타데이터 — 을 소비하며, tools/build_site_assets.py 가 이를 정적 사이트 자산으로 렌더링합니다. 포털은 실험 작업 공간을 읽지 않고 캠페인을 실행하지 않습니다; 커밋되고 공개 필터링된 내보내기만 제시합니다.