Программы исследований
Четыре программы исследований, организующие уровни доказательств платформы: охват, семейства эталонов, составы решателей, методология и состояние ворот утверждений.
Доказательства платформы организованы в четыре программы исследований, по одной на каждый уровень доказательств: ядро, скорость, качество и платформа. Уровни вложены: программа ядра допускает доказательства ядра и публичные; программа скорости добавляет доказательства скорости; программа качества добавляет доказательства качества; а программа платформы представляет полное публичное поле. Каждая программа точно очерчивает то, что её уровень доказательств может раскрыть, поэтому программа более низкого уровня никогда не раскрывает механизм более высокого уровня.
Витрина ниже считывает каждый состав, семейство эталонов, когорту сравнения, методологическую деталь и состояние ворот утверждений из уже зафиксированного пакета программ, поэтому числа остаются актуальными по мере развития платформы, без текста, отредактированного вручную. Ни одно сравнительное утверждение не публикуется, пока не откроются ворота программы; опубликованные сегодня выгрузки несут только доказательства дымовой разработки.
Four study programs organize the platform’s evidence tiers. Every roster, family list, methodology row, and claim-gate status below is build-inlined metadata from the committed catalog; no comparative claim is published until a program’s claim gate opens.
The foundational comparison tier over the baseline solver field.
Publication surface: Evidence-grade exports and the public portal's core catalog.
metadata-only
Each study program scopes what its evidence tier may reveal; no comparative claim is published until its claim gate opens.
Admitted evidence labels: core, public.
Claim gates
- gate closedfoundation track beats the comparison cohort with Holm-corrected significance before any superiority claim
No campaign at the statistical-power floor has produced disclosure-filtered comparative evidence on the public surface; published bundles carry smoke-development evidence only.
Benchmark families
Solver roster & comparison cohort
| Solver roster | Comparison cohort |
|---|---|
| ndso-core | ga-int(registry-internal) |
| — | brkga(registry-internal) |
| — | eda(registry-internal) |
| — | tabu-search(registry-internal) |
Methodology
- Objectives
- makespan
- Statistics
- wilcoxon-signed-rank, friedman-omnibus, holm-post-hoc, nemenyi-critical-difference, vargha-delaney-a12, cliffs-delta, bca-bootstrap-ci
- Run-count floor
- ≥30 independent runs per stochastic cell before comparative analysis.
- Campaign plan
- ablation → comparative → pilot → sensitivity → targeted
Planned figures & tables
Figures
- Convergence trajectory
- Solver rankings
- Critical-difference diagram
Tables
- Solver summary
- Pairwise comparisons
- Effect sizes
Evidence pointers
release-gated
A companion write-up is published only from an approved, disclosure-filtered evidence bundle after this program's claim gate and the release gates open.
The time-bounded comparison tier focused on runtime behavior.
Publication surface: Evidence-grade exports and the public portal's speed catalog.
metadata-only
Each study program scopes what its evidence tier may reveal; no comparative claim is published until its claim gate opens.
Admitted evidence labels: core, speed, public.
Claim gates
- gate closedspeed track reaches matched quality at a smaller budget than the comparison cohort under both stopping protocols
No campaign at the statistical-power floor has produced disclosure-filtered comparative evidence on the public surface; published bundles carry smoke-development evidence only.
Benchmark families
Solver roster & comparison cohort
| Solver roster | Comparison cohort |
|---|---|
| ndso-fast | iterated-greedy(registry-internal) |
| — | alns(registry-internal) |
| — | vns(registry-internal) |
Methodology
- Objectives
- makespan, lateness
- Statistics
- wilcoxon-signed-rank, friedman-omnibus, holm-post-hoc, nemenyi-critical-difference, vargha-delaney-a12, cliffs-delta, bca-bootstrap-ci
- Run-count floor
- ≥30 independent runs per stochastic cell before comparative analysis.
- Campaign plan
- ablation → comparative → pilot → sensitivity
Planned figures & tables
Figures
- Convergence trajectory
- Performance profile
- Solver rankings
Tables
- Solver summary
- Pairwise comparisons
- Budget speedup
Evidence pointers
release-gated
A companion write-up is published only from an approved, disclosure-filtered evidence bundle after this program's claim gate and the release gates open.
The solution-quality comparison tier focused on objective value.
Publication surface: Evidence-grade exports and the public portal's quality catalog.
metadata-only
Each study program scopes what its evidence tier may reveal; no comparative claim is published until its claim gate opens.
Admitted evidence labels: core, speed, quality, public.
Claim gates
- gate closedprecision track beats the comparison cohort on the primary quality indicator with Holm-corrected significance
No campaign at the statistical-power floor has produced disclosure-filtered comparative evidence on the public surface; published bundles carry smoke-development evidence only.
Benchmark families
Solver roster & comparison cohort
| Solver roster | Comparison cohort |
|---|---|
| ndso-summit | memetic(registry-internal) |
| — | nsga3 |
Methodology
- Objectives
- makespan, cost, composite
- Statistics
- wilcoxon-signed-rank, friedman-omnibus, holm-post-hoc, nemenyi-critical-difference, vargha-delaney-a12, cliffs-delta, bca-bootstrap-ci
- Run-count floor
- ≥30 independent runs per stochastic cell before comparative analysis.
- Campaign plan
- ablation → comparative → pilot → sensitivity → targeted
Planned figures & tables
Figures
- Convergence trajectory
- Pareto frontier
- Critical-difference diagram
Tables
- Solver summary
- Quality indicators
- Mechanism ablation
Evidence pointers
release-gated
A companion write-up is published only from an approved, disclosure-filtered evidence bundle after this program's claim gate and the release gates open.
The reproducibility and tooling tier over the full evidence set.
Publication surface: Evidence-grade exports, the public portal, and release notes.
metadata-only
Each study program scopes what its evidence tier may reveal; no comparative claim is published until its claim gate opens.
Admitted evidence labels: core, speed, quality, platform, public.
Claim gates
- gate closedplatform track routes any unsupported platform claim to limitations or future work rather than overclaiming
No campaign at the statistical-power floor has produced disclosure-filtered comparative evidence on the public surface; published bundles carry smoke-development evidence only.
- gate openCoverage and reproducibility statements are supported by artifact inspection.
platform-comparison.json feature rows are artifact-inspected.
Benchmark families
Solver roster & comparison cohort
| Solver roster | Comparison cohort |
|---|---|
| ndso-core | — |
| ndso-fast | — |
| ndso-summit | — |
Comparison basis: the rival-framework matrix published as platform-comparison.json.
Methodology
- Objectives
- makespan, cost
- Statistics
- feature-coverage, distribution-distance-bridge
- Run-count floor
- ≥30 independent runs per stochastic cell before comparative analysis.
- Campaign plan
- comparative → pilot
Planned figures & tables
Figures
- Feature-richness matrix
- Distribution-distance calibration
Tables
- Feature coverage
- Framework comparison
Evidence pointers
release-gated
A companion write-up is published only from an approved, disclosure-filtered evidence bundle after this program's claim gate and the release gates open.
Future program candidates
Candidate programs staged for a future evidence tier — each doubles as a worked example of the add-a-program recipe.
Constraint-and-robustness extension candidate
rcpspflow-shopDefer / retire rule: defer until a robustness-bearing campaign produces a labeled corpus; retire if no advantage clears the gate after one campaign
Top-level policy: Each study program scopes what its evidence tier may reveal; no comparative claim is published until its claim gate opens.
Программа ядра
Программа ядра изучает базовую целевую производительность на базовом поле решателей — сравнение, которое лежит в основе всех остальных. Её семейства эталонов — планирование машин, цех заданий и гибкий цех заданий, и она противопоставляет нативную композицию ядра конструктивной и метаэвристической когорте сравнения. Её методология сочетает знаково-ранговый критерий Уилкоксона, омнибус Фридмана с апостериорной поправкой Холма, анализ критической разности Немени и размеры эффекта Варга–Делейни A12 и дельта Клиффа с доверительными интервалами BCa, по крайней мере на 30 независимых запусках на стохастическую ячейку. Её сравнительные ворота остаются закрытыми, пока полная сравнительная кампания не пройдёт статистические ворота.
Программа скорости
Программа скорости изучает эффективность по времени выполнения и в любой момент при согласованном завершении — трассы в любой момент, профили производительности и ворота согласованного качества при меньшем бюджете. Её семейства эталонов — поточный цех и планирование проектов с ограниченными ресурсами, а когорта сравнения — итеративная жадность, ALNS и VNS. Она применяет ту же непараметрическую методологию и тот же нижний порог запусков, что и программа ядра.
Программа качества
Программа качества изучает качество решения и многоцелевые показатели — разрывы цели, виды границы Парето и критической разности, таблицы показателей качества и абляцию. Её семейства эталонов — планирование проектов с ограниченными ресурсами и гибкий цех заданий, а когорта сравнения — меметический поиск и NSGA-III. Она сохраняет ту же статистическую дисциплину и нижний порог запусков, что и предыдущие программы.
Программа платформы
Программа платформы представляет самое широкое поле, которое публикует платформа, — кураторский межсемейный состав, представляющий каждое семейство решателей реестра, а не каждый зарегистрированный решатель, с покрытием возможностей, метки расстояния между распределениями, а также доказательства воспроизводимости и инструментария. В соответствии с представлением инспекции платформы неподтверждённое утверждение направляется в ограничения, а не преувеличивается. Её позиция по покрытию и воспроизводимости сегодня опирается на инспекцию артефактов — это позиция возможностей, а не утверждение о производительности; её сравнительные ворота остаются закрытыми, как и остальные.
Добавление программы исследований
Новая программа исследований следует тому же пути закрытия при сбое, который витрина показывает для каждой существующей. Строка будущего кандидата в витрине — это проработанный пример.
-
Зарегистрируйте уровень. Добавьте одну запись уровня в реестр уровней вместе с её значением уровня доказательств; контрактные тесты реестра обеспечивают полноту.
-
Объявите дорожку доказательств. Добавьте дорожку доказательств в атлас экспериментов — её семейства эталонов, состав, когорту, статистику, ворота и нижний порог запусков — или начните её сначала как будущего кандидата.
-
Подготовьте рабочее пространство. Создайте каталог рабочего пространства программы с её рецептом, а также пилотную и сравнительную конфигурации:
New-Item -ItemType Directory -Path .\experiments\programs\<id> Copy-Item .\experiments\configs\core-pilot.json ` .\experiments\configs\<id>-pilot.json Copy-Item .\experiments\configs\core-comparative.json ` .\experiments\configs\<id>-comparative.json -
Запустите. Выполните пилотную кампанию для нового уровня, затем соберите многоуровневый пакет с помощью инструмента командной строки analytica:
uv run python experiments\scripts\regenerate.py ` --config .\experiments\configs\<id>-pilot.json --tier <id> -
Опубликуйте. Перегенерируйте портал, чтобы программа появилась здесь автоматически; ворота свежести приводят к сбою сборки, если перегенерация пропущена:
uv run python tools\build_site_assets.py -
Задокументируйте. Добавьте раздел программы на эту страницу и продублируйте его на всех языках.
Навигация
- Пакеты доказательств — многоуровневые выгрузки, которые курирует каждая программа.
- Воспроизводимые кампании — рабочее пространство, которое выполняет кампании каждой программы.
- Обозреватель результатов — доказательства запусков, отфильтрованные по раскрытию.
- Загрузки — опубликованные пакеты доказательств.
- Цитирование — как цитировать платформу и её сопутствующие материалы.
- Инспекция платформы — проверенная по артефактам позиция по покрытию и воспроизводимости, которую резюмирует программа платформы.