विश्लेषण निर्यात

dispatchatlas.analytica पूर्ण कैंपेन रिपॉज़िटरियों को सांख्यिकीय सारांशों, नियतात्मक आकृतियों, प्रमाण बंडलों, और पोर्टल-तैयार डेटासेटों में बदलता है। यह पैकेज स्थिर JSON मैनिफ़ेस्ट उपभोग करता है और कैंपेन रनटाइम आयात नहीं करता।

चलाने-योग्य उदाहरण: examples/analyze_results.py एक परिणाम समुच्चय को अप्राचलिक सांख्यिकी, प्रभाव-आकार, विश्वास अंतराल, नियतात्मक तालिकाओं, और द्वि-स्वरूप आकृतियों के साथ सारांशित करता है।

📥 इनपुट

विश्लेषण लोडर एक कैंपेन निर्देशिका की अपेक्षा करता है जिसमें हो:

• पूर्ण, विफल, और लंबित रन id वाला checkpoint.json।
• रन क्रम और प्रकटीकरण लेबल वाला plan.json।
• गैर-गोपनीय परिवेश तथ्यों वाला environment.json।
• results/*.json पूर्ण रन पंक्तियाँ।
• मौजूद होने पर failures/*.json विफल प्रयास पंक्तियाँ।

अनुपस्थित चेकपॉइंट, सामग्री हैश, उद्देश्य मान, या प्रकटीकरण लेबल विश्लेषण आरंभ होने से पहले अंतर्ग्रहण को विफल कर देते हैं।

📊 सांख्यिकीय विधियाँ

एक नामित-विधि रजिस्ट्री प्रत्येक विश्लेषण विधि को उसकी डेटा धारणाओं, न्यूनतम-नमूना नियम, विफलता मोड, और न्यूनतम प्रमाण स्तर के साथ घोषित करती है। प्रत्येक अनुमिति विधि और गुणवत्ता सूचक को प्रति यादृच्छिक सॉल्वर-इंस्टेंस कोष्ठक कम-से-कम 30 स्वतंत्र रन चाहिए; एक तल-से-नीचे नमूना एक अमान्य परिणाम उत्पन्न करने के बजाय सीमा-सतह पर मार्गित होता है।

प्रत्येक उद्देश्य के लिए, सारांश परत सॉल्वर गणनाएँ, व्यवहार्य गणनाएँ, माध्य, माध्यिका, मानक विचलन, अभिनति-संशोधित व त्वरित (BCa) बूटस्ट्रैप विश्वास अंतराल, युग्मवार तुलना के लिए Vargha-Delaney A12 और Cliff's delta प्रभाव-आकारों सहित Wilcoxon चिह्नित-कोटि परीक्षण, बहु-सॉल्वर क्षेत्र पर Friedman ऑम्निबस परीक्षण और Nemenyi क्रांतिक-अंतर पोस्ट-हॉक, युग्मवार परिवार पर Holm या Hochberg संशोधन, और बेंचमार्क समस्या द्वारा औसत कोटियाँ रिपोर्ट करती है। बहु-उद्देश्य फ्रंट अतिरिक्त रूप से हाइपरवॉल्यूम (प्राथमिक), IGD+, योगात्मक epsilon-सूचक, और प्रसार गुणवत्ता सूचक रिपोर्ट करते हैं।

डिफ़ॉल्ट उद्देश्य न्यूनीकरण सिमेंटिक्स के साथ makespan है। Wilcoxon परीक्षण छोटे बंधन-रहित नमूनों के लिए सटीक शून्य वितरण और अन्यथा बंधन-संशोधित सामान्य सन्निकटन का उपयोग करता है। विश्वास अंतराल एक दर्ज सीड के साथ नियतात्मक बूटस्ट्रैप पुनर्नमूनाकरण का उपयोग करते हैं; वे प्रेक्षित कैंपेन नमूने का वर्णन करते हैं और अपने आप में पूर्ण-कैंपेन दावे नहीं हैं।

संवृत-रूप Bayesian चिह्न परीक्षण के साथ-साथ, bayesian_signed_rank_test युग्मित अंतरों के Walsh औसतों पर एक सीड की गई Dirichlet-प्रक्रिया पश्च वितरण खींचता है, अतः सतत मीट्रिक Benavoli, Corani, Demšar और Zaffalon (2017) की परिमाण-सचेत Bayesian तुलना प्राप्त करते हैं; चिह्न परीक्षण संवृत-रूप डिफ़ॉल्ट बना रहता है। बहु-तुलना परिवार Shaffer की स्थैतिक चरण-अवरोही प्रक्रिया जोड़ता है, जो एक पूर्ण सर्व-युग्म तुलना परिवार की तार्किक बाधाओं का दोहन करती है और एक आंशिक परिवार पर विफल-होकर-बंद हो जाती है (Shaffer 1986), और Finner का चरण-अवरोही संशोधन, एक सरल सामर्थ्य-लाभ जो किसी भी परिवार को स्वीकार करता है (Finner 1993); Holm विन्यासित डिफ़ॉल्ट बना रहता है। सापेक्ष प्रतिशत विचलन इष्टतमता-अंतराल विधियों से जुड़ता है: arpd_rows प्रत्येक व्यवहार्य रन को एक कॉलर-प्रदत्त सर्वोत्तम-ज्ञात संदर्भ मान के विरुद्ध स्पष्ट उद्गम के साथ अंक देता है, और ensure_equal_budgets उसके पीछे के आकार-मापित समान-बजट प्रोटोकॉल का सत्यापन करता है — सॉल्वरों में प्रति समस्या एक समरूप बजट, बजट इंस्टेंस आकार के साथ बढ़ने के लिए स्वतंत्र (Vallada, Ruiz और Framiñan 2015)। बहु-उद्देश्य हाइपरवॉल्यूम तुलनाएँ अपना साझा संदर्भ बिंदु अभिलेखित करती हैं: multiobjective_indicator_report बिंदु को एक नामित नियम के अंतर्गत व्युत्पन्न करता है — मार्जिन-अंश डिफ़ॉल्ट या ishibuchi-h मापन — और आदर्श, नादिर, नियम, प्राचल, तथा एक विफल-होकर-बंद उद्गम शब्दावली को एक ReferencePointRecord में दर्ज करता है, और ensure_shared_reference_points उन कलाकृतियों की तुलना करने से इनकार करता है जिनके अभिलेखित बिंदु भिन्न हों (Ishibuchi, Imada, Setoguchi और Nojima 2018; सटीक प्रकाशित ऑफ़सेट ऑपरेटर-समीक्षित पूर्ण पाठ के लंबित रहने तक APPROXIMATE चिह्नित रहता है)। एक कठोर नियम प्रत्येक निर्यातित तालिका की रक्षा करता है: एक p-मान कभी अपने साथ एक प्रभाव-आकार और एक अंतराल के बिना शिप नहीं होता। ensure_effect_sizes_beside_p_values तालिका निर्माताओं के भीतर और पुनः बंडल-लेखन समय पर शीर्षकों की जाँच करता है, किसी भी नग्न सार्थकता स्तंभ पर विफल-होकर-बंद होते हुए (Carrasco, García, Rueda, Das और Herrera 2020)।

🖼️ आकृतियाँ और तालिकाएँ

प्रमाण बंडलों में सॉल्वर सारांशों, युग्मवार तुलनाओं, रैंकिंगों, बेंचमार्क कवरेज, और अव्यवहार्य पंक्तियों के लिए Markdown तालिकाएँ शामिल हैं। SVG आकृतियाँ रैंकिंग बार, प्रदर्शन प्रोफ़ाइल, रन-क्रम द्वारा उद्देश्य प्रवृत्तियाँ, Nemenyi क्रांतिक-अंतर आरेख, रनटाइम-गुणवत्ता समझौते, अभिसरण प्रक्षेपवक्र, अन्वेषण-दोहन संतुलन, इंस्टेंस आकार द्वारा रनटाइम स्केलेबिलिटी, सीड स्थिरता (विचरण गुणांक), सुदृढ़ता (CVaR पुच्छ जोखिम), और बेंचमार्क अभिलक्षण के लिए सुलभ title और desc मेटाडेटा वहन करती हैं। एक आकृति मैनिफ़ेस्ट प्रत्येक आकृति की भूमिका, उद्गम, और सुलभता टिप्पणी दर्ज करता है। ऐसी आकृतियाँ जो किसी कैंपेन द्वारा अनदर्ज निदान (रनटाइम, अभिसरण ट्रेस, जनसंख्या विविधता, इंस्टेंस स्केल) या अनेक सीडों (सीड स्थिरता) पर निर्भर हैं, एक सीमा सूचना रेंडर करती हैं। एक supplement/limitations.md सीमाओं पर मार्गित प्रत्येक विधि को एकत्र करता है।

समान इनपुट के विरुद्ध समान निर्यात पुनः चलाने पर समान JSON, तालिका, और आकृति पेलोड उत्पन्न होते हैं।

Dolan-Moré प्रदर्शन प्रोफ़ाइल अपने Moré-Wild साथी के साथ चलती है: data_profile_svg और data_profile_tex (सॉल्वर, समस्या) कोष्ठकों के उस अंश को आरेखित करते हैं जो मूल्यांकन-समूहों के एक बजट के भीतर एक लक्ष्य यथार्थता तक हल हो जाते हैं — सिम्प्लेक्स-प्रवणता इकाई का मूल्यांकन-समूह अनुकूलन — उन्हीं अभिसरण ट्रेसों से जिन्हें अभिसरण आकृतियाँ उपभोग करती हैं, और ट्रेस-रहित एक डेटासेट सीमा आकृति पर मार्गित होता है। दो से अधिक सॉल्वरों की तुलना करने वाली प्रदर्शन प्रोफ़ाइलें दोनों आउटपुट रूपों में एक व्याख्या-चेतावनी वहन करती हैं: एक प्रोफ़ाइल प्रत्येक सॉल्वर को केवल प्रति-समस्या सर्वोत्तम के विरुद्ध कोटि देती है, अतः गैर-सर्वोत्तम सॉल्वरों का सापेक्ष क्रम अंतर्निहित नहीं है (Gould और Scott 2016)।

⚖️ प्लेटफ़ॉर्म तुलना

प्लेटफ़ॉर्म-तुलना निर्यात प्रतिद्वंद्वी-फ़्रेमवर्क क्षमता पंक्तियाँ, एक विशेषता-समृद्धि कवरेज मैट्रिक्स, एक यथार्थ-अंतराल सेतु आकलन, और कलाकृति-निरीक्षण पंक्तियाँ रेंडर करते हैं। प्रत्येक पंक्ति एक प्रमाण-स्रोत लेबल (documented, measured, artifact-inspected, vendor-claim, या unsupported) वहन करती है, और कोई भी असमर्थित पंक्ति एक सीमा-व-भविष्य-कार्य सतह पर मार्गित होती है। निर्यात एक स्थायी रक्षक पंक्ति वहन करता है: तालिकाएँ प्लेटफ़ॉर्म क्षमताओं, विशेषताओं, और कलाकृतियों की तुलना करती हैं, और प्रत्यक्ष प्रदर्शन दावे नहीं हैं — प्रदर्शन प्रमाण सांख्यिकीय विश्लेषण निर्यातों में रहता है।

🥊 आमने-सामने तुलना गली

आमने-सामने गली समान नामित अप्राचलिक परीक्षणों का उपयोग करते हुए एक केंद्रीय सॉल्वर की एक नामित आधाररेखा समूह से तुलना करती है, प्रत्येक पंक्ति को केंद्रीय सॉल्वर की ओर अभिमुख करती है, और एक समूह-को-हराता-है दावे को इस पर परिबद्ध करती है कि केंद्रीय सॉल्वर सर्वोत्तम औसत कोटि धारण करे और संशोधित सार्थकता स्तर पर अपने पक्ष में प्रभाव-आकार के साथ प्रत्येक युग्मवार तुलना जीते। एल्गोरिद्मिक-जटिलता और संरचना/आंतरिक/बाह्य वैधता-संकट तालिका निर्माता रिपोर्ट उपभोग के लिए गली के साथ चलते हैं।

🔒 प्रकटीकरण नीति

निर्यात निष्पादन-योग्य प्रकटीकरण नीतियों के माध्यम से फ़िल्टर होते हैं:

• core केवल कोर/सार्वजनिक प्रमाण की अनुमति देता है।
• speed कोर, गति, और सार्वजनिक प्रमाण की अनुमति देता है।
• quality कोर, गति, गुणवत्ता, और सार्वजनिक प्रमाण की अनुमति देता है।
• platform संपादित स्रोत और बासी-कथा शब्दों को अब भी अवरुद्ध रखते हुए प्लेटफ़ॉर्म प्रमाण की अनुमति देता है।

निषिद्ध पंक्तियाँ प्रमाण और पोर्टल डेटासेटों से बहिष्कृत की जाती हैं और कारण सहित एक अनुपूरक बहिष्करण मैनिफ़ेस्ट में लिखी जाती हैं।

🗂️ बंडल लेआउट

evidence-bundle/
  bundle.json
  tables/
    solver-summary.md
    pairwise-comparisons.md
    rankings.md
    benchmarks.md
    infeasible-rows.md
  figures/
    performance-profile.svg
    solver-rankings.svg
    run-order-trend.svg
    critical-difference.svg
    runtime-quality.svg
    convergence.svg
    characterization.svg
    exploration-exploitation.svg
    scalability.svg
    stability.svg
    robustness.svg
    figure-manifest.json
  supplement/
    exclusions.json
    limitations.md

bundle.json प्रत्येक उत्पन्न फ़ाइल को सूचीबद्ध करता है और प्रामाणिक मैनिफ़ेस्ट पेलोड को हैश करता है, अतः प्रत्येक तालिका, आकृति, और अनुपूरक एक एकल ट्रैक की गई, सामग्री-संबोधित मैनिफ़ेस्ट के भीतर रहता है।

⌨️ कमांड

uv run dispatchatlas export `
  --campaign-dir .\experiments\results\smoke-pilot `
  --target-dir .\exports\smoke-pilot `
  --authorized-output-root .\exports `
  --tier core `
  --objective makespan `
  --portal

कमांड एक प्रमाण बंडल साथ ही एक वैकल्पिक पोर्टल डेटासेट लिखता है। प्रमाण बंडल में तालिकाएँ, आकृतियाँ, और अनुपूरक बहिष्करण शामिल हैं। पोर्टल JSON में खोज-योग्य टैग, प्रकटीकरण लेबल, उद्देश्य मान, रन id, और हैश-संबद्ध कैंपेन मेटाडेटा शामिल हैं। --target-dir को --authorized-output-root के भीतर हल होना चाहिए; डिफ़ॉल्ट प्राधिकृत जड़ वर्तमान कार्यशील निर्देशिका है।

विकल्प विवरण और उदाहरणों के लिए uv run dispatchatlas export --help चलाएँ। रनटाइम इनपुट त्रुटियाँ डिफ़ॉल्ट रूप से एक पुनर्प्राप्ति संदेश छापती हैं; जब विकास के लिए एक Python ट्रेसबैक चाहिए तब उपकमांड से पहले --debug पास करें।

📝 रिपोर्ट ढाँचे

विश्लेषण परत एक प्रकटीकरण-फ़िल्टर किए प्रमाण बंडल को भी एक प्रमाण-स्तर द्वारा कुंजीबद्ध नियतात्मक रिपोर्ट ढाँचे में बदलती है। एक ReportScaffoldSpec योगदान दावा, डिज़ाइन तर्काधार, और दावा गेट घोषित करता है; write_report_scaffold प्रमाण बंडल साथ ही एक व्यापक खंड योजना, एक योगदान दावा, एक दावा-गेट बहीखाता, और एक संपादन रिपोर्ट report/ के अंतर्गत लिखता है। प्रत्येक खंड एक फ़िल्टर किए प्रमाण कलाकृति पर आधारित होता है, और उत्पन्न ढाँचा स्कैन किया जाता है ताकि एक परवर्ती-स्तर तंत्र या एक प्रतिबंधित आंतरिक चिह्न लेखन को विफल-होकर-बंद कर दे।

दावा गेट विफल-होकर-बंद हैं: एक डिज़ाइन-स्तरीय दावा बिना शर्त खुलता है, जबकि एक तुलनात्मक दावा तब तक बंद रहता है जब तक एक आमने-सामने तुलना प्रत्येक युग्मित गणना को सांख्यिकीय सामर्थ्य तल पर या उससे ऊपर रखते हुए समूह को न हरा दे। प्रमाण स्तरों पर एक contribution_partition प्रति स्तर शून्य-अतिव्यापन योगदान सिद्ध करता है, और redaction_report एक कॉलर-प्रदत्त रजिस्टर स्वीकार करता है ताकि एक गैर-सार्वजनिक प्रारूप जाँचा जा सके बिना कि वह रजिस्टर कभी शिप किए स्रोत में प्रवेश करे।

uv run dispatchatlas report `
  --campaign-dir .\experiments\results\smoke-pilot `
  --target-dir .\scaffolds\smoke-pilot `
  --authorized-output-root .\scaffolds `
  --tier core