]> dreyeck.freedombox.rocks Git - topic-maps.git/blobdiff - scripts/check-report.py
Implement Topic-set Scope across TMDM, CTM and CXTM
[topic-maps.git] / scripts / check-report.py
index e12e967e86531697717e0b81470a889391aaf685..c8e9860ac799454d86e650d0075f9fa304ddb776 100644 (file)
@@ -10,7 +10,10 @@ lock = json.loads((root / 'references/corpus-lock.json').read_text())
 assert report['repository'] == lock['repository'] and report['commit'] == lock['commit']
 assert report['qualification'] == lock['draftQualification']
 assert report['counts'] == lock['ctmCounts']
-slice10 = len(sys.argv) > 2 and sys.argv[2] == '--slice-10'
+slice13 = len(sys.argv) > 2 and sys.argv[2] == '--slice-13'
+slice12a = slice13 or len(sys.argv) > 2 and sys.argv[2] == '--slice-12a'
+slice11 = slice12a or len(sys.argv) > 2 and sys.argv[2] == '--slice-11'
+slice10 = slice11 or len(sys.argv) > 2 and sys.argv[2] == '--slice-10'
 slice9 = slice10 or len(sys.argv) > 2 and sys.argv[2] == '--slice-9'
 slice8 = slice9 or len(sys.argv) > 2 and sys.argv[2] == '--slice-8'
 slice7 = slice8 or len(sys.argv) > 2 and sys.argv[2] == '--slice-7'
@@ -23,20 +26,20 @@ assert report['countsMatchPin'] is True
 assert report['correspondence'] == dict(ok=True, missingInputs=[], missingBaselines=[], unmatchedBaselines=[], duplicateIDs=[])
 cases = report['cases']
 assert len(cases) == report['counts']['valid'] + report['counts']['invalid']
-passes = 62 if slice10 else 59 if slice9 else 49 if slice8 else 42 if slice7 else 36 if slice6 else 29 if slice5 else 25 if slice4 else int(slice1)
-assert report['statuses'] == {'pass': passes, 'fail': int(slice10), 'unsupported': 0, 'not-run': len(cases)-passes-int(slice10)}
+passes = 67 if slice13 else 64 if slice12a else 62 if slice10 else 59 if slice9 else 49 if slice8 else 42 if slice7 else 36 if slice6 else 29 if slice5 else 25 if slice4 else int(slice1)
+assert report['statuses'] == {'pass': passes, 'fail': (2 if slice11 else int(slice10)), 'unsupported': 0, 'not-run': len(cases)-passes-(2 if slice11 else int(slice10))}
 assert [c['id'] for c in cases] == sorted(c['id'] for c in cases)
 assert len({c['id'] for c in cases}) == len(cases)
 tested = [c for c in cases if c['status'] == 'pass']
 if slice4:
     positives = [c for c in tested if c['category'] == 'valid']
-    assert len(positives) == (54 if slice10 else 51 if slice9 else 46 if slice8 else 39 if slice7 else 33 if slice6 else 28 if slice5 else 24) and all(c['actualOutcome'] == 'cxtm-match' for c in positives)
+    assert len(positives) == (59 if slice13 else 56 if slice12a else 54 if slice10 else 51 if slice9 else 46 if slice8 else 39 if slice7 else 33 if slice6 else 28 if slice5 else 24) and all(c['actualOutcome'] == 'cxtm-match' for c in positives)
 failed = [c for c in cases if c['status'] == 'fail']
 if slice10:
-    assert len(failed) == 1 and failed[0]['id'] == 'ctm/in/occurrence-datetime2.ctm'
+    assert len(failed) == (2 if slice11 else 1) and {c['id'] for c in failed} == ({'ctm/in/occurrence-datetime2.ctm', 'ctm/in/occurrence-datetime-timezone2.ctm'} if slice11 else {'ctm/in/occurrence-datetime2.ctm'})
     assert failed[0]['actualOutcome'] == 'cxtm-mismatch' and 'normative discrepancy' in failed[0]['diagnostics'][0]
     offset = next(c for c in cases if c['id'] == 'ctm/in/occurrence-datetime-timezone2.ctm')
-    assert offset['status'] == 'not-run'
+    assert offset['status'] == ('fail' if slice11 else 'not-run')
 else:
     assert not failed
 untested = [c for c in cases if c['status'] == 'not-run']