]> dreyeck.freedombox.rocks Git - topic-maps.git/blobdiff - scripts/check-report.py
Support XTM topic name reification (Slice 21M)
[topic-maps.git] / scripts / check-report.py
index 212f7acaea4cbb660a0c25d54e06ee06dcaf3288..cdc732b297cb4945d362a82dd061a3f7c6aff472 100644 (file)
@@ -10,7 +10,19 @@ lock = json.loads((root / 'references/corpus-lock.json').read_text())
 assert report['repository'] == lock['repository'] and report['commit'] == lock['commit']
 assert report['qualification'] == lock['draftQualification']
 assert report['counts'] == lock['ctmCounts']
-slice9 = len(sys.argv) > 2 and sys.argv[2] == '--slice-9'
+slice19c = len(sys.argv) > 2 and sys.argv[2] == '--slice-19c'
+slice19b = slice19c or len(sys.argv) > 2 and sys.argv[2] == '--slice-19b'
+slice18 = slice19b or len(sys.argv) > 2 and sys.argv[2] == '--slice-18'
+slice17b = slice18 or len(sys.argv) > 2 and sys.argv[2] == '--slice-17b'
+slice17a = slice17b or len(sys.argv) > 2 and sys.argv[2] == '--slice-17a'
+slice16b = slice17a or len(sys.argv) > 2 and sys.argv[2] == '--slice-16b'
+slice15 = slice16b or len(sys.argv) > 2 and sys.argv[2] == '--slice-15'
+slice14 = slice15 or len(sys.argv) > 2 and sys.argv[2] == '--slice-14'
+slice13 = slice14 or len(sys.argv) > 2 and sys.argv[2] == '--slice-13'
+slice12a = slice13 or len(sys.argv) > 2 and sys.argv[2] == '--slice-12a'
+slice11 = slice12a or len(sys.argv) > 2 and sys.argv[2] == '--slice-11'
+slice10 = slice11 or len(sys.argv) > 2 and sys.argv[2] == '--slice-10'
+slice9 = slice10 or len(sys.argv) > 2 and sys.argv[2] == '--slice-9'
 slice8 = slice9 or len(sys.argv) > 2 and sys.argv[2] == '--slice-8'
 slice7 = slice8 or len(sys.argv) > 2 and sys.argv[2] == '--slice-7'
 slice6 = slice7 or len(sys.argv) > 2 and sys.argv[2] == '--slice-6'
@@ -22,15 +34,28 @@ assert report['countsMatchPin'] is True
 assert report['correspondence'] == dict(ok=True, missingInputs=[], missingBaselines=[], unmatchedBaselines=[], duplicateIDs=[])
 cases = report['cases']
 assert len(cases) == report['counts']['valid'] + report['counts']['invalid']
-passes = 59 if slice9 else 49 if slice8 else 42 if slice7 else 36 if slice6 else 29 if slice5 else 25 if slice4 else int(slice1)
-assert report['statuses'] == {'pass': passes, 'fail': 0, 'unsupported': 0, 'not-run': len(cases)-passes}
+passes = 204 if slice19c else 194 if slice19b else 187 if slice18 else 120 if slice17b else 107 if slice17a else 106 if slice16b else 93 if slice15 else 71 if slice14 else 67 if slice13 else 64 if slice12a else 62 if slice10 else 59 if slice9 else 49 if slice8 else 42 if slice7 else 36 if slice6 else 29 if slice5 else 25 if slice4 else int(slice1)
+assert report['statuses'] == {'pass': passes, 'fail': (4 if slice19c else 2 if slice11 else int(slice10)), 'unsupported': 0, 'not-run': len(cases)-passes-(4 if slice19c else 2 if slice11 else int(slice10))}
 assert [c['id'] for c in cases] == sorted(c['id'] for c in cases)
 assert len({c['id'] for c in cases}) == len(cases)
 tested = [c for c in cases if c['status'] == 'pass']
 if slice4:
     positives = [c for c in tested if c['category'] == 'valid']
-    assert len(positives) == (51 if slice9 else 46 if slice8 else 39 if slice7 else 33 if slice6 else 28 if slice5 else 24) and all(c['actualOutcome'] == 'cxtm-match' for c in positives)
-untested = [c for c in cases if c not in tested]
+    assert len(positives) == (176 if slice19c else 169 if slice19b else 165 if slice18 else 108 if slice17b else 95 if slice17a else 94 if slice16b else 83 if slice15 else 62 if slice14 else 59 if slice13 else 56 if slice12a else 54 if slice10 else 51 if slice9 else 46 if slice8 else 39 if slice7 else 33 if slice6 else 28 if slice5 else 24) and all(c['actualOutcome'] == 'cxtm-match' for c in positives)
+failed = [c for c in cases if c['status'] == 'fail']
+if slice10:
+    expected_failed = {'ctm/in/occurrence-datetime2.ctm'}
+    if slice11:
+        expected_failed.add('ctm/in/occurrence-datetime-timezone2.ctm')
+    if slice19c:
+        expected_failed.update({'ctm/in/include-template.ctm', 'ctm/in/include-wildcard2.ctm'})
+    assert {c['id'] for c in failed} == expected_failed
+    assert all(c['actualOutcome'] == 'cxtm-mismatch' and 'normative discrepancy' in c['diagnostics'][0] for c in failed)
+    offset = next(c for c in cases if c['id'] == 'ctm/in/occurrence-datetime-timezone2.ctm')
+    assert offset['status'] == ('fail' if slice11 else 'not-run')
+else:
+    assert not failed
+untested = [c for c in cases if c['status'] == 'not-run']
 assert all(c['status'] == 'not-run' and c['actualOutcome'] is None and c['diagnostics'] == [] for c in untested)
 if slice1:
     negative = next(c for c in cases if c['id'] == 'ctm/invalid/prefix-undefined.ctm')
@@ -60,3 +85,15 @@ if slice9:
         c = next(c for c in cases if c['id'] == f'ctm/invalid/{name}.ctm')
         assert c['status'] == 'pass' and c['actualOutcome'] == 'ctm-rejection'
         assert len(c['diagnostics']) == 1 and reason in c['diagnostics'][0]
+
+if slice14:
+    c = next(c for c in cases if c['id'] == 'ctm/invalid/variant-no-scope.ctm')
+    assert c['status'] == 'pass' and c['actualOutcome'] == 'ctm-rejection'
+    assert len(c['diagnostics']) == 1 and 'EXPECTED-VARIANT-SCOPE' in c['diagnostics'][0]
+
+if slice15:
+    c = next(c for c in cases if c['id'] == 'ctm/invalid/embedded-topic-global-scope.ctm')
+    assert c['status'] == 'pass' and c['actualOutcome'] == 'ctm-rejection'
+    assert len(c['diagnostics']) == 1 and 'EMBEDDED-TOPIC-AT-TOP-LEVEL' in c['diagnostics'][0]
+    c = next(c for c in cases if c['id'] == 'ctm/invalid/embedded-topic-template.ctm')
+    assert (c['status'] == 'pass' and c['actualOutcome'] == 'ctm-rejection') if slice18 else (c['status'] == 'not-run' and c['actualOutcome'] is None)