]> dreyeck.freedombox.rocks Git - topic-maps.git/blobdiff - scripts/check-report.py
feat(ctm): support decimal occurrences and canonical lexical output
[topic-maps.git] / scripts / check-report.py
index bdcd909b59c52cb31cd3ade812faa4b9c97e81c4..39c462bb7f4f669c19c95da099a5d103a384adc5 100644 (file)
@@ -10,15 +10,31 @@ lock = json.loads((root / 'references/corpus-lock.json').read_text())
 assert report['repository'] == lock['repository'] and report['commit'] == lock['commit']
 assert report['qualification'] == lock['draftQualification']
 assert report['counts'] == lock['ctmCounts']
-assert report['implemented'] == dict(ctmParsing=False, tmdmDeserialization=False, cxtmCanonicalization=False)
+slice8 = len(sys.argv) > 2 and sys.argv[2] == '--slice-8'
+slice7 = slice8 or len(sys.argv) > 2 and sys.argv[2] == '--slice-7'
+slice6 = slice7 or len(sys.argv) > 2 and sys.argv[2] == '--slice-6'
+slice5 = slice6 or len(sys.argv) > 2 and sys.argv[2] == '--slice-5'
+slice4 = slice5 or len(sys.argv) > 2 and sys.argv[2] == '--slice-4'
+slice1 = slice4 or (len(sys.argv) > 2 and sys.argv[2] == '--slice-1')
+assert report['implemented'] == dict(ctmParsing=slice1, tmdmDeserialization=slice1, cxtmCanonicalization=slice4)
 assert report['countsMatchPin'] is True
 assert report['correspondence'] == dict(ok=True, missingInputs=[], missingBaselines=[], unmatchedBaselines=[], duplicateIDs=[])
 cases = report['cases']
 assert len(cases) == report['counts']['valid'] + report['counts']['invalid']
-assert report['statuses'] == {'pass': 0, 'fail': 0, 'unsupported': 0, 'not-run': len(cases)}
+passes = 49 if slice8 else 42 if slice7 else 36 if slice6 else 29 if slice5 else 25 if slice4 else int(slice1)
+assert report['statuses'] == {'pass': passes, 'fail': 0, 'unsupported': 0, 'not-run': len(cases)-passes}
 assert [c['id'] for c in cases] == sorted(c['id'] for c in cases)
 assert len({c['id'] for c in cases}) == len(cases)
-assert all(c['status'] == 'not-run' and c['actualOutcome'] is None and c['diagnostics'] == [] for c in cases)
+tested = [c for c in cases if c['status'] == 'pass']
+if slice4:
+    positives = [c for c in tested if c['category'] == 'valid']
+    assert len(positives) == (46 if slice8 else 39 if slice7 else 33 if slice6 else 28 if slice5 else 24) and all(c['actualOutcome'] == 'cxtm-match' for c in positives)
+untested = [c for c in cases if c not in tested]
+assert all(c['status'] == 'not-run' and c['actualOutcome'] is None and c['diagnostics'] == [] for c in untested)
+if slice1:
+    negative = next(c for c in cases if c['id'] == 'ctm/invalid/prefix-undefined.ctm')
+    assert negative['status'] == 'pass' and negative['actualOutcome'] == 'ctm-rejection'
+    assert len(negative['diagnostics']) == 1 and 'UNDEFINED-PREFIX' in negative['diagnostics'][0]
 assert all(c['documentIRI'] == 'https://ctm-tests.example.invalid/' + lock['commit'] + '/' + c['id'] for c in cases)
 assert sum(c['category'] == 'valid' for c in cases) == report['counts']['valid']
 assert sum(c['category'] == 'invalid' for c in cases) == report['counts']['invalid']
@@ -29,4 +45,10 @@ assert all((root/'vendor/cxtm'/c['expectedCXTM']).is_file() for c in cases if c[
 assert len(report['auxiliaryResources']) == report['counts']['auxiliary']
 assert len(report['baselines']) == report['counts']['baselines']
 assert len(report['infrastructureChecks']) == len(set(report['infrastructureChecks'])) > 0
-print('REPORT-JSON-PASS: deterministic schema, draft qualification, case contracts and zero CTM passes')
+print('REPORT-JSON-PASS: deterministic schema, draft qualification, case contracts and only warranted imported status changes')
+
+if slice6:
+    for name, reason in [('prefix-collision', 'PREFIX-COLLISION'), ('prefix-undefined2', 'UNDEFINED-PREFIX')]:
+        c = next(c for c in cases if c['id'] == f'ctm/invalid/{name}.ctm')
+        assert c['status'] == 'pass' and c['actualOutcome'] == 'ctm-rejection'
+        assert len(c['diagnostics']) == 1 and reason in c['diagnostics'][0]