]> dreyeck.freedombox.rocks Git - topic-maps.git/blobdiff - scripts/check-report.py
Implement CXTM canonicalization for supported TMDM items
[topic-maps.git] / scripts / check-report.py
index 43a1c2d79faaeeba5368f9fe01fb67c9e53e26e2..379f65656690d183168548731a7660a6394518dc 100644 (file)
@@ -10,16 +10,22 @@ lock = json.loads((root / 'references/corpus-lock.json').read_text())
 assert report['repository'] == lock['repository'] and report['commit'] == lock['commit']
 assert report['qualification'] == lock['draftQualification']
 assert report['counts'] == lock['ctmCounts']
 assert report['repository'] == lock['repository'] and report['commit'] == lock['commit']
 assert report['qualification'] == lock['draftQualification']
 assert report['counts'] == lock['ctmCounts']
-slice1 = len(sys.argv) > 2 and sys.argv[2] == '--slice-1'
-assert report['implemented'] == dict(ctmParsing=slice1, tmdmDeserialization=slice1, cxtmCanonicalization=False)
+slice4 = len(sys.argv) > 2 and sys.argv[2] == '--slice-4'
+slice1 = slice4 or (len(sys.argv) > 2 and sys.argv[2] == '--slice-1')
+assert report['implemented'] == dict(ctmParsing=slice1, tmdmDeserialization=slice1, cxtmCanonicalization=slice4)
 assert report['countsMatchPin'] is True
 assert report['correspondence'] == dict(ok=True, missingInputs=[], missingBaselines=[], unmatchedBaselines=[], duplicateIDs=[])
 cases = report['cases']
 assert len(cases) == report['counts']['valid'] + report['counts']['invalid']
 assert report['countsMatchPin'] is True
 assert report['correspondence'] == dict(ok=True, missingInputs=[], missingBaselines=[], unmatchedBaselines=[], duplicateIDs=[])
 cases = report['cases']
 assert len(cases) == report['counts']['valid'] + report['counts']['invalid']
-assert report['statuses'] == {'pass': int(slice1), 'fail': 0, 'unsupported': 0, 'not-run': len(cases)-int(slice1)}
+passes = 25 if slice4 else int(slice1)
+assert report['statuses'] == {'pass': passes, 'fail': 0, 'unsupported': 0, 'not-run': len(cases)-passes}
 assert [c['id'] for c in cases] == sorted(c['id'] for c in cases)
 assert len({c['id'] for c in cases}) == len(cases)
 assert [c['id'] for c in cases] == sorted(c['id'] for c in cases)
 assert len({c['id'] for c in cases}) == len(cases)
-untested = [c for c in cases if not (slice1 and c['id'] == 'ctm/invalid/prefix-undefined.ctm')]
+tested = [c for c in cases if c['status'] == 'pass']
+if slice4:
+    positives = [c for c in tested if c['category'] == 'valid']
+    assert len(positives) == 24 and all(c['actualOutcome'] == 'cxtm-match' for c in positives)
+untested = [c for c in cases if c not in tested]
 assert all(c['status'] == 'not-run' and c['actualOutcome'] is None and c['diagnostics'] == [] for c in untested)
 if slice1:
     negative = next(c for c in cases if c['id'] == 'ctm/invalid/prefix-undefined.ctm')
 assert all(c['status'] == 'not-run' and c['actualOutcome'] is None and c['diagnostics'] == [] for c in untested)
 if slice1:
     negative = next(c for c in cases if c['id'] == 'ctm/invalid/prefix-undefined.ctm')