]> dreyeck.freedombox.rocks Git - topic-maps.git/blob - docs/slice-22r-xml-resource-c14n.md
feat(tmdm): readers for the TMDM 7.2/7.3 relationships; tests for both default name...
[topic-maps.git] / docs / slice-22r-xml-resource-c14n.md
1 # Slice 22R — geschlossene XML-/C14N-Infrastruktur
2
3 ## Auftrag und Ausgangszustand
4
5 Basis `0cb182ebab1b90dd871048c031612acd9d302678` (22Q), Parent
6 `1418be83ad013fe6d69e6036e6786be8100b9355`; Arbeitsbaum und Index waren sauber.
7 Arbeitsbranch: `codex/xtm-slice-22r`.
8 [Anfangszustand mit Quellenhashes](../reports/slice-22r/initial-state.json).
9
10 Implementiert wird ausschließlich die zusätzliche XML-Infrastruktur für XTM
11 §4.16.3. Der XTM-Reader bleibt unverändert; insbesondere wird `xsd:anyType`
12 weiterhin nicht vom Reader verarbeitet. Kein neuer Originalvertrag wird registriert.
13 Die drei XTM-Dispositionen aus [22O](slice-22o-qualified-xtm-corpus-disposition.md)
14 und die offenen Abnahmetore A/B/C werden dadurch nicht abgeschlossen.
15
16 ## Quellen und abgegrenzter Normvertrag
17
18 Referenzen: [XTM §4.16.3](https://www.isotopicmaps.org/sam/sam-xtm/)
19 und [W3C Canonical XML 1.0, 15.03.2001](https://www.w3.org/TR/2001/REC-xml-c14n-20010315),
20 §§2.1–2.4, 3.2, 3.3, 3.6 und 4.2.
21 Die öffentliche XTM-Referenz bezeichnet die offizielle ISO-Ausgabe als maßgeblich.
22 Eine unabhängige Gegenprüfung an den offiziellen ISO-Ausgaben bleibt ausstehend.
23
24 **Aus den Referenzen abgeleitet:** XTM wählt die Elemente, Attribute und Zeichen
25 unterhalb von `resourceData`, ohne den Container. Namespace-Paare werden nach
26 Verwendung von URI **und** Prefix im gesamten ausgewählten Knotensatz gefiltert;
27 QName-artige Attributwerte zählen nicht. PI und Kommentare werden ausgelassen.
28 C14N 1.0 erhält ursprüngliche QNames, ordnet Namespaces nach Prefix und Attribute
29 nach Namespace-URI/Lokalname, expandiert leere Elemente und unterscheidet Text-
30 von Attribut-Escapes. Am ausgewählten Apex werden die nächsten geerbten
31 `xml:*`-Attribute ergänzt. Relative Namespace-URIs sind ein Fehler. Ausgabe ist
32 UTF-8 ohne BOM und der entsprechende Unicode-String. Es erfolgt keine
33 Normalisierung UCS-basierter Zeichenfolgen. Die Sonderregeln von C14N 1.1
34 für `xml:id`/`xml:base` gelten hier nicht.
35
36 Dies ist eine begrenzte Implementierung des XTM-Knotensatzes im bestehenden
37 **DOCTYPE-freien XML-Profil**, keine allgemeine XPath-C14N-Bibliothek.
38 DTD-Defaultattribute und externe Entities werden nicht nachgeladen. Exclusive
39 C14N und C14N 1.1 werden weder verwendet noch als austauschbar behandelt.
40 Die optionalen Parser-Encodings außerhalb des unten geprüften Eingabeprofils
41 werden durch diese Qualifikation nicht zusätzlich zugesichert.
42
43 ## Implementierung und öffentliche Schnittstelle
44
45 Die vorhandenen gepinnten Komponenten wurden in 22Q geprüft: Der CXML-Sink
46 implementiert eine ältere CanonXML-Form und ist kein W3C-C14N-1.0-Ersatz.
47 Der DOM-Builder kann den nötigen Kontext dagegen erhalten. Deshalb wird die
48 im Auftrag ausdrücklich erlaubte eigene, begrenzte Implementierung verwendet.
49 Es gibt keine neue externe Abhängigkeit.
50
51 - [resource-c14n.lisp](../src/xml/resource-c14n.lisp): zusätzliche Parseranbindung,
52 Namespace-Achsen, Knotenauswahl und Kanonisierung.
53 - [package.lisp](../src/xml/package.lisp): zusätzliche öffentliche Symbole.
54 - [topic-maps.asd](../topic-maps.asd): bestehendes XML-System und regulärer
55 XTM-ASDF-Testlauf laden die Komponenten.
56 - [Dauerhafte Tests](../tests/xml-resource-c14n.lisp), Aufruf und Berichtsfeld in
57 [xtm-identity.lisp](../tests/xtm-identity.lisp).
58
59 ```lisp
60 (let ((context (topic-maps.xml:parse-canonical-context original-octets)))
61 (topic-maps.xml:resource-data-count context)
62 (multiple-value-bind (value utf8-octets)
63 (topic-maps.xml:canonicalize-resource-data context :index 0)
64 (values value utf8-octets)))
65 ```
66
67 Der opake Kontext hält ein privates DOM des **gesamten Originaldokuments**.
68 `index` ist nullbasiert; Auswahl erfolgt nach erweitertem Namen und Dokumentreihenfolge.
69 Der Einstieg validiert keine XTM-Grammatik, entscheidet keinen Datentyp und
70 führt keine TMDM-Operation aus. Ein fehlender Index signalisiert
71 `CANONICALIZATION-ERROR/:resource-data-index`; relative Namespace-URIs
72 `CANONICALIZATION-ERROR/:relative-namespace-uri`.
73 Die Ausgabe darf leer, reiner Text oder ein Fragment mit mehreren Apex-Elementen sein.
74
75 `parse-octets` in [parser.lisp](../src/xml/parser.lisp) bleibt byteidentisch.
76 Die zusätzlichen SAX-Einstellungen sind dynamisch gebunden; Namespace-Deklarationen
77 und Original-Prefixe werden nur im neuen Einstieg erhalten. Qualification-Marker,
78 `closed-handler`, frischer DTD-Cache, abgeschalteter Katalog und der niemals
79 normal zurückkehrende Ressourcenverweigerer bleiben wirksam. Globale Parser-
80 Einstellungen und übergebene Eingabebytes bleiben unverändert.
81
82 ## Tatsächliche Byteergebnisse
83
84 Die vollständigen Eingabe-, Soll- und Ist-Bytes stehen als Hex sowie als String
85 im Feld `resourceDataC14N` von [xtm.json](../reports/slice-22r/after/xtm.json).
86 [Vergleichsübersicht](../reports/slice-22r/after/comparison-summary.json).
87 Jede der 18 22Q-Eingaben **und** Soll-Bytefolgen wird unverändert wiederverwendet:
88
89 | Gegenprobe aus 22Q | Ist / Soll (Bytes) | Ergebnis |
90 | --- | ---: | --- |
91 | simple | 12 / 12 | identisch |
92 | attributes-ba | 19 / 19 | identisch |
93 | attributes-ab | 19 / 19 | identisch |
94 | inherited-prefix | 28 / 28 | identisch |
95 | unused-local-namespace | 28 / 28 | identisch |
96 | inherited-default | 28 / 28 | identisch |
97 | nested | 42 / 42 | identisch |
98 | escaping | 66 / 66 | identisch |
99 | whitespace-line-endings | 17 / 17 | identisch |
100 | comments | 9 / 9 | identisch |
101 | lexical-cdata | 27 / 27 | identisch |
102 | lexical-escaped | 27 / 27 | identisch |
103 | unicode | 23 / 23 | identisch |
104 | processing-instruction | 9 / 9 | identisch |
105 | namespace-attribute-order | 65 / 65 | identisch |
106 | redundant-binding | 38 / 38 | identisch |
107 | unicode/UTF-16LE | 23 / 23 | identisch |
108 | unicode/UTF-16BE | 23 / 23 | identisch |
109
110 Zusätzlich bestehen Prefix-Shadowing, Default-Namespace-Wechsel, globale
111 Namespace-Verwendung, gleiche URI mit verschiedenen Prefixen, gefilterte
112 Namespace-Lücken, geerbtes/überschriebenes `xml:lang`/`xml:space`, C14N-1.0-
113 Behandlung von `xml:base`/`xml:id`, leere Inhalte/CDATA, reiner Text, mehrere
114 Apex-Elemente, Attributordnung und Zeichenreferenzen, dekomponierter UTF-8-Text
115 sowie U+FEFF im Inhalt. Keine Sollwerte wurden aus Ist-Ausgaben übernommen.
116
117 **Unabhängige normative Vektoren:** W3C §3.2 (169/169 Bytes), §3.3 ausschließlich
118 sein eigenständiges `e5`-Element samt veröffentlichter Ausgabe (146/146), §3.6
119 (ISO-8859-1-Deklaration, Zeichenreferenz und veröffentlichte UTF-8-Ausgabe,
120 13/13). Zwei vollständige Beispiele und ein ausdrücklich benannter Teilvektor.
121 Sie laufen zunächst ohne XTM-Hülle durch dieselbe interne Engine und zusätzlich
122 mit eingefügter `resourceData`-Hülle durch die **öffentliche** API; dabei bleibt
123 die unabhängige Soll-Ausgabe unverändert. Die Hülle und das Entfernen von
124 Prolog-Leerraum außerhalb des Dokumentelements sind in jeder Zeile ausgewiesen.
125 Die Vektoren sind aus den veröffentlichten XML-Beispielen transkribiert,
126 keine zusätzlich heruntergeladenen Testdateien. Darstellungsabstände in §3.2
127 werden als U+0020 wiedergegeben. Diese Vektoren benutzen alle ihre Namespace-Bindungen; XTM-Filterung verändert
128 deren normative Auswahl deshalb nicht.
129
130 Die DTD-enthaltenden vollständigen Beispiele §§3.1, 3.3, 3.4, 3.5 und 3.7 wurden
131 nicht als durchlaufen ausgegeben. Insbesondere wird weder beliebige XPath-Auswahl
132 noch DTD-/Entity-Unterstützung behauptet.
133
134 Qualifizierte Byte-Gegenproben decken UTF-8 mit/ohne BOM, UTF-16LE/BE mit BOM,
135 deklariertes UTF-16LE/BE ohne BOM und ISO-8859-1 ab. Wiederholte Ausgabe ist
136 identisch und verändert weder Eingabebytes noch DOM. Die alte Charakterisierung
137 `c14nPreflight` bleibt exakt wie 22Q: zehn passende und acht abweichende Zeilen.
138 Sie wird nicht nachträglich zum positiven C14N-Nachweis umgedeutet.
139
140 ## Sicherheits- und Modellnachweise
141
142 Gespeicherte konkrete Conditions: fünfmal `DOCTYPE-FORBIDDEN` (inklusive interner
143 und externer Deklarationen), XML-Struktur-/Namespacefehler und ungültiges UTF-8
144 als `WELL-FORMEDNESS-VIOLATION`, fehlende Qualification-Marker beider Komponenten
145 als `UNQUALIFIED-PARSER`, verweigerte File-/HTTP-Ressourcen als
146 `EXTERNAL-RESOURCE-FORBIDDEN`, relative Namespaces als `CANONICALIZATION-ERROR`.
147 Die tatsächlichen Parserargumente werden geprüft; ein NIL-Rückfall auf implizites
148 OPEN ist ausgeschlossen. Tests prüfen außerdem unveränderte globale Einstellungen,
149 explizite Übersteuerung ungeeigneter Ambient-Einstellungen, Auswahl nach Namespace
150 und Dokumentreihenfolge sowie die unveränderte alte XML-Bytegrenze.
151
152 Alle 41 durch die öffentliche API erzeugten Werte werden über `add-occurrence`
153 und `add-variant` gespeichert und verlustfrei gelesen: Wert und `xsd:anyType`,
154 kanonische Parent-/Type-/Scope-EQ-Referenzen, genau fünf bewusst erzeugte Topics,
155 wiederholte identische CXTM-Ausgabe und unveränderter Modellzustand.
156 Keine Topics entstehen aus XML-Namen oder Datentyp-IRIs. Diese nativen Prüfungen
157 sind Infrastruktur-/Modelltests, keine Ausführung eines XTM-anyType-Originalvertrags.
158
159 ## Offline-Regression, Integrität und Reproduktion
160
161 [Reproduktion](../reports/slice-22r/reproduce.py) verwendet den bestehenden
162 unveränderten `validate-slice-22d.py::collect`; Abhängigkeiten stammen aus lokalen
163 Pins mit den vorhandenen 19D0B-Patches. Jeder Lisp-Prozess startet SBCL 2.5.4
164 ohne Benutzer-/Systeminitialisierung. `sandbox-exec` sperrt Netzwerk und Schreibzugriff
165 auf Topic-Maps- und HyperDoc-Repository. Logs, Kommandos, Laufzeiten und Hashes
166 stehen in [runs.json](../reports/slice-22r/after/runs.json).
167
168 Der vollständige Abschlussaudit steht in
169 [execution.json](../reports/slice-22r/after/execution.json), die 113 erwarteten
170 Fehlerausgänge in [failure-controls-audit.json](../reports/slice-22r/after/failure-controls-audit.json).
171 Diese Kontrollausgänge werden nicht als erfolgreiche Originalverträge gezählt;
172 alle bisherigen Felder und Conditions bleiben identisch. Kein Retargeting.
173
174 Der reguläre XTM-Lauf führt 4.123 Checks aus: 3.844 erhaltene und 279 neue.
175 44 positive Bytevergleichszeilen, darunter 18 unveränderte 22Q-Zeilen und die
176 sechs unabhängigen W3C-/Hüllen-Zeilen; 41 native Wertprüfungen.
177 Erhalten bleiben 12.100 Kernchecks, 146 XML-Qualifikationschecks, sämtliche
178 Slice-20-Prüfungen, CTM/XTM-Mergemap und Äquivalenz (30 tatsächliche Reader-Paare,
179 529 Checks, drei Kontraste), Python (zwei Tests) und NFC-Oracle (16.294 Vergleiche).
180 Alle 124 XTM-Originaldiagnosen und sämtliche bisherigen Case Records bleiben unverändert.
181 46 erneut erzeugte Berichte sind byteidentisch zum gespeicherten 22Q-Stand.
182
183 | Registrierter Korpus | PASS | FAIL | NOT-RUN |
184 | --- | ---: | ---: | ---: |
185 | XTM 2.0 | 121 | 0 | 3 |
186 | CTM | 262 | 4 | 7 |
187
188 [Integritätsnachweis](../reports/slice-22r/after/integrity.json) prüft alle
189 unveränderten Basisdateien einschließlich gepinnter Originale/Baselines und aller
190 historischen Berichte: 10.957 geschützte Basisdateien, darunter 2.006 gepinnte
191 Korpusdateien und 8.645 historische Reportdateien. TMDM-, CTM-, XTM-Reader- und CXTM-Quellen bleiben unverändert.
192 Die vier bekannten CTM-FAILs und die offenen Fragen aus 22O bleiben sichtbar.
193
194 ```sh
195 python3 reports/slice-22r/reproduce.py --output /private/tmp/topic-maps-22r-new
196 python3 reports/slice-22r/reproduce.py --output /private/tmp/topic-maps-22r-new --audit-only
197 ```
198
199 Die zweite Zeile auditiert gespeicherte Ausführung und wird nicht als neuer
200 Testlauf ausgegeben. Frühere fehlgeschlagene Entwicklungsanläufe sind unter
201 [attempts/index.json](../reports/slice-22r/attempts/index.json) erhalten.
202 Die ersten drei scheiterten an Entwicklungsfehlern (String-Konstanten,
203 Testquellklammer, doppelte Check-Bezeichnung). Ein erster Gesamtlauf hatte alle
204 119 erwarteten Exit-Codes, scheiterte aber am irrtümlich angenommenen
205 Gesamtsummen-Logmarker im neuen Auditor. Dieser wurde durch die 24 tatsächlichen
206 Kernmarker ersetzt. Der abschließende Gesamtlauf verwendet die korrigierten
207 Quellen und eine zusätzlich präzisierte UTF-8-Condition-Prüfung. Kein Eingriff in `~/.nix-profile` oder
208 Sandbox-Konfiguration, keine neue Abhängigkeit, Reader-Integration oder Arbeit
209 an HyperDoc/langlebigen Images. Nach dem lokalen Commit endet Slice 22R.