]> dreyeck.freedombox.rocks Git - topic-maps.git/blobdiff - src/xtm/reader.lisp
examples: explore project work through native Topic Maps (slice 22U)
[topic-maps.git] / src / xtm / reader.lisp
index eebf157784e6004d66e958195791bc115327e402..d8b15a33245d685277ed5cff8eca9cde23296215 100644 (file)
@@ -1,5 +1,7 @@
 (in-package #:topic-maps.xtm)
 
 (in-package #:topic-maps.xtm)
 
+(defparameter +any-type+ "http://www.w3.org/2001/XMLSchema#anyType")
+
 (defparameter +namespace+ "http://www.topicmaps.org/xtm/")
 ;; This is a source tree of XML events, not a second Topic Maps object model.
 ;; Positions are SAX approximations at the end of a start tag, never byte spans.
 (defparameter +namespace+ "http://www.topicmaps.org/xtm/")
 ;; This is a source tree of XML events, not a second Topic Maps object model.
 ;; Positions are SAX approximations at the end of a start tag, never byte spans.
   (let ((node (pop (handler-stack h)))) (setf (node-children node) (nreverse (node-children node)))))
 (defmethod sax:end-document ((h source-handler)) (handler-root h))
 
   (let ((node (pop (handler-stack h)))) (setf (node-children node) (nreverse (node-children node)))))
 (defmethod sax:end-document ((h source-handler)) (handler-root h))
 
+;;; Document-local association, not a second XML or Topic Maps model. The
+;;; opaque context is NEVER supplied by callers or reused between documents.
+(defstruct xml-resource-binding document-iri source-key original snapshot nodes indices values)
+(defvar *xml-resource-binding* nil)
+(defun source-resource-nodes (node)
+  ;; Same expanded-name predicate and complete preorder as XML's documented
+  ;; RESOURCE-DATA-COUNT / CANONICALIZE-RESOURCE-DATA. Do not count only anyType
+  ;; or skip foreign subtrees: every resourceData slot affects the ordinal.
+  (append (when (and (equal (node-uri node) +namespace+) (equal (node-name node) "resourceData")) (list node))
+    (loop for child in (node-children node) unless (stringp child) append (source-resource-nodes child))))
+(defun resource-association-error (detail)
+  ;; Internal association failure, not a claim that valid XTM is syntactically
+  ;; invalid. There is no native source span for this invariant; use NIL.
+  (error 'xtm-xml-error :code :resource-data-association :detail detail :cause nil
+    :document-iri *document-iri* :source-key *source-key* :line nil :column nil))
+(defun prepare-xml-resources (root original snapshot)
+  (let* ((nodes (coerce (source-resource-nodes root) 'vector))
+         (any (find +any-type+ nodes :test #'equal :key (lambda (n) (attr n "datatype")))))
+    (when any
+      (unless (equalp original snapshot) (resource-association-error "Original XML octets changed after source parsing."))
+      ;; Provenance is established by construction: this private call uses only
+      ;; the octet snapshot taken BEFORE parsing this source tree. No DOM/private
+      ;; XML API or reconstructed XML is used for association or canonicalization.
+      (let* ((context (topic-maps.xml:parse-canonical-context snapshot))
+             (indices (make-hash-table :test #'eq))
+             (values (make-array (length nodes) :initial-element nil)))
+        (unless (= (length nodes) (topic-maps.xml:resource-data-count context))
+          (resource-association-error "Source/context resourceData inventories disagree."))
+        (loop for n across nodes for i from 0 do
+          (when (nth-value 1 (gethash n indices)) (resource-association-error "Source resourceData node occurs twice."))
+          (setf (gethash n indices) i)
+          (when (equal (attr n "datatype") +any-type+)
+            (setf (aref values i)
+              (handler-case (topic-maps.xml:canonicalize-resource-data context :index i)
+                (topic-maps.xml:canonicalization-error (c)
+                  (error 'xtm-xml-error :code (topic-maps.xml:canonicalization-error-code c)
+                    :detail (princ-to-string c) :cause c :document-iri *document-iri* :source-key *source-key*
+                    :line nil :column nil))))))
+        (unless (equalp original snapshot) (resource-association-error "Original XML octets changed during context preparation."))
+        (make-xml-resource-binding :document-iri (copy-seq *document-iri*) :source-key (if (stringp *source-key*) (copy-seq *source-key*) *source-key*)
+          :original original :snapshot snapshot :nodes nodes :indices indices :values values)))))
+(defun bound-xml-value (node)
+  (let ((b *xml-resource-binding*))
+    (unless (and b (equal *document-iri* (xml-resource-binding-document-iri b))
+                   (equal *source-key* (xml-resource-binding-source-key b))
+                   (equalp (xml-resource-binding-original b) (xml-resource-binding-snapshot b)))
+      (resource-association-error "No matching immutable XML document frame."))
+    (multiple-value-bind (index found) (gethash node (xml-resource-binding-indices b))
+      (unless (and found (typep index '(integer 0 *)) (< index (length (xml-resource-binding-nodes b)))
+                   (eq node (aref (xml-resource-binding-nodes b) index))
+                   (stringp (aref (xml-resource-binding-values b) index)))
+        (resource-association-error "resourceData is not owned by this document/ordinal."))
+      (aref (xml-resource-binding-values b) index))))
+(defun validate-embedded-markup (node)
+  ;; XTM 4.3.1 any-markup excludes elements in the XTM namespace at EVERY
+  ;; depth; arbitrary foreign elements/attributes remain XML, not XTM syntax.
+  (when (equal (node-uri node) +namespace+)
+    (reject :embedded-xtm-element "XTM elements cannot occur inside embedded XML." node))
+  (dolist (child (node-children node))
+    (unless (stringp child) (validate-embedded-markup child))))
+
 (defun xml-space-p (c) (find c '(#\Space #\Tab #\Newline #\Return)))
 (defun collapse-space (text)
   ;; xsd:ID has whiteSpace=collapse, even with a non-validating XML processor.
 (defun xml-space-p (c) (find c '(#\Space #\Tab #\Newline #\Return)))
 (defun collapse-space (text)
   ;; xsd:ID has whiteSpace=collapse, even with a non-validating XML processor.
 (defun unsupported (node)
   (reject :unsupported-construct (format nil "XTM ~A is not implemented in this subset." (node-name node))
           node 'xtm-unsupported))
 (defun unsupported (node)
   (reject :unsupported-construct (format nil "XTM ~A is not implemented in this subset." (node-name node))
           node 'xtm-unsupported))
-(defun check-reifier (node)
-  (when (attr node "reifier")
-    (reject :reification "XTM Reification is outside this subset." node 'xtm-unsupported)))
 (defun leaf-href (node)
   (attributes node '("href") '("href"))
   (when (elements node) (reject :unexpected-child "A locator element must be empty." node))
 (defun leaf-href (node)
   (attributes node '("href") '("href"))
   (when (elements node) (reject :unexpected-child "A locator element must be empty." node))
@@ -90,7 +150,8 @@ constructs' complete subgrammars is made. XML errors have already been checked."
                     (attributes node '("version" "reifier") '("version"))
                     (unless (equal (attr node "version") "2.0")
                       (reject :invalid-version "This reader accepts XTM version 2.0 only." node))
                     (attributes node '("version" "reifier") '("version"))
                     (unless (equal (attr node "version") "2.0")
                       (reject :invalid-version "This reader accepts XTM version 2.0 only." node))
-                    (check-reifier node)
+                    (when (attr node "reifier")
+                      (resolve-iri (attr node "reifier") *document-iri* node))
                     (let ((phase 0))
                       (dolist (child (elements node))
                         (let* ((name (node-name child))
                     (let ((phase 0))
                       (dolist (child (elements node))
                         (let* ((name (node-name child))
@@ -99,6 +160,7 @@ constructs' complete subgrammars is made. XML errors have already been checked."
                           (when (< next phase) (reject :element-order "topicMap child order is invalid." child))
                           (setf phase next)
                           (validate child '("itemIdentity" "mergeMap" "topic" "association"))))))
                           (when (< next phase) (reject :element-order "topicMap child order is invalid." child))
                           (setf phase next)
                           (validate child '("itemIdentity" "mergeMap" "topic" "association"))))))
+                   ((string= name "mergeMap") (mergemap-iri node))
                    ((string= name "topic")
                     (attributes node '("id") '("id"))
                     (let ((id (collapse-space (attr node "id"))))
                    ((string= name "topic")
                     (attributes node '("id") '("id"))
                     (let ((id (collapse-space (attr node "id"))))
@@ -123,8 +185,9 @@ constructs' complete subgrammars is made. XML errors have already been checked."
                     (dolist (child (elements node)) (validate child '("topicRef"))))
                    ((string= name "name")
                     (attributes node '("reifier") nil)
                     (dolist (child (elements node)) (validate child '("topicRef"))))
                    ((string= name "name")
                     (attributes node '("reifier") nil)
-                    (check-reifier node)
-                    (let ((phase 0) (type-seen nil) (value-seen nil))
+                    (when (attr node "reifier")
+                      (resolve-iri (attr node "reifier") *document-iri* node))
+                    (let ((phase 0) (type-seen nil) (scope-seen nil) (value-seen nil))
                       (dolist (child (elements node))
                         (check-namespace child)
                         (let* ((kind (node-name child))
                       (dolist (child (elements node))
                         (check-namespace child)
                         (let* ((kind (node-name child))
@@ -134,22 +197,137 @@ constructs' complete subgrammars is made. XML errors have already been checked."
                             (reject :element-order "name child order is invalid." child))
                           (setf phase next)
                           (cond
                             (reject :element-order "name child order is invalid." child))
                           (setf phase next)
                           (cond
+                            ((member kind '("itemIdentity" "variant") :test #'string=) nil)
                             ((string= kind "type")
                              (when type-seen (reject :duplicate-name-type "Only one name type is allowed." child))
                              (setf type-seen t))
                             ((string= kind "type")
                              (when type-seen (reject :duplicate-name-type "Only one name type is allowed." child))
                              (setf type-seen t))
+                            ((string= kind "scope")
+                             (when scope-seen (reject :duplicate-name-scope "Only one name scope is allowed." child))
+                             (setf scope-seen t))
                             ((string= kind "value")
                              (when value-seen (reject :duplicate-name-value "Only one name value is allowed." child))
                              (setf value-seen t))
                             ;; Valid extension points remain explicitly unsupported.
                             ;; Their complete subgrammars are outside this subset.
                             (t (unsupported child)))
                             ((string= kind "value")
                              (when value-seen (reject :duplicate-name-value "Only one name value is allowed." child))
                              (setf value-seen t))
                             ;; Valid extension points remain explicitly unsupported.
                             ;; Their complete subgrammars are outside this subset.
                             (t (unsupported child)))
-                          (validate child '("type" "value"))))
+                          (validate child '("itemIdentity" "type" "scope" "value" "variant"))))
                       (unless value-seen (reject :missing-name-value "name requires a value element." node))))
                       (unless value-seen (reject :missing-name-value "name requires a value element." node))))
+                   ((string= name "variant")
+                    (attributes node '("reifier") nil)
+                    (when (attr node "reifier") (resolve-iri (attr node "reifier") *document-iri* node))
+                    (let ((phase 0) (scope-seen nil) (resource-seen nil))
+                      (dolist (child (elements node))
+                        (check-namespace child)
+                        (let* ((kind (node-name child))
+                               (next (cond ((string= kind "itemIdentity") 0)
+                                           ((string= kind "scope") 1)
+                                           ((member kind '("resourceData" "resourceRef") :test #'string=) 2))))
+                          (unless next (reject :unexpected-element (format nil "Unexpected ~A element." kind) child))
+                          (when (< next phase) (reject :element-order "variant child order is invalid." child))
+                          (setf phase next)
+                          (cond
+                            ((string= kind "itemIdentity") nil)
+                            ((string= kind "scope")
+                             (when scope-seen (reject :duplicate-variant-scope "Only one variant scope is allowed." child))
+                             (setf scope-seen t))
+                            (t
+                             (unless scope-seen (reject :missing-variant-scope "variant requires scope before its resource." child))
+                             (when resource-seen (reject :variant-resource-cardinality "variant requires exactly one resource." child))
+                             (setf resource-seen t)))
+                          (validate child '("itemIdentity" "scope" "resourceData" "resourceRef"))))
+                      (unless scope-seen (reject :missing-variant-scope "variant requires a scope element." node))
+                      (unless resource-seen (reject :missing-variant-resource "variant requires a resource element." node))))
+                   ((string= name "occurrence")
+                    (attributes node '("reifier") nil)
+                    (when (attr node "reifier")
+                      (resolve-iri (attr node "reifier") *document-iri* node))
+                    (let ((phase 0) (type-seen nil) (scope-seen nil) (resource-seen nil))
+                      (dolist (child (elements node))
+                        (check-namespace child)
+                        (let* ((kind (node-name child))
+                               (next (cond ((string= kind "itemIdentity") 0)
+                                           ((string= kind "type") 1)
+                                           ((string= kind "scope") 2)
+                                           ((member kind '("resourceData" "resourceRef") :test #'string=) 3))))
+                          (unless next (reject :unexpected-element (format nil "Unexpected ~A element." kind) child))
+                          (when (< next phase) (reject :element-order "occurrence child order is invalid." child))
+                          (setf phase next)
+                          (cond
+                            ((string= kind "itemIdentity") nil)
+                            ((string= kind "type")
+                             (when type-seen (reject :duplicate-occurrence-type "Only one occurrence type is allowed." child))
+                             (setf type-seen t))
+                            ((string= kind "scope")
+                             (unless type-seen (reject :missing-occurrence-type "occurrence requires type before scope." child))
+                             (when scope-seen (reject :duplicate-occurrence-scope "Only one occurrence scope is allowed." child))
+                             (setf scope-seen t))
+                            (t
+                             (unless type-seen (reject :missing-occurrence-type "occurrence requires type before its resource." child))
+                             (when resource-seen (reject :occurrence-resource-cardinality "occurrence requires exactly one resource." child))
+                             (setf resource-seen t)))
+                          (validate child '("itemIdentity" "type" "scope" "resourceData" "resourceRef"))))
+                      (unless type-seen (reject :missing-occurrence-type "occurrence requires a type element." node))
+                      (unless resource-seen (reject :missing-occurrence-resource "occurrence requires a resource element." node))))
+                   ((member name '("association" "role") :test #'string=)
+                    (attributes node '("reifier") nil)
+                    (when (attr node "reifier")
+                      (resolve-iri (attr node "reifier") *document-iri* node))
+                    (let ((association-p (string= name "association"))
+                          (phase 0) (type-seen nil) (scope-seen nil) (participants 0))
+                      (dolist (child (elements node))
+                        (check-namespace child)
+                        (let* ((kind (node-name child))
+                               (next (cond ((string= kind "itemIdentity") 0)
+                                           ((string= kind "type") 1)
+                                           ((and association-p (string= kind "scope")) 2)
+                                           ((string= kind (if association-p "role" "topicRef")) 3))))
+                          (unless next (reject :unexpected-element (format nil "Unexpected ~A element." kind) child))
+                          (when (< next phase) (reject :element-order (format nil "~A child order is invalid." name) child))
+                          (setf phase next)
+                          (cond
+                            ((string= kind "itemIdentity") nil)
+                            ((string= kind "type")
+                             (when type-seen (reject :duplicate-type (format nil "Only one ~A type is allowed." name) child))
+                             (setf type-seen t))
+                            (t
+                             (unless type-seen
+                               (reject :missing-type (format nil "~A requires type before ~A." name kind) child))
+                             (if (string= kind "scope")
+                                 (progn
+                                   (when scope-seen (reject :duplicate-scope "Only one association scope is allowed." child))
+                                   (setf scope-seen t))
+                                 (progn
+                                   (incf participants)
+                                   (when (and (not association-p) (> participants 1))
+                                     (reject :role-player-cardinality "role requires exactly one topicRef player." child))))))
+                          (validate child (if association-p '("itemIdentity" "type" "scope" "role") '("itemIdentity" "type" "topicRef")))))
+                      (unless type-seen (reject :missing-type (format nil "~A requires a type element." name) node))
+                      (when (zerop participants)
+                        (reject (if association-p :missing-roles :missing-role-player)
+                          (if association-p "association requires at least one role." "role requires a topicRef player.") node))))
+                   ((string= name "resourceRef") (leaf-href node))
+                   ((string= name "resourceData")
+                    (attributes node '("datatype") nil)
+                    (let ((datatype (attr node "datatype")))
+                      ;; DATATYPE is already an absolute IRI, not content to
+                      ;; resolve against the document or percent-normalize.
+                      (when datatype
+                        (unless (iri-parts-scheme (split-iri datatype))
+                          (reject :invalid-resource-data-datatype "resourceData datatype must be an absolute IRI." node))
+                        (validate-decoded-reference (unescape-reference datatype node) node))
+                      (dolist (child (node-children node))
+                        (unless (stringp child)
+                          (if (equal datatype +any-type+) (validate-embedded-markup child)
+                              (reject :unexpected-child "Textual resourceData cannot contain child elements." child))))))
                    ((string= name "type")
                     (attributes node nil nil)
                     (let ((refs (elements node)))
                       (unless (= 1 (length refs)) (reject :type-cardinality "type requires exactly one topicRef." node))
                       (validate (first refs) '("topicRef"))))
                    ((string= name "type")
                     (attributes node nil nil)
                     (let ((refs (elements node)))
                       (unless (= 1 (length refs)) (reject :type-cardinality "type requires exactly one topicRef." node))
                       (validate (first refs) '("topicRef"))))
+                   ((string= name "scope")
+                    (attributes node nil nil)
+                    (unless (elements node) (reject :empty-scope "scope requires at least one topicRef." node))
+                    (dolist (child (elements node)) (validate child '("topicRef"))))
                    ((string= name "value")
                     (attributes node nil nil)
                     ;; VALUE accepts all character data, including empty text and
                    ((string= name "value")
                     (attributes node nil nil)
                     ;; VALUE accepts all character data, including empty text and
@@ -172,6 +350,20 @@ constructs' complete subgrammars is made. XML errors have already been checked."
                         (topic-maps.tmdm:topic-map-topics map))))
     (if topic (topic-maps.tmdm:canonical-topic topic)
         (topic-maps.tmdm:intern-topic map :item-identifier iri))))
                         (topic-maps.tmdm:topic-map-topics map))))
     (if topic (topic-maps.tmdm:canonical-topic topic)
         (topic-maps.tmdm:intern-topic map :item-identifier iri))))
+(defun read-item-reifier (node item map)
+  ;; XTM 4.3.2 looks up Item Identifiers only, unlike topicRef (4.20).
+  ;; INTERN-TOPIC adds the II on a miss; any SI/II identity merging then
+  ;; follows the existing TMDM rules, independently of this lookup.
+  (when (attr node "reifier")
+    (let* ((iri (resolve-iri (attr node "reifier") *document-iri* node))
+           (topic (or (find iri (topic-maps.tmdm:topic-map-topics map)
+                        :test (lambda (iri topic)
+                                (member iri (topic-maps.tmdm:topic-item-identifiers topic) :test #'string=)))
+                      (topic-maps.tmdm:intern-topic map :item-identifier iri))))
+      (return-from read-item-reifier (topic-maps.tmdm:set-item-reifier item topic))))
+  item)
+(defun read-map-reifier (node map)
+  (read-item-reifier node map map))
 (defun core-topic (map local)
   (topic-maps.tmdm:intern-topic map :subject-identifier
     (concatenate 'string "http://psi.topicmaps.org/iso13250/model/" local)))
 (defun core-topic (map local)
   (topic-maps.tmdm:intern-topic map :subject-identifier
     (concatenate 'string "http://psi.topicmaps.org/iso13250/model/" local)))
@@ -181,18 +373,112 @@ constructs' complete subgrammars is made. XML errors have already been checked."
       (topic-maps.tmdm:make-association map (core-topic map "type-instance")
         (list (list (core-topic map "type") type)
               (list (core-topic map "instance") (topic-maps.tmdm:canonical-topic owner)))))))
       (topic-maps.tmdm:make-association map (core-topic map "type-instance")
         (list (list (core-topic map "type") type)
               (list (core-topic map "instance") (topic-maps.tmdm:canonical-topic owner)))))))
+(defun read-item-identities (node item)
+  ;; XTM 4.6: assign locators to the actual canonical item, never intern Topics.
+  ;; ADD-ITEM-IDENTIFIER owns set semantics and cross-item conflict checks.
+  (dolist (child (elements node) item)
+    (when (string= (node-name child) "itemIdentity")
+      (setf item (topic-maps.tmdm:add-item-identifier item (leaf-href child))))))
+(defun read-association (node map)
+  ;; Resolve references in source order, then construct the complete native
+  ;; Association. The constructor may already merge Associations AND Roles.
+  (let ((type nil) (scope nil) (roles nil) (role-nodes nil))
+    (labels ((reference (ref) (find-reference-topic map (reference-iri ref)))
+             (type-reference (node) (reference (first (elements node)))))
+      (dolist (child (elements node))
+        (cond ((string= (node-name child) "type") (setf type (type-reference child)))
+              ((string= (node-name child) "scope") (setf scope (mapcar #'reference (elements child))))
+              ((string= (node-name child) "role")
+               (let ((children (elements child)))
+                 (push (list (type-reference (find "type" children :key #'node-name :test #'string=))
+                             (reference (find "topicRef" children :key #'node-name :test #'string=))) roles)
+                 (push child role-nodes)))))
+      (let ((association (read-item-identities node
+                           (topic-maps.tmdm:make-association map type (reverse roles) :scope scope))))
+        ;; Match source metadata to the native Role by its complete signature
+        ;; within THIS canonical Parent. Role order/II are not equality keys.
+        (loop for pair in (reverse roles) for source in (reverse role-nodes) do
+          ;; A preceding Role Reifier may have merged Topics and this Parent.
+          (setf association (topic-maps.tmdm:canonical-association association))
+          (let ((role (find-if (lambda (role)
+                        (and (eq (topic-maps.tmdm:association-role-type role)
+                                 (topic-maps.tmdm:canonical-topic (first pair)))
+                             (eq (topic-maps.tmdm:association-role-player role)
+                                 (topic-maps.tmdm:canonical-topic (second pair)))))
+                      (topic-maps.tmdm:association-roles association))))
+            (setf role (read-item-identities source role))
+            (read-item-reifier source (topic-maps.tmdm:canonical-association-role role) map)))
+        ;; Role metadata is now on the native canonical Parent. Reifier merging
+        ;; may normalize it again; return the resulting Association handle.
+        (topic-maps.tmdm:canonical-association
+          (read-item-reifier node association map))))))
+(defun read-resource-value (resource)
+  "Return value and datatype for a validated resource node (XTM 4.16/4.17).
+This operation neither looks up Topics nor fetches resources. ANYTYPE values
+come only from the checked document-local XML binding. Preserve datatype IRIs."
+  (if (string= (node-name resource) "resourceRef")
+      (values (leaf-href resource) (topic-maps.tmdm:iri-datatype))
+      (let ((datatype (or (attr resource "datatype") (topic-maps.tmdm:string-datatype))))
+        (if (equal datatype +any-type+) (values (bound-xml-value resource) datatype)
+            (let ((text (with-output-to-string (out)
+                          (dolist (part (node-children resource)) (write-string part out)))))
+              (values (if (equal datatype (topic-maps.tmdm:iri-datatype))
+                          (resolve-iri text *document-iri* resource) text) datatype))))))
+(defun read-variant (node name map)
+  (let* ((children (elements node))
+         (scope-node (find "scope" children :key #'node-name :test #'string=))
+         (resource (find-if (lambda (child) (member (node-name child) '("resourceData" "resourceRef") :test #'string=)) children))
+         (explicit (mapcar (lambda (ref) (find-reference-topic map (reference-iri ref))) (elements scope-node))))
+    (multiple-value-bind (value datatype) (read-resource-value resource)
+      ;; ADD-VARIANT owns canonicalization and the proper-superset constraint.
+      (let ((variant (topic-maps.tmdm:add-variant name value :datatype datatype
+                       :scope (append (topic-maps.tmdm:topic-name-scope name) explicit))))
+        (setf variant (read-item-identities node variant))
+        ;; Reification may normalize again; retain the native canonical handle.
+        (topic-maps.tmdm:canonical-variant (read-item-reifier node variant map))))))
 (defun read-name (node owner map)
   (let* ((children (elements node))
          (type-node (find "type" children :key #'node-name :test #'string=))
 (defun read-name (node owner map)
   (let* ((children (elements node))
          (type-node (find "type" children :key #'node-name :test #'string=))
+         (scope-node (find "scope" children :key #'node-name :test #'string=))
+         (type (when type-node (find-reference-topic map (reference-iri (first (elements type-node))))))
+         (scope (when scope-node (mapcar (lambda (ref) (find-reference-topic map (reference-iri ref)))
+                                        (elements scope-node))))
          (value-node (find "value" children :key #'node-name :test #'string=))
          (value (with-output-to-string (out)
                   (dolist (part (node-children value-node)) (write-string part out)))))
     ;; SAX has already resolved XML character/entity references. Preserve the
     ;; resulting Unicode sequence without trimming or decoding it again.
          (value-node (find "value" children :key #'node-name :test #'string=))
          (value (with-output-to-string (out)
                   (dolist (part (node-children value-node)) (write-string part out)))))
     ;; SAX has already resolved XML character/entity references. Preserve the
     ;; resulting Unicode sequence without trimming or decoding it again.
-    (if type-node
-        (topic-maps.tmdm:add-name owner value
-          :type (find-reference-topic map (reference-iri (first (elements type-node)))))
-        (topic-maps.tmdm:add-default-name owner value))))
+    ;; ADD-NAME owns canonical set semantics and normalization after merging.
+    (let ((name (if type-node
+                    (topic-maps.tmdm:add-name owner value :type type :scope scope)
+                    (topic-maps.tmdm:add-default-name owner value :scope scope))))
+      ;; Item identifiers belong to the canonical Name, never its owner/type.
+      ;; Use the shared model API for set semantics and global conflicts.
+      (setf name (read-item-identities node name))
+      ;; ADD-NAME may have returned an existing canonical Name. Reifier
+      ;; resolution/merging can normalize it again: retain the native result
+      ;; before processing Variants and return the current Name handle.
+      (setf name (read-item-reifier node name map))
+      (dolist (child children)
+        (when (string= (node-name child) "variant") (read-variant child name map)))
+      (topic-maps.tmdm:canonical-topic-name name))))
+(defun read-occurrence (node owner map)
+  ;; XTM 4.13-4.17/4.20: reuse native Topics and the qualified resource path.
+  ;; ADD-OCCURRENCE owns live Parent/Type/Scope handles and TMDM 5.6/6.5 merging.
+  (let* ((children (elements node))
+         (type-node (find "type" children :key #'node-name :test #'string=))
+         (type (find-reference-topic map (reference-iri (first (elements type-node)))))
+         (scope-node (find "scope" children :key #'node-name :test #'string=))
+         (scope (when scope-node (mapcar (lambda (ref) (find-reference-topic map (reference-iri ref)))
+                                        (elements scope-node))))
+         (resource (find-if (lambda (child) (member (node-name child) '("resourceData" "resourceRef") :test #'string=)) children)))
+    (multiple-value-bind (value datatype) (read-resource-value resource)
+      (topic-maps.tmdm:canonical-occurrence
+        ;; Resolve Reifier by II only after native Occurrence normalization and
+        ;; II assignment. Reifier merging can normalize again: return its handle.
+        (read-item-reifier node
+          (read-item-identities node
+            (topic-maps.tmdm:add-occurrence owner type value :datatype datatype :scope scope)) map)))))
 (defun read-topic (node map)
   (let ((topic (topic-maps.tmdm:intern-topic map :item-identifier
                  (concatenate 'string *document-iri* "#" (collapse-space (attr node "id"))))))
 (defun read-topic (node map)
   (let ((topic (topic-maps.tmdm:intern-topic map :item-identifier
                  (concatenate 'string *document-iri* "#" (collapse-space (attr node "id"))))))
@@ -201,20 +487,71 @@ constructs' complete subgrammars is made. XML errors have already been checked."
         (cond
           ((string= name "instanceOf") (read-instance-of child topic map))
           ((string= name "name") (read-name child topic map))
         (cond
           ((string= name "instanceOf") (read-instance-of child topic map))
           ((string= name "name") (read-name child topic map))
+          ((string= name "occurrence") (read-occurrence child topic map))
           (t (setf topic (topic-maps.tmdm:add-topic-identifier topic
                            (cond ((string= name "itemIdentity") :item-identifier)
                                  ((string= name "subjectIdentifier") :subject-identifier)
                                  (t :subject-locator))
                            (leaf-href child)))))))
     (topic-maps.tmdm:canonical-topic topic)))
           (t (setf topic (topic-maps.tmdm:add-topic-identifier topic
                            (cond ((string= name "itemIdentity") :item-identifier)
                                  ((string= name "subjectIdentifier") :subject-identifier)
                                  (t :subject-locator))
                            (leaf-href child)))))))
     (topic-maps.tmdm:canonical-topic topic)))
-(defun deserialize-octets (bytes &key document-iri source-key)
-  "Deserialize raw XML octets into a new TMDM Topic Map (XTM 2.0 identity/Name subset).
-DOCUMENT-IRI is required, absolute and fragment-free. SOURCE-KEY is a diagnostic
-label only. XML positions are approximate SAX line/column values, not spans.
-XML-policy errors, XTM rejection/unsupported and original TMDM conflicts remain
-distinct. No resources are fetched. No externally supplied Map is mutated."
+(defun mergemap-iri (node)
+  (let ((iri (leaf-href node)))
+    (when (iri-parts-fragment (split-iri iri))
+      (reject :mergemap-fragment "mergeMap href must not have a fragment identifier." node))
+    iri))
+(defun resource-failure (code detail node &optional cause)
+  (error 'xtm-resource-error :code code :detail detail :cause cause
+    :document-iri *document-iri* :source-key *source-key*
+    :line (node-line node) :column (node-column node)))
+(defun resource-octets-p (value)
+  ;; Same resolver value convention as CTM, without a dependency on its Reader.
+  (and (vectorp value) (not (stringp value))
+    (every (lambda (n) (and (integerp n) (<= 0 n 255))) value)))
+(defun read-mergemap (node map resolver max-depth active-iris)
+  (let ((resource (mergemap-iri node)))
+    (unless resolver
+      (reject :resource-resolver-required "mergeMap requires an explicit resource resolver; no resource was loaded." node 'xtm-unsupported))
+    ;; These are finite resource-policy guards, not normative cycle semantics.
+    ;; Each independent public call starts a new active path; siblings may repeat.
+    (when (member resource active-iris :test #'string=)
+      (reject :cyclic-mergemap "Active recursive XTM resource dependency; cycle processing is not implemented." node 'xtm-unsupported))
+    (when (>= (length active-iris) (1+ max-depth))
+      (reject :resource-depth-limit "Configured nested XTM resource limit reached; this is implementation policy." node 'xtm-unsupported))
+    (multiple-value-bind (bytes source-key)
+        (handler-case
+            (funcall resolver resource :purpose :mergemap :from-document-iri *document-iri*
+              :notation "http://psi.topicmaps.org/iso13250/xtm")
+          (error (c) (resource-failure :resource-resolver-failure (princ-to-string c) node c)))
+      (unless bytes
+        (resource-failure :resource-unavailable "Resolver declined or did not supply the requested XTM resource." node))
+      (unless (and (resource-octets-p bytes) (or (null source-key) (stringp source-key)))
+        (resource-failure :invalid-resource-result "Resolver must return an octet vector and a string source key or NIL." node))
+      (let ((source (deserialize-document
+                      (if (typep bytes '(vector (unsigned-byte 8))) bytes
+                          (map '(vector (unsigned-byte 8)) #'identity bytes))
+                      resource (or source-key resource) resolver max-depth active-iris)))
+        ;; Import only Topics/Associations. The existing operation preflights
+        ;; conflicts, preserves SOURCE, and excludes its Map identifiers/reifier.
+        (handler-case (topic-maps.tmdm:import-map-content map source)
+          (error (c) (resource-failure :mergemap-import-failure (princ-to-string c) node c)))))))
+(defun deserialize-octets (bytes &key document-iri source-key resource-resolver (max-resource-depth 32))
+  "Deserialize raw XTM 2.0 octets into a fresh TMDM Map.
+DOCUMENT-IRI is required, absolute and fragment-free. SOURCE-KEY is diagnostic.
+RESOURCE-RESOLVER is optional: (resolver absolute-iri :purpose :mergemap
+ :from-document-iri parent-iri :notation XTM-notation-IRI)
+returns raw octets and an optional diagnostic source key. No implicit I/O.
+Children use their resolved IRI as Document IRI and the same explicit resolver.
+MAX-RESOURCE-DEPTH bounds nested imports (default 32); active cycles are
+Unsupported implementation policy, not a normative XTM invalidity decision.
+Child XML/XTM/model errors retain their original contexts; resolver/import
+failures use XTM-RESOURCE-ERROR with the original ERROR-CAUSE. No supplied Map
+is mutated. Each public call has its own resource recursion context."
+  (check-type max-resource-depth (integer 0 *))
+  (deserialize-document bytes document-iri source-key resource-resolver max-resource-depth nil))
+(defun deserialize-document (bytes document-iri source-key resource-resolver max-resource-depth active-iris)
   (check-type bytes (vector (unsigned-byte 8)))
   (let ((*document-iri* document-iri) (*source-key* source-key)
   (check-type bytes (vector (unsigned-byte 8)))
   (let ((*document-iri* document-iri) (*source-key* source-key)
+        (*xml-resource-binding* nil) (snapshot (copy-seq bytes))
         (handler (make-instance 'source-handler)))
     (require-document-iri document-iri)
     (let* ((root
         (handler (make-instance 'source-handler)))
     (require-document-iri document-iri)
     (let* ((root
@@ -230,8 +567,15 @@ distinct. No resources are fetched. No externally supplied Map is mutated."
                         :line (sax:line-number handler) :column (sax:column-number handler)))))
            (map (topic-maps.tmdm:make-topic-map)))
       (validate-source root)
                         :line (sax:line-number handler) :column (sax:column-number handler)))))
            (map (topic-maps.tmdm:make-topic-map)))
       (validate-source root)
+      (setf *xml-resource-binding* (prepare-xml-resources root bytes snapshot))
+      ;; The attribute is processed before itemIdentity and later Topic nodes.
+      (read-map-reifier root map)
       (dolist (child (elements root))
       (dolist (child (elements root))
-        (if (string= (node-name child) "itemIdentity")
-            (topic-maps.tmdm:add-item-identifier map (leaf-href child))
-            (read-topic child map)))
+        (cond ((string= (node-name child) "itemIdentity")
+               (topic-maps.tmdm:add-item-identifier map (leaf-href child)))
+              ((string= (node-name child) "mergeMap")
+               (read-mergemap child map resource-resolver max-resource-depth
+                 (cons document-iri active-iris)))
+              ((string= (node-name child) "association") (read-association child map))
+              (t (read-topic child map))))
       map)))
       map)))