]> dreyeck.freedombox.rocks Git - topic-maps.git/blobdiff - src/tmdm/merging.lisp
docs: design draft for a read-only SHOP3 adapter over TMDM objects
[topic-maps.git] / src / tmdm / merging.lisp
index 0305df2606f32b00fa5a30afe9a6ccbef6fffc9a..454fec130a66e6aa078df4d7d3dccb84b54814cb 100644 (file)
           (:subject-locator '(:subject-locator)))))
 
 (defun equal-topics-p (a b)
-  (some (lambda (kind)
-          (some (lambda (iri) (identifier-matches-p a kind iri)) (identifiers b kind)))
-        '(:item-identifier :subject-identifier :subject-locator)))
+  (or (some (lambda (kind)
+              (some (lambda (iri) (identifier-matches-p a kind iri)) (identifiers b kind)))
+            '(:item-identifier :subject-identifier :subject-locator))
+      (let ((target (topic-reified a))) (and target (eq target (topic-reified b))))))
 
 (defun set-union (a b test)
   (remove-duplicates (append a b) :test test :from-end t))
   (and (= (length a) (length b)) (every (lambda (theme) (member theme b :test #'eq)) a)))
 
 (defun normalize-names (map)
-  ;; TMDM 5.4 and 6.3: union Variants and replace their computed Parent.
-  ;; Identifier metadata is not an equality key; reifier remains null.
-  (dolist (topic (%topic-map-topics map))
-    (loop for pair = (equal-pair (%topic-names topic)
-                       (lambda (a b)
-                         (and (string= (%topic-name-value a) (%topic-name-value b))
-                              (eq (%topic-name-type a) (%topic-name-type b))
-                              (same-scope-p (%topic-name-scope a) (%topic-name-scope b)))))
-          while pair do
-            (let* ((a (first pair)) (b (second pair))
-                   (c (%make-topic-name (%topic-name-value a) (%topic-name-type a) topic)))
-              (setf (%topic-name-scope c) (copy-list (%topic-name-scope a))
-                    (%topic-name-item-identifiers c) (set-union (%topic-name-item-identifiers a) (%topic-name-item-identifiers b) #'string=)
-                    (%topic-name-variants c) (set-union (%topic-name-variants a) (%topic-name-variants b) #'eq)
-                    (%topic-names topic) (replace-pair (%topic-names topic) a b c)
-                    (%topic-name-forward a) c (%topic-name-forward b) c)
-              (dolist (item (%topic-name-variants c)) (setf (%variant-parent item) c)))))
+  ;; Rescan live owners after each replacement: merging Reifiers can replace
+  ;; the owner/type/theme of the very Name currently being normalized.
+  (loop for entry = (loop for topic in (%topic-map-topics map)
+                         for pair = (equal-pair (%topic-names topic)
+                           (lambda (a b) (and (string= (%topic-name-value a) (%topic-name-value b))
+                                             (eq (%topic-name-type a) (%topic-name-type b))
+                                             (same-scope-p (%topic-name-scope a) (%topic-name-scope b)))))
+                         when pair return (cons topic pair))
+        while entry do
+    (let* ((topic (first entry)) (a (second entry)) (b (third entry))
+           (c (%make-topic-name (%topic-name-value a) (%topic-name-type a) topic)))
+      (setf (%topic-name-scope c) (copy-list (%topic-name-scope a))
+            (%topic-name-item-identifiers c) (set-union (%topic-name-item-identifiers a) (%topic-name-item-identifiers b) #'string=)
+            (%topic-name-variants c) (set-union (%topic-name-variants a) (%topic-name-variants b) #'eq)
+            (%topic-names topic) (replace-pair (%topic-names topic) a b c)
+            (%topic-name-forward a) c (%topic-name-forward b) c)
+      (dolist (v (%topic-name-variants c)) (setf (%variant-parent v) c))
+      (merge-item-reifiers c a b)))
   (normalize-variants map))
 
 (defun merge-two-topics (map a b)
   ;; TMDM 6.2: create C, union supported properties, replace model references.
-  ;; Replace Scope sets too; Reification remains outside the supported model.
+  ;; TMDM 6.2 conflict is checked against current targets BEFORE replacement.
+  (check-core-subject-identifiers (append (%topic-subject-identifiers a) (%topic-subject-identifiers b)))
+  (let ((left (topic-reified a)) (right (topic-reified b)))
+    (when (and left right (not (eq left right)))
+      (reification-problem :reifier-conflict "Topics reify different information items.")))
   (check-variant-merge-constraints map :pair (list a b))
   (let ((c (%make-topic map)))
     (setf (%topic-item-identifiers c) (set-union (%topic-item-identifiers a) (%topic-item-identifiers b) #'string=)
       (dolist (role (%association-roles association))
         (setf (%association-role-type role) (canonical-topic (%association-role-type role))
               (%association-role-player role) (canonical-topic (%association-role-player role)))))
+    (dolist (item (map-information-items map))
+      (when (and (reifiable-p item) (%item-reifier item))
+        (setf (%item-reifier item) (canonical-topic (%item-reifier item)))))
     (normalize-names map)
     (normalize-occurrences map)
     (normalize-associations map)
-    c))
+    (canonical-topic c)))
+
+(defun scan-next-topic-merge (map)
+  "The pair of Topics to merge next, found by comparing Topics pairwise: the first nonconflicting equal pair, else
+the first equal pair, else NIL. This is the search that defines the choice; NEXT-TOPIC-MERGE returns the same pair.
+A staged import may contain equal owners/types AND equal Reifier Topics whose Names/Occurrences/etc. have not
+merged yet. First perform available nonconflicting Topic merges; their ordinary item merging can resolve those
+Reified references. Do not let collection order invent a conflict. If none can proceed, MERGE-TWO-TOPICS still
+signals TMDM 6.2's conflict; no equality or conflict rule is relaxed."
+  (let ((pair (equal-pair (%topic-map-topics map) #'equal-topics-p)))
+    (when pair
+      (or (equal-pair (%topic-map-topics map)
+            (lambda (a b)
+              (and (equal-topics-p a b)
+                   (let ((left (topic-reified a)) (right (topic-reified b)))
+                     (not (and left right (not (eq left right))))))))
+          pair))))
+
+(defun next-topic-merge (map)
+  "The pair SCAN-NEXT-TOPIC-MERGE returns, found through an index built for this one search and dropped with it.
+Two live Topics are equal exactly when they share an identifier: an item or subject identifier string (one
+namespace, as IDENTIFIER-MATCHES-P compares them) or a subject locator string. EQUAL-TOPICS-P's third condition,
+that both reify the same item, cannot hold for two distinct Topics: an item has one Reifier slot. A pair conflicts
+when each Topic reifies an item and the items differ, which a table of the reified items answers without
+TOPIC-REIFIED's scan. EQUAL-TOPICS-P and the conflict test have no side effect, so the first Topic with a later
+sharer, and its first such sharer, are what the pairwise search finds; likewise for nonconflicting sharers.
+The index is never kept: nothing it holds can outlive a merge or a change of Reifier.
+When a Topic reifies two items TOPIC-REIFIED would signal from inside the search, and when a listed Topic is not
+its own representative the table's assumptions fail; then the pairwise search itself runs, so the condition and
+the moment it is signalled are unchanged."
+  (let ((topics (%topic-map-topics map)) (reified (make-hash-table :test #'eq)))
+    (dolist (item (map-information-items map))
+      (when (and (reifiable-p item) (%item-reifier item))
+        (push item (gethash (%item-reifier item) reified))))
+    (when (or (loop for items being the hash-values of reified thereis (rest items))
+              (some (lambda (topic) (not (eq topic (canonical-topic topic)))) topics))
+      (return-from next-topic-merge (scan-next-topic-merge map)))
+    (let ((position (make-hash-table :test #'eq)) (sharers (make-hash-table :test #'equal))
+          (keys (mapcar (lambda (topic)
+                          (remove-duplicates
+                           (append (mapcar (lambda (iri) (cons :item-or-subject iri))
+                                           (append (%topic-item-identifiers topic) (%topic-subject-identifiers topic)))
+                                   (mapcar (lambda (iri) (cons :subject-locator iri)) (%topic-subject-locators topic)))
+                           :test #'equal))
+                        topics))
+          (pair nil))
+      (loop for topic in topics for i from 0 do (setf (gethash topic position) i))
+      ;; Each key lists its Topics in map order.
+      (loop for topic in (reverse topics) for topic-keys in (reverse keys)
+            do (dolist (key topic-keys) (push topic (gethash key sharers))))
+      (flet ((earlier (a b) (if (and a b) (if (< (gethash a position) (gethash b position)) a b) (or a b)))
+             (conflict-p (a b)
+               (let ((left (first (gethash a reified))) (right (first (gethash b reified))))
+                 (and left right (not (eq left right))))))
+        (loop for topic in topics for topic-keys in keys
+              do (let ((i (gethash topic position)) (first-later nil) (first-ready nil))
+                   (dolist (key topic-keys)
+                     (let ((seen nil))
+                       (dolist (other (gethash key sharers))
+                         (when (> (gethash other position) i)
+                           (unless seen (setf seen t first-later (earlier first-later other)))
+                           (unless (conflict-p topic other)
+                             (setf first-ready (earlier first-ready other))
+                             (return))))))
+                   (when first-ready (return-from next-topic-merge (list topic first-ready)))
+                   (when (and first-later (null pair)) (setf pair (list topic first-later))))))
+      pair)))
 
 (defun normalize-topic-map (map)
-  "Apply same-map identity merging, then remove equal Names, Occurrences, Roles and Associations.
-Only implemented properties participate; no cross-map merging."
+  "Reach a fixed point of same-map Topic and structural item merging."
   (check-type map topic-map)
+  (when (needs-merge-preflight-p map)
+    (return-from normalize-topic-map
+      (preflight-merge-mutation map (lambda (ref) (normalize-topic-map (funcall ref map))))))
+  (validate-map-core-subjects map)
   (check-variant-merge-constraints map)
-  (loop for pair = (equal-pair (%topic-map-topics map) #'equal-topics-p)
-        while pair do (merge-two-topics map (first pair) (second pair)))
-  (normalize-names map)
-  (normalize-occurrences map)
-  (normalize-associations map)
-  map)
+  (loop for before = (length (map-information-items map)) do
+    (loop for pair = (next-topic-merge map)
+          while pair do (merge-two-topics map (first pair) (second pair)))
+    (normalize-names map) (normalize-occurrences map) (normalize-associations map)
+    when (= before (length (map-information-items map))) return map))
 
 (defun live-topic (topic)
   (let ((current (canonical-topic topic)))
@@ -137,6 +214,9 @@ Explicit merging may assert shared subject identity beyond locator equality.
 Cross-map merging is rejected before mutation. Obsolete handles remain resolvable."
   (let* ((a (live-topic a)) (b (live-topic b)) (map (%topic-parent a)))
     (unless (eq map (%topic-parent b)) (error "Cross-map Topic merging is outside this API."))
+    (when (needs-merge-preflight-p map)
+      (return-from merge-topics (preflight-merge-mutation map
+        (lambda (ref) (merge-topics (funcall ref a) (funcall ref b))))))
     (unless (eq a b) (setf a (merge-two-topics map a b)))
     (normalize-topic-map map)
     (canonical-topic a)))
@@ -147,6 +227,11 @@ KIND is :ITEM-IDENTIFIER, :SUBJECT-IDENTIFIER or :SUBJECT-LOCATOR.
 IRI is an already resolved, nonempty absolute locator string; CTM validates it."
   (unless (and (stringp iri) (plusp (length iri))) (error "A nonempty locator string is required."))
   (let ((topic (live-topic topic)))
+    (when (needs-merge-preflight-p (%topic-parent topic))
+      (return-from add-topic-identifier (preflight-merge-mutation (%topic-parent topic)
+        (lambda (ref) (add-topic-identifier (funcall ref topic) kind iri)))))
+    (when (eq kind :subject-identifier)
+      (check-core-subject-identifiers (cons iri (%topic-subject-identifiers topic))))
     (check-topic-occurrence-identifiers (%topic-parent topic) kind iri)
     ;; Check the entire prospective identity closure before adding the locator.
     (check-variant-merge-constraints (%topic-parent topic) :identifier (list topic kind iri))
@@ -164,6 +249,11 @@ IRI is an already resolved, nonempty absolute locator string; CTM validates it."
   ;; Validate the category even for an empty map, before adding a Topic.
   (ecase kind ((:item-identifier :subject-identifier :subject-locator)))
   (check-topic-occurrence-identifiers map kind iri)
+  ;; Preflight BEFORE creating a new Topic, so rejected cascades cannot leave
+  ;; even an empty newly interned item in the original Map.
+  (when (needs-merge-preflight-p map)
+    (return-from intern-topic (preflight-merge-mutation map
+      (lambda (ref) (intern-topic (funcall ref map) kind iri)))))
   (let ((topic (or (find-if (lambda (topic) (identifier-matches-p topic kind iri))
                            (%topic-map-topics map))
                    (let ((new (%make-topic map)))