swp-02-aufbereitung/NOTES.md

Befunde aus dem Dublettenmodul

Gemessen am Bestand vom 4.–7.9.2026: 3407 Items, 12 Quellen, 106 Slots.

Das Verfahren der Spezifikation findet keine Übernahmen

67 Gruppen, 147 Mitglieder, null davon über Häuser hinweg. Alle gefundenen Gruppen sind Wiederholungen innerhalb eines Feeds.

Das ist kein Schwellenproblem, das sich durch Nachjustieren lösen ließe. Ein vollständiger Vergleich aller 599.004 hausübergreifenden Paare des stärksten Tages (6.9., 1162 vergleichbare Items) ergibt:

Jaccard über Titel+Teaser	Paare über Häuser
≥ 0.85 (Schwelle der Spec)	0
≥ 0.7	1
≥ 0.5	3
≥ 0.3	8

Der höchste erreichte Wert im gesamten Tag liegt bei 0.65. Die Schwelle wird nie berührt.

Die Hamming-Grenze ist dabei unschuldig: von 224 Paaren mit Jaccard ≥ 0.85 verwirft sie 6. Der Vorfilter über SimHash-Bänder kostet also fast nichts — er ist gut, er hat nur nichts zu tun.

Warum: der Titel wird übernommen, der Teaser nicht

Die Übernahmen sind da, sie sehen nur anders aus als angenommen. Beispiele vom 6.9., alle mit zeichengleichem Titel nach Normalisierung:

zeit / handelsblatt   Wahl in Sachsen-Anhalt: Klüssendorf: Frage nach SPD-Vorsitz …
zeit / handelsblatt   Ukraine-Krieg: Selenskyj mit wenig Hoffnung auf baldigen Frieden
heise / tagesschau    Deutsche Isar-Aerospace-Rakete erfolgreich ins All gestartet
handelsblatt / tagesschau  +++ Iran-Krieg +++: Tote und Verletzte bei neuen Angriffen

Die Häuser übernehmen die Agenturüberschrift wörtlich und schreiben den Teaser selbst. Werden beide in einen Sack geworfen, verdünnt der Teaser genau das Signal, das trägt: dieselben Paare landen bei Jaccard 0.29 bis 0.38.

Gemessen, wenn nur der Titel verglichen wird (6.9., 1144 Items mit mindestens fünf Titelwörtern):

Kriterium	Paare	davon über Häuser
Titel zeichengleich	61	22
Titel-Jaccard ≥ 0.75	16	9

31 hausübergreifende Übernahmen an einem Tag statt null. Die Differenz zwischen „zeichengleich" und „≥ 0.75" ist fast immer ein vorangestelltes Ressortkürzel des Hauses: Raumfahrt: Deutsche Isar-Aerospace-Rakete … gegen Deutsche Isar-Aerospace-Rakete …, oder Notfälle: gegen Flugverkehr: vor derselben dpa-Zeile.

Vorschlag

Vergleichsbasis auf den Titel umstellen, den Teaser nur noch als Bestätigung heranziehen, wo er auf beiden Seiten vorliegt. Zusätzlich das führende Ressortpräfix (Wort: am Anfang) in der Normalisierung abtrennen — danach fällt ein Teil der 0.75er-Fälle in die Zeichengleichheit.

Das ist eine Änderung an Abschnitt 3 der Spezifikation, nicht an ihrer Absicht: „near-exact, kein thematisches Clustering" bleibt. Die Abnahmekriterien wären neu zu setzen, weil sich mit der Basis auch die Grundgesamtheit ändert.

Umgesetzt, mit diesem Ergebnis

Der Vorschlag ist gebaut und ist jetzt die Vorgabe (--basis titel, dazu das abgetrennte Ressortkürzel). Auf demselben Bestand:

	Titel + Teaser	Titel
Gruppen gesamt	67	135
Mitglieder	147	290
Gruppen über mehrere Häuser	0	63
Items in solchen Gruppen	0	143

Gruppengrößen: 240 Paare, 33 Dreier, 12 Vierer, 5 Fünfer. Die größte ist dieselbe Zeile über den Start der Isar-Aerospace-Rakete bei handelsblatt, heise, tagesschau und zeit.

Auf dem gemessenen Tag (6.9.) erreicht das Verfahren 42 von 45 hausübergreifenden Paaren mit Jaccard ≥ 0.70. Die Schwellen kosten dabei nichts: an der Jaccard-Schwelle gehen 0 Paare verloren, an der Hamming-Grenze 0. Die drei fehlenden scheitern am SimHash-Bandvorfilter — bei sechs bis acht Trigrammen je Titel ist SimHash ein grobes Werkzeug. Ein Trigramm-Index als zweiter Kandidatenweg würde sie einfangen.

Die Schwelle selbst ist unkritisch: zwischen Jaccard 0.70 und 0.85 liegt auf diesem Bestand kein einziges Paar. Nach dem Abtrennen des Ressortkürzels sind die Übernahmen entweder zeichengleich oder deutlich verschieden.

Nebenbefund: Volltext hilft hier nicht

Auf den ersten Blick läge nahe, den Volltext zu nehmen, wo er da ist. Genau das verbietet sich: die Abdeckung ist ungleich (faz 311/489, heise 174/196, aber derstandard, welt, dlf, taz, sz jeweils 0), und ein Paar aus einem Haus mit und einem ohne Volltext ist der häufigste Fall überhaupt. Eine je Item verschiedene Vergleichsbasis macht genau die Paare unauffindbar, um die es geht.

Nebenbefund: agentur_vermutet greift kaum

Zwei Belege im gesamten Bestand, beide reuters. Die Agenturkennung steht in RSS-Titeln und -Teasern praktisch nie; sie taucht erst im Volltext oder in der Bildunterschrift auf. Das Feld bleibt, liefert aber auf RSS-Basis fast immer null.

Was beim Aufräumen weggefallen ist

Nach den Experimenten einmal gemessen, welche Regel auf den 3407 Items überhaupt jemals greift:

Regel	Treffer
Ressortkürzel abtrennen	1870
Anführungszeichen/Striche vereinheitlichen	654
+++ … +++ entfernen	8
NFKC	4
Eilmeldung: entfernen	0
Ortsmarke Berlin (dpa) - entfernen	0
HTML-Tags entfernen	0 (auch im Teaser)
Entities auflösen im Titel	0

Entfernt wurden _EILMELDUNG und _ORTSMARKE. Beide stehen so in Abschnitt 3 der Spezifikation, greifen aber auf RSS-Titeln nie — die Ortsmarke steht im Volltext einer Agenturmeldung, nicht in der Überschrift. Kommt Volltext als Quelle hinzu, gehören sie zurück.

Das Entfernen von HTML-Tags bleibt trotz null Treffern: Phase 1 zieht die links aus dem Teaser-HTML, HTML ist im Feed also grundsätzlich zu erwarten. Der doppelte Entity-Durchlauf (vor und nach dem Tag-Entfernen) ist auf einen reduziert.

Ebenfalls raus: der ungenutzte anzahl-Parameter von baender(), zwei ungenutzte Argumente von stichprobe(), der version-Parameter von eintragen(), ein __main__-Block in version.py, der eine Version ohne Moduleinstellungen ausgab und damit nie die echte.

Zusammengelegt: lade() hatte am Ende selbst gruppiert, und main() rechnete dieselbe Gruppierung anschließend ein zweites Mal. Beides steckt jetzt in lade_und_gruppiere() — beim Slot-Lauf gehört es ohnehin zusammen, weil sich erst an den Gruppen zeigt, wieviel geladen werden muss.

Zwei Kommentarblöcke zur Vergleichsbasis widersprachen sich nach der Umstellung; der ältere behauptete noch „verglichen wird immer Titel + Teaser".

Die Schwellen selbst sind alle belegt. Von 778 Kandidatenpaaren verwirft das Datumsfenster 223, die Regel „gleiches Haus, anderer Tag" 48 und die Hamming-Grenze 330; 177 werden bestätigt. Nur die Jaccard-Bestätigung verwirft nichts mehr — sie bleibt als Präzisionszusage, weil SimHash kollidieren kann. Der Kettenschnitt trifft genau eine von 135 Komponenten und bleibt aus demselben Grund.

Befunde aus dem Revisionsmodul

Bestand vom 4.–7.9.2026, 3407 Items, 3974 Fassungen.

Wieviel überhaupt geändert wird

	Items
nie geändert	3084
mindestens eine neue Fassung	323
davon mit geändertem Titel	206 (357 Übergänge)
davon nur Teaser geändert	111
URL geändert	78 Übergänge

Rund 6 Prozent aller Schlagzeilen werden nach der Veröffentlichung noch angefasst. Das ist häufiger, als man erwartet, und es verteilt sich über alle zwölf Häuser.

Art der Änderung (erste gegen letzte Fassung)

Einstufung	gesamt	ohne Fortschreibung
umformulierung	83	77
neufassung	56	22
kopfwechsel	26	26
erweiterung	14	13
kuerzung	11	11
formal	9	9
tippfehler	6	6
zurueckgenommen	1	0

»Ohne Fortschreibung« zieht die 10 selbstbenannten Ticker und die 33 Items mit stabiler Rubrik und ausgetauschtem Stand ab. Die Spalte zeigt, wozu das nötig ist: bei neufassung bleiben von 56 nur 22 übrig — zwei Drittel der scheinbar komplett neu geschriebenen Schlagzeilen sind Liveticker, die von einem Stand zum nächsten weiterzählen.

Umgeschriebene Schlagzeilen je Haus (ohne Fortschreibung)

spiegel 39, zeit 26, derstandard 18, faz 17, ntv 13, tagesschau 10, welt 10, heise 9, taz 9, handelsblatt 8, dlf 3, sz 2.

Vorsicht bei der Deutung: die Zahlen hängen an der Feedgröße (zeit 550 Items, sz 73) und an der Frage, ob ein Haus überhaupt denselben Item-Key beibehält, wenn es die Überschrift ändert. Wer die URL mitwechselt, erscheint bei Ingest als neues Item und taucht hier gar nicht auf. Als Rangliste taugt das nicht, als Nachweis, dass es geschieht, sehr wohl.

Warum der Pluskasten hier stehen bleiben muss

normalisierung.normalisiere() entfernt für das Dublettenmodul »++ … ++«, weil verschiedene Häuser denselben Agenturtext verschieden einrahmen. Die tagesschau führt ihren Liveticker aber vollständig darin:

++ Liveticker zur Sachsen-Anhalt-Wahl: Wahllokale haben geöffnet ++

Nach der Dublettennormalisierung bleibt davon der leere String. 31 der 357 Übergänge wären damit unvergleichbar gewesen. Deshalb pluskasten=False.

Was das Verfahren nicht kann

• Unmarkierte Fortschreibungen. Die Welt schrieb »54,4 Prozent am Nachmittag …« zu »Schon 65,3 Prozent …« um — ein Wahlabend-Dauerartikel ohne jedes Tickerwort und ohne feste Rubrik. Er zählt als neufassung. fassungen und zahlen_geaendert stehen in der Nutzlast, damit sich das nachträglich eingrenzen lässt; automatisch erkannt wird es nicht.
• Getrennt- und Zusammenschreibung. »Drohnenattacken:« → »Drohnen-Attacken:« gilt als kopfwechsel, nicht als formal, weil die Normalisierung Satzzeichen entfernt und daraus zwei Wörter werden. Ein Fall im Bestand.
• Das Gewicht einer Änderung. kopfwechsel sagt, wo geändert wurde, nicht wie schwer es wiegt. Für die Unterscheidung sind hinzu und entfernt da.

Nebenwirkung auf die coder_version

version.KOMPONENTEN bekam den Schlüssel revision. Weil der Hash über den ganzen Komponentensatz läuft, ändert sich damit auch die Version des Dublettenmoduls (10cea100 → 51e03f9b), obwohl an dessen Verfahren nichts anders ist. Das ist die in version.py beschriebene Semantik der Spezifikation, kein Versehen. Der Backfill kostet 0,3 Sekunden; die alte Version wurde verworfen.

Befunde aus dem Embeddingmodul

Die Stapelzusammensetzung ist das eigentliche Problem

Nicht die CPU, nicht die Bibliothek, nicht der Container: dass ein Encoder stapelweise rechnet und die Matrizenform mit dem Stapel wechselt. Wer nur bis zur längsten Zeile des Stapels auffüllt, bekommt für dieselbe Zeile verschiedene letzte Stellen, je nachdem, wer mit ihr im Stapel lag.

Mit fester Länge (128 Token für jede Zeile) verschwindet der Effekt vollständig — nicht »klein«, sondern exakt null:

Vergleich	bitgleich	größte Abweichung
voller Stapel gegen einzeln	64/64	0.00e+00
voller Stapel gegen rückwärts	64/64	0.00e+00

Der Preis: jede Zeile kostet 128 Token Rechenzeit, auch wenn sie 62 braucht. Bei Median 62 ist das gut Faktor zwei. Für die Zusage aus Invariante 2 ist er es wert — und bei 7 s je Slot fällt er nicht auf.

Tokenlängen im Bestand

Median 62, p95 90, p99 107, Maximum 233. Über 128 liegen 3 von 3407 Items: zweimal »tagesschau 20:00 Uhr« (Sendungsablauf mit vollständiger Themenliste) und einmal eine DLF-Hochrechnung. 256 statt 128 würde die Rechenzeit verdoppeln, um 0,09 Prozent der Items vollständig zu erfassen — nicht lohnend.

Was die Vektoren finden, was SimHash nicht findet

Hausübergreifende Paare über 0.94 Kosinus, die das Dublettenmodul nicht zusammengeführt hat — dieselbe Geschichte, anderer Wortlaut:

0.994  faz / handelsblatt   Wasserdefizit in Deutschland
0.992  spiegel / handelsblatt  Drohne trifft Geheimdienstzentrale in Kiew
0.992  zeit / faz           Michael Mendl gestorben ("Schauspieler" / "Charakterdarsteller")
0.991  tagesschau / welt    Trump-Gesandte reisen nach Moskau und Kiew
0.985  heise / handelsblatt Isar-Aerospace-Rakete erfolgreich gestartet

Das ist der Beleg dafür, dass Modul 1 und Modul 5 verschiedene Fragen beantworten und keins das andere ersetzt.

Container

Die regelbasierten Module liefern im Container (Debian trixie, Python 3.13) für alle 3407 Items bitgleich dieselbe Nutzlast wie auf der Entwicklungsmaschine (Fedora, Python 3.14). Damit ist die Portabilität nicht behauptet, sondern gemessen.

sentence-transformers fiel zugunsten von transformers weg: es kapselt das Auffüllen der Stapel weg — also genau die Stelle, an der hier die Reproduzierbarkeit entschieden wird — und zieht scipy und scikit-learn nach.

Ein Stolperstein beim Volume: der Container läuft als UID 10001, ein frisch angelegtes Podman-Volume gehört root im User-Namespace. Ohne :U am Volume-Argument scheitert der erste Schreibzugriff auf den Modell-Cache. Dieselbe Klasse Problem wie bei pgAdmin, nur mit anderem Symptom.