5

Ich habe mit Listen der Ausdrücke zu tun, die dauernd verschiedene Schreibweisen enthalten.

Beispiele:

Bezeichnungsvariante id
verkehrsrechtsschutz rückwirkend 50
verkehrs-rechtsschutz rückwirkend 50
familien rechtsschutzversicherung 100
familienrechtsschutzversicherung 100
privat rechtsschutz ohne wartezeit 20
privater rechtsschutz ohne wartezeit 20
rechtsschutzversicherung strafrecht 80
strafrechtsschutz 80
rechtsschutzversicherung gewerbe 200
rechtsschutzversicherung gewerblich 200
fahrer rechtsschutz 160
fahrerrechtsschutz 160
fahrer-rechtsschutz 160

Ich möchte diese Listen so verarbeiten, dass sie nur kanonische Schreibweisen enthalten, also Singular und eine korrekte Schreibweise. Wenn die Liste mehrere korrekte Schreibweisen eines Ausdrucks hat, sollen alle beibehalten werden.

Wie nennt sich diese Deduplizierung korrekt? Ich suche ein Terminus technicus für diese Prozedur.

Improve this question
5
  • 1
    Nur ein kleiner HInweis: In der Beispielliste ist nicht eine Schreibweise korrekt, da dort alle Substantive mit einem Kleinbuchstaben beginnen. Zur Frage selbst: vielleicht so etwas wie „Reduktion bis auf korrekte Schreibweisen“?
    – Björn Friedrich
    Commented Jan 13, 2021 at 19:13
  • 2
    Auch, wenn ich bereits mit einem generischen Begriff für den Vorgang geantwortet habe, bitte ich um eine Klarstellung oder möchte zumindest darauf hinweisen, dass der beschriebene Vorgang noch leicht unterspezifiziert ist: Mehrere "korrekte" Schreibweisen sollen also beibehalten werden, "inkorrekte" Schreibweisen sollen dann, soweit ich verstanden habe, in "die korrekte" überführt werden. Aber wenn es mehrere korrekte Schreibweisen für manche Ausdrücke gibt, kann dann sinnvoll entschieden werden, in welche davon ein inkorrekter Eintrag überführt werden muss?
    – O. R. Mapper
    Commented Jan 13, 2021 at 20:52
  • @O.R.Mapper die Frage habe ich mir auch gestellt. Mir fiel folgende Vorgehensweise ein: bei mehr als nur einer "richtigen" Schreibweise würde ich die Zahlen aus der zweiten Kolumne bewerten. Sind die Zahlen gleich - bleiben alle "korrekten" Schreibweisen in der Liste, ansonsten werden die Schreibweisen mit der kleineren Zahl entfernt.
    – Evgeniy
    Commented Jan 13, 2021 at 23:19
  • @Evgeniy: Je nachdem, wie stabil/nachvollziehbar die Zahlen zustande kommen, mag das funktionieren oder mehr oder weniger zufällige Ergebnisse erzeugen. Eine alternative Möglichkeit wäre vermutlich, verschiedene "korrekte" Schreibweisen in jedem Fall zu einem Eintrag zusammenzufassen (der das beschriebene "Konzept" repräsentiert); dieser Eintrag kann aber beliebig viele "korrekte" alternative Namen haben. (Aber jetzt wird es off-topic für hier und passender für SO ;) )
    – O. R. Mapper
    Commented Jan 14, 2021 at 8:45
  • Die gegebenen Begriffe sind noch nicht elementar: privat oder gewerblich ist ein Aussage über den Adressatenkreis, rückwirkend oder ohne Wartezeit eine Aussage über das Inkrafttreten.
    – guidot ♦
    Commented Jan 14, 2021 at 12:01

3 Answers 3

Reset to default
9

Bei der beschriebenen Operation handelt es sich um den Vorgang, Daten, die in zahlreichen Formen vorliegen können, in eine einheitliche Form zu bringen. Ein solcher Prozess wird im Allgemeinen Normalisierung genannt.

Das drückt freilich nicht aus, was nun konkret in deinem Fall geschieht, sondern eher die Intention, die Textbestandteile in eine einheitliche, wie du sagst "kanonische" Form zu überführen. Welche Normalisierung nun konkret durchgeführt wird, könnte eventuell durch zusätzliche Einschränkungen beschrieben werden - so ist es auch bei weit verbreiteten Beispielen üblich, beispielsweise bei der "Unicode-Normalisierung", welche Sonderzeichen in Texten, die auf verschiedene Weise codiert werden können, in ein festes Schema überführt.

Das Ergebnis/Ziel einer Normalisierung ist eine Normalform, wobei auch die Verwandtschaft der beiden Wörter erkennbar wird.

Improve this answer
3
  • Das war auch der erste Begriff, der mir einfiel. Allerdings gehen bei der Normalisierung keine Informationen verloren, worüber man hier diskutieren kann, ob dem hier so ist. Aber guter Kandidat.
    – mtwde
    Commented Jan 13, 2021 at 20:52
  • @mtwde: Also, zumindest Wikipedia meint bezüglich "Normalisierung (Text)", dass "nur die für den gewünschten Kontext relevanten Informationen beibehalten werden". Ich stimme dieser Definition nicht unbedingt zu (weil ich den Wegfall von Informationen eher für einen möglichen und akzeptablen Seiteneffekt als die definierende Eigenschaft (oder gar das Ziel) einer Normalisierung sehe/kenne), aber sie drückt immerhin eindeutig aus, dass zumindest nach Kenntnisstand der Autoren bei der Normalisierung Informationen wegfallen können.
    – O. R. Mapper
    Commented Jan 13, 2021 at 20:55
  • 2
    @mtwde: Nachtrag: Wenn man so darüber nachdenkt, geht vermutlich bei fast jeder Normalisierung eine Information verloren, und zwar die ursprüngliche Darstellungsform der Daten vor der Normalisierung. Einzige Ausnahme stellen hier Normalisierungen dar, deren Ziel-Normalform explizit die ursprüngliche Darstellung enthält.
    – O. R. Mapper
    Commented Jan 13, 2021 at 20:57
3

Deduplizierung ist schon nicht schlecht. Alternativ: Standardisierung.

Improve this answer
2

Da du den Begriff in deiner Frage schon selbst benutzt hast, um das Problem zu beschreiben, kann man das Ganze doch gleich

Kanonisierung

nennen.

Der Begriff der Kanonisierung (von hebr. qana »Stab, Meßrohr«, als Fremdwort ins Griechische übernommen) beschreibt den Prozeß, in dem ein Bestand von Symbolen, Texten, Handlungen oder Artefakten als maßgeblich und normativ festgeschrieben wird.

[Quelle]

Improve this answer
2
  • Das Problem mit der Kanonisierung, das ich habe: ich finde zu diesem Begriff keine Python oder R-Bibliothek, die im NLP-Bereich agieren würde. Normalization ist da.mehr passend. Aber ja, der Begriff an sich passt durchaus: en.m.wikipedia.org/wiki/Canonicalization
    – Evgeniy
    Commented Jan 14, 2021 at 12:22
  • Wiktionary nennt unter Bedeutung 2 von kanonisieren noch als Synonyme: angleichen, anpassen, eichen, harmonisieren, normieren, standardisieren, unifizieren und (meiner Meinung nach am besten:) vereinheitlichen.
    – guidot ♦
    Commented Jan 14, 2021 at 20:31

Your Answer

By clicking “Post Your Answer”, you agree to our terms of service and acknowledge you have read our privacy policy.

Not the answer you're looking for? Browse other questions tagged or ask your own question.