The Computational Case against Computational Literary Studies

Based on the paper by Ass. Prof. Dr. Nan Z. Da

Jun.-Prof. Dr. Mark Hall

Sommersemester 2019

Photo of a book — https://www.flickr.com/photos/arenamontanus/5743319146/

Photo of a stack of books — https://www.flickr.com/photos/themarmot/14169669030/

Photo of a library — https://www.flickr.com/photos/56283488@N06/38339555742/

Wir lassen den Computer lesen

Computational Literary Studies (CLS)

"Distant Reading"

Grundkonzepte

Datenmodell

n-gram

Das Pferd frisst keinen Gurkensalat

1-gram

Das
Pferd
frisst
keinen
Gurkensalat

2-gram

Das Pferd
Pferd frisst
frisst keinen
keinen Gurkensalat

3-gram

Das Pferd isst
Pferd frisst keinen
frisst keinen Gurkensalat

Analysemethode

Wie oft kommt X vor?
Wie oft kommt X zusammen mit Y vor?

Hypothesen

Worum geht es im Text?
Wie oft kommt X in Y vor?
Wieviel Einfluss hat X auf Y?
Kann X als Y klassifiziert werden?
Ist Konzept X konstant?
Wer hat X geschrieben?

Worum geht es im Text?

Welche Tiere werden erwähnt?

Wie oft kommt X in Y vor?

Wie oft werden Pferde erwähnt?

Wieviel Einfluss hat X auf Y?

Sind Pferde eher schön?

Kann X als Y klassifiziert werden?

Sind Text mit Pferden eher Naturbeschreibungen?

Ist Konzept X konstant?

Werden Pferde im 19.Jhdt gleich beschrieben wie im 20.?

Wer hat X geschrieben?

Ist die Ode zum Pferd eher von Göthe oder Schiller?

Worthäufigkeiten == Bedeutung

Problemstellen

Methodische Schwächen
Erklärungsschwächen

Methodische Schwächen

Nutzen oft Dimension Reduction Techniken
Testen generell innerhalb des Samples aus dem das Modell kommt
Hypothese ist oft das Analyseergebnis

Zur einfacheren Verarbeitung werden die hoch-dimensionalen Modelle auf weniger hoch-dimensionale Modelle skaliert. Meistens über Verfahren wie Wortvektorisierung, wobei die Ergebnismodelle generell um die 300 Dimensionen haben. Dabei ist es nicht klar, wieviel Information in dieser Reduktion verloren geht.

Zum einfacheren Verständnis der Ergebnisse werden die hoch-dimensionalen Modelle (jedes Wort definiert effektiv eine Dimension) auf zwei Dimensionen skaliert, wobei natürlich viel Information liegen gelassen wird.

Oft wird ein statistisches Modell auf dem Korpus trainiert und dann wird das Modell genutzt, um dann eine Hypothese auf dem Korpus zu testen.

Das Ergebnis der Datenanalyse wird oft als die neue Theorie beschrieben, ohne dass eine weitere Analyse des Ergebnises durchgeführt wird.

Die letzten zwei Punkte sind besonders problematisch, da sie eine Theorie entwickeln, welche nur die Daten beschreibt, aus denen die Theorie entwickelt wurde. Dies ist aber trivialerweise für eine beliebige Theorie auf dem Datensatz möglich.

Erklärungsschwächen

Fehlende quantitative Analyse
Rigoroses testen mittels statistischer Methoden
Einbeziehung theoretischer Konstrukte

CLS Paperkategorien

Triviale Ergebnisse werden als methodische Validierung präsentiert
Schlussfolgerungen welche die Methode nicht erlaubt
Statistische non-Ergebnisse welche als Ergebnisse präsentiert werden

Word2Vec

n-gram Worthäufigkeiten als Input
Single-layer Neuronales Netz wird darauf gelernt
~300 dimensionen großer Ergebnisvektorraum wird berechnet

Word2Vec

Mann → Frau == König → Königin

The Life Cycle of Genres

Hat sich der Stil in Krimis über die Zeit verändert?

The Life Cycle of Genres

Trainiert ein Modell das Genre "Krimi" für Zeitraum "vor 1941" von allen anderen Genres unterscheiden kann
Wendet dann das Modell auf das Genre "Krimi" für Zeitraum "nach 1941" and und tested ob das Genre von anderen Genres unterschieden werden kann
Wenn das Modell unterscheiden kann, dann ist die Schlussfolgerungen, dass sich das Genre "Krimi" nicht verändert hat

Das Grundlegende Problem hier ist, dass zwei statistische Effekte miteinander vermischt werden, wodurch dann die Schlussfolgerungen nicht mehr gezogen werden kann.

Der primäre statistiche Effekt ist nämlich, wie sehr sich Genre A von allen anderen unterscheidet. Im Krimi geht es viel um Tote und Mord und Mörder und Tatwaffen. Egal wie sich das Genre verändert, werden dies immer die großen Unterscheidungsmerkmale sein. Da im Liebesroman (z.B.) nichts derartiges vorkommt, wird ein Modell das auf einem Teil aller Krimis trainiert wurde, für alle anderen Teile auch funktionieren.

Der Effekt der Genreveränderung ist, falls vorhanden, viel zu schwach um im großen, generellen Effekt sichtbar zu werden.

Was hier notwendig wäre ist zu Analysieren, was "Krimis" "vor 1941" von allen anderen Texten "vor 1941" unterscheidet. Das selbe für "nach 1941". Dann müsste man die generellen Effekte herausrechnen und dann könnte man die zwei Zeiträume vergleichen.

Understanding gender and character agency in the 19th century novel

Identifizieren automatisch Pronomen+Verb Paare
Trainieren einen Nearest Shrunken Centroids Classifier
Analysieren die höchsten Korrelationen

Understanding gender and character agency in the 19th century novel

Klassifikationsgenauigkeit 81%, Fehlerrate Frauen 23%, Männer 18%
Identifikation der top-10 Verben die eher männlich oder eher weiblich sind
Schließen aus der Fehlerrate, dass Gender bei Frauen weniger genau definiert ist, als bei Männern

"Stop words are usually semantically poor and yet stylistically rich ... The best means so far for determining authorship attribution and classifying text as categorically different."

Piper, Andrew, and Mark Algee-Hewitt. "The Werther effect I: Goethe, objecthood, and the handling of knowledge." Distant Readings: Topologies of German Culture in the Long Nineteenth Century (2014): 155-84.

Wenn man zwei (oder mehr Texte) statistisch vergleicht, werden Ähnlichkeiten/Unterschiede immer primäre von den häufiger auftretenden Wörtern getrieben. Die häufigsten Wörter sind Stopwörter. Das bedeutet noch lange nicht, dass die Stopwörter wirklich die Texte bedeutungsmäßig unterscheiden.

Man kann die Stopwörter natürlich herausfiltern, dann verschwinden aber generell die statistisch signifikanten Unterschiede zwischen den Texten. Es besteht also die Wahl: Signifikante Ergebnisse, welche nichts bedeuten oder nicht-signifikante Ergebnisse, die dafür klar machen, dass die Methode die Frage nicht wirklich beantworten kann.