Jak jsem bojovala se scénářem GoT

Spojila jsem se tedy s Michalem Šimonem, který naštěstí souhlasil, že mi s projektem do začátku pomůže. Společně jsme se pustili do psaní kódu v Pythonu (za což jsem byla opravdu ráda, protože mě Python na hodinách hodně bavil). Nejklasičtější klávesovou zkratkou Ctrl+C a Ctrl+V jsem si do textového souboru zkopírovala text první epizody a začali jsme se společně dívat na to, jak text rozdělit.

Tím, že byly jména postav v kapitálkách a text byl oddělen dvojtečkou, poradil mi Michal, abych pro oddělení postavy a textu použila regulárních výrazů (regular expressions). Společně jsme si pak otevřeli Online regex tester a debugger, abych si vyzkoušela, jak tato metoda funguje a rovnou viděla, které části textu budou vybírány.

Nakonec jsme došli k tomuto kódu, který nám pomohl oddělit text od postavy, níže je vidět, které části jsou obsaženy v jednotlivých částech regulárního výrazu.:

(?P[A-Z0–9 ]+)(?P (.*))*: (?P.*)

Tento kód měl před dvojtečkou brát vše jako jméno s tím, že jméno může obsahovat velká písmena, mezery a číslice (protože se nám tam objevily i případy „MAN 1“, „NIGHTS WATCH BROTTHER 2“ a další.

2 příklad řešení z Online regex tester and debugger — použití na první epizodě

Hned u druhé epizody jsme ale narazili na problém — postavy nebyly napsány v kapitálkách. Proto jsme výraz upravili tak, aby bral v úvahu i malá písmena.

(?P[a-zA-Z0–9 ]+)(?P (.*))*: (?P.*)

Když jsme si už zjistili, co vlastně budeme z textu vybírat, mohli jsme se pustit do psaní samostatného skriptu. Nejdřív jsme si samozřejmě museli nadefinovat funkce pro získání souborů epizod a jejich přečtení. Tyto funkce jsme nadefinovali v samostatném skriptu s tím, že jsme je pak jednotlivě importovali.

3 Skript v Pythonu — získávání a čtení souborů

Procházka sedmi pekly— příprava a čištění dat

Už když jsme začínali se psaním skriptu, upozornil mě Michal na to, že analýza jako taková bude relativně jednoduchá, ale že se mám připravit na to, že strávím spoustu času s editací textu. No a asi Vás nepřekvapí, že měl naprostou pravdu. V GoT mají 7 bohů a 7 pekel, a já jsem si několika z nich při získávání a čištění dat prošla. Každá epizoda byla napsána trošku jinak — ať už šlo o upper nebo lower case, popisky scén, které jsme chtěli přeskočit nebo o to, že postavy byly často nazývány různými jmény.

Perfektním příkladem byla Daenerys Targaryen — postava, která používá v celé sáze nejvíce titulů vůbec, měla asi 5 nejčastějších aliasů — Daenerys, Daenerys Targaryen, Daenerys Stormborn, Dany, Khaleesi. No a pak tady taky byly překlepy (taky si mohl G. R. R. Martin vymyslet trošku snazší jména, že ano?) — a tak jsem se setkala s Danerys, Daerenys a jinými.

4 “Daenerys of the House Targaryen, the First of Her Name, The Unburnt, Queen of the Andals, the Rhoynar and the First Men, Queen of Meereen, Khaleesi of the Great Grass Sea, Protector of the Realm, Lady Regnant of the Seven Kingdoms, Breaker of Chains and Mother of Dragons”.

Ale ani to všechno nebylo nic proti tomu, co mě čekalo až v tom pomyslném sedmém pekle. Tím myslím zjištění, že asi k 27 epizodám chybí scénáře — respektive byly k dispozici titulky, kde ale nebylo uvedeno, která osoba mluví. Ať jsem hledala, jak jsem jen mohla, nejlepší varianta, kterou jsem objevila, vypadala takto:

5 Vzor přepsaných titulků u epizod, ke kterým chyběl scénář

Samozřejmě, že jsem si řekla, že se s tímto textem nespokojím, a tak začal můj sledovací maraton hry o trůny, kdy jsem texty v podobě výše upravovala do podoby, kterou jsem chtěla. To znamená, že jsem si všech 27 epizod musela přehrát a ke každému řádku doplnit jméno, případně věty pospojovat mezerou a ne novým řádkem, pokud šlo o souvislý text (jeden výstup v rámci dialogu), nebo dokonce řádky rozdělovat, protože se někdy stalo, že na jednom řádku byly texty více postav. Tato část mi zabrala asi 45 hodin čistého času — naštěstí mi to ale velmi usnadnilo plánování volného času (protože jsem prakticky žádný neměla).

6 Upravený text do žádoucího formátu

Kromě mých “základních” dat jsem se rozhodla, že si přidám ještě trošku jiná data, a tak jsem si vytvořila tabulku, kde jsem měla uvedené označení epizody a informace, kdo ji režíroval / napsal a jaké je jeho/její pohlaví (říkala jsem si, že zkusím vyvrátit stereotyp, že jsou ženy nejukecanější — k tomu se ale dostaneme až později).

Začínáme psát skript

Jedno se rozhodně nedá Michalovi upřít — a tím je to, že má opravdový zájem o to, aby holky zvládaly (nebo se o aspoň pokoušely) psát práci samy. Společně jsme ze startu strávili cca 6 hodin na tom, abychom nadefinovali v pythonu načtení a přečtení souboru, nastavit rozdělení textu na slovník, kde klíčem byla postava (name/character) a hodnotou byl text, který říka (speech). Musím říct, že jestli jsem si na tomhle projektu něco procvičila, tak to byla práce se seznamy, slovníky a cykly.

Výsledkem bylo .csv, ve kterém bylo uvedeno jméno postavy, text, který říká a informace o tom, kolik výstupů v dané epizodě daná postava měla.

Pak jsem si říkala, že by kromě počtu výstupů nebyla špatná informace, kolik slov daná postava říká (jestli se může např. někdy stát, že má jedna postava 3 výstupy, ale řekne během nich to, co jiná za 10). Postupně jsem tedy očistila text a rozdělila pomocí splitu jednotlivá slova.

Při přípravě tohoto kódu jsem se musela zamyslet nad tím, jak budu řešit klasická anglická spojení typu “don’t”, “won’t”, “he’s” a jiné. Bude se to počítat jako jedno nebo dvě slova? Vzhledem k tomu, že v tomto případě jde o sdružení dvou slov “do not”, “willl not” nebo “is not”, rozhodla jsem se, že to budu počítat jako dvě samostatná slova. Byla zde sice i možnost přivlastňovacího “ ‘s ”, ale tyto případy byly spíše ojedinělé v porovnání s předchozím.

7 Skript v Pythonu na vyfiltrování prázdných a popisných řádků a vytvoření skupin name a speech

8 Skript v Pythonu na rozdělení textu na slova a jejich následné počítání

9 nastavení exportu základní části do csv

Níže je vidět výstup z csv (otevřeno v excelu), kde ve sloupci 1 je název postavy, ve sloupci 2 je počet výstupů, ve sloupci 3 je počet slov a ve sloupci 4 je pak samotný text. Pro každý textový soubor se scénářem epizody vznikl samostatný soubor se základními informacemi o postavách, které v daném díle vystupovaly a alespoň jednou promluvily.

10 výstup první části skriptu v csv

Jaká je v GoT nálada?

Pak jsme se mohli podívat na další část projektu, a to počítání sentimentu. Nejdříve jsem vytvořila slovník AFINN111 , ze zdroje, který je veřejně dostupný a obsahuje cca 2500 nejběžnějších anglických slov a spojení, které mají citové zabarvení.

11 vytvoření slovníku sentimentu

Slova jsou hodnocena na škále <-5,+5>, podle toho, jak jsou pozitivní či negativní, a v souboru jsou od hodnot odděleny tabulátorem, proto je zvolen .split(‘ ’).

12 Skript pro počítání sentimentu

13 Output v příkazovém řádku při počítání sentimentu

14 Export csv s hodnotami sentimentu

Níže je vidět, jak vypadal výstup z csv souboru. Byl uveden pouze název postavy a průměrná hodnota sentimentu. Samozřejmě, že jsem později zjistila, že mi to vůbec nestačí, ale v tuto chvíli jsem byla hlavně ráda, že to všechno funguje.