Trendy ve svete vs. RSS zdroje

Uz nez se u nas rozjela medialni masinerie na tema COVID-19 byly domainery zaregistrovany tematicky domeny. Jak mohli o tom vedet tak brzo ? Protoze sleduji deni, ktere se do nasi malicke kotliny dostava az se spozdenim.

Napadlo me, kdyz uz mam ty RSS zdroje, udelal malou analyzu jestli se vyplati nejak vic sledovat statistiky vyplyvajici ze svetovych trendu (samozrejme vyplati, ale clovek musi mit spravna a relevantni data).

RSS sbiram uz nekdy od prosince, vybral jsem tedy vcerejsi den „dvacateho“ dle UTC casu a vytahl si pocty ten den nactenych svetovych prispevku.

V Prosinci jsem si s tim jeste hral, proto je tam malo dat, nicmene od ledna do brezna jsem byl mimo republiku na ceste kolem sveta, takze zdroje se pouzivali stejne – je zde tedy videt docela brutalni narust mezi 20. lednem 2020 a 20. breznem 2020 a to cca o 80%.

ElasticSearch mi umoznuje udelat tkzv. significant aggregaci nad datama, pro vstup jsem pouzil tedy „title“ a vytahl TOP 20 slovicek z titulku vsech clanku pro dany obdobi:

Data v cinstine, japonstine, arabstine jsem nahradil za [utf-8] znacku. Nicmene, z vyse uvedene tabulky lze videt nasledujici:

• RSS zdroje nelze pouzit pro trends ?
• v RSS zdrojich se pletou eshopy :-/
• nebo ES zvlastne pocita ty hodnoty
• nebo to mam cele blbe 😀

Proto jsem zkusil vytahnout jeste jednu tabulku, a to vyskyt jednotlivych vyrazu: coronavirus, corona, covid pro ty same dny:

Zde je trend uz jasne viditelny. Nejdrive zacali clanky na tema coronavirus, a pozdeji se pridaly na covid-19 kdyz dostal virus pojmenovani. Zkusil jsem jeste vytahnout data, ne pro konkretni nesmyslne dny, ale pro cele mesice:

V ramci mesicni statistiky uz neni o cem diskutovat, ten trend je zcela jasny, a je spise otazka co presne pocita significant agregace a jak docilit vytazeni spravnych dat z tech nekolika desitek milionu zaznamu.

Podivame-li se na .CZ domeny, tak nejstarsi domena obsahujici „coronavirus“ je primo coronavirus.cz registrovana 24.1.2020 a koronavirus.cz registrovana 23.1.2020. Domeny covid.cz, covid-19.cz a covid19.cz byly registrovany az 11.2.2020. Se vcasnou analyzou by tady bylo tedy dost casu si tyto domeny regnout drive, nez o tom zacali ceska media vyrazne psat.

V pripade .COM je to uplne mimo 🙂 coronavirus.com byla registrovana jiz v roce 2002. Nicmene domena covid-19.com byla taktez az 11.2.2020 jako .CZ varianta.

Takze ukol do priste je naprosto jasny – je treba vymyslet algoritmus kterym se vytahne statistika slov z titulku RSS clanku (desitky miliony zaznamu, stovky milionu az miliardy slov) a pokusit se zacit sledovat svetove trendy pro vcasne registrace predevsim .COM domen 🙂