COVID-19 v Domenach

V ramci aktualniho vyvoje ve svete me tak nejak napadla myslenka – jak si vubec vede Covid v mych dostupnych datech ?

Uz minule jsem zminil, ze v RSS zdrojich slo toto tema jednoznacne na prvni pricky. Chtel jsem si s tim pohrat nejak vic, nebot jsem se naucil v Elasticu agregovat trochu lip ty klicovy slova, ale bohuzel fatalni chybou pri reloadu ES clusteru jsem nasledne prisel o vsechny data, tj cca 20TB dat. Dost velikou cast mam v puvodnich importovanych surovych datech, ale nemalou cast (a mimo jine prave RSS feedy od pulky prosince) jsem importoval naprimo, a tedy puvodni datovy soubory jiz nemam. Takze sice data sbiram na novo (za 2 dny 8 milionu clanku), ale bohuzel uz nemuzu porovnavat, neb neni s cim.

Co ale mam k dispozici jsou zonovy soubory gTLD/newGTLD, a seznamy SK/CZ domen. Dale pak data z NXD od DN, kde je teda primarne zahranicni traffic  .. ale proc se na to nepodivat, nejsou to uplne maly cisla 🙂

Takze co se nam registrovalo ? 🙂

NewGTLD a gTLD (net, org, biz)

Zde nemam uplne vsechny zonefiles jeste k dispozici, cekam na postupny schvaleni – zatim jich mam 775, ale meli by tam byt vsechny ty nejpouzivanejsi.

Dohromady je s vyrazem corona (bez coronado) registrovano: 11.180 domen

Takze TOP 10 domenovych nazvu napric seznamem:

Dale TOP 10 dle TLD:

Dalsi vyraz co jsem vyhledal byl „covid„, takze opet TOP 10 domenovych nazvu napric seznamem. Domen bylo zde registrovano 7.480

A TOP 10 dle TLD:

Tady je videt nepatrny rozdil proti vyrazu „corona“. Zatimco prvni 4 TLD jsou naprosto jasne, pak si .LIVE s .XYZ prohodili misto, a je zajimavy kolik domen je na koncovce .APP – radeji nechci studovat kolik tech domen ma regulerni obsah :-/

gTLD (com)

Samostatne mrknem na .COM. Zonefile mam k 19.3 a pak k 27.3. Tabulku poctu domen vypisu pro corona i covid a srovname si tyto dva dny vuci sobe 🙂

S ohledem na >130M .com domen je nutne pocitat ze tam jsou i nektere vyjimky jako trebas aeradecovideo.com ktera s COVID nema nic spolecneho. Taktez u CORONA budou chybne domeny tykajici se CORONADO nebo Mexickeho piva CORONA.

ccTLD

Zde jsou pro nas nejzajimavejsi asi CZ a SK

CZ-NIC nedavak dispozici zonefile, muj seznam je tedy tvoren vlastnimi zdroji a obsahuje skoro 1,1 milionu domen, hodnoty jsou tedy orientacni. SK-NIC dava k dispozici zonovy soubor a hodnoty jsou tedy presne. Domeny obsahujici vice vyrazu jsou zapocteny do vsech radku kam patri, takze muzou byt duplicitni.

Je hezky jak cesi pouzivaji cestinu a slovaci slovenstinu a tedy vyrazu s „K“ je vyrazne vice 🙂

NXD

Tady sem premyslel jak ten sumar udelat. Jedna se o 180.739.556 zaznamu v logu, a to ze zemi: IR (cca 19%), ES (cca 15%), CN (cca 12%), IN (cca 8%) a BR (cca 7%).

Pocet navstivenych domen obsahujici slovo:

Obsah webu

Zajimave je se podivat i na obsah webu. Spustil jsem svoje nastroje na kompletni nacteni do ES a zkusime zpracovat titulky o cem tedy jednotlivy weby jsou. Domen je presne 75.565, z toho funkcnich pak: 48.211. V nasledujici tabulce je vycet pouzitych keywordu:

Keywords v Titulce

TOP 10 Titulek

14.138 tisic domen nema tag pro titulek.

Obsahove jsou weby vesmes nefukcni, parkovany, nebo na prodej. Jak je videt, tak vetsina z domen je registrovana opravdu jen pro spekulativni ucely, nez pro poskytnuti nejakeho obsahu.

Top 10 Hosteru

Top 10 GeoIP Hosteru

A vyjimecne davam k dispozici ke stazeni:

• Log zpracovani „titles“ – 1MB json.gz
• .tar.gz screenshotu (1440×900) vsech vyse vybranych webu (cca 45k nactenych domen) – 12GB .gz