.CZ domény a CMS

Dneska jsem vzal seznam .CZ domen co generuji na cctld.cz, upravil crawlera z minuleho clanku a zkusil se popidit na cem je vlastne provozovana vetsina webu pouzivajici nejake CMS.

Vyhodou vetsiny komercnich (i opensource) CMS systemu je, ze generuji metatag “generator” a podle toho se da pri urcitych upravach provest detekce na jakem CMS system bezi. Neni to uplne perfektni, protoze mnoho webu ma tuto vlastnost vypnutou, a weby na jinych technologiich ji ani nezobrazuji. Nicmene, ciste ze statistickeho pohledu to uz nejaka cisla hodi.

Upravil jsem tedy crawler aby:

• nacital vzdy jen uvodni stranku
• zjistil metatag
• pripadne chybovy kod, pokud se web v poradku nenacte
• a idealne to jelo v 1000 vlaknech

Vysledkem byl jednoduchy script, ktery projel 1.340.671 domen v radech nizsich desitek minut. U cca 255 tisíc domén doslo k timeoutu na pripojeni, coz ale bylo zpusobeno vetsinou IPS/IDS ochranou webhostingu, a proto jsem tyto zbyle domeny projel jeste dodatecne v mnohem mensim cyklu. Nasledne vygenerovany JSON jsem nacpal do Elastiku abych mohl udelat agregacni statistiky. A jak si tedy CMS systemy v .CZ vedou ?

V elastiku jsem si vytvoril index podle struktury z crawlera:

PUT /cz_generators/
{
    "mappings": {
      "properties": {
            "domain": {
              "type": "keyword"
            },
            "statuscode": {
              "type": "integer"
            },
            "error": {
              "type": "text"
            },
            "generators": {
              "properties": {
                "cms" : {
                  "type": "keyword"
                }, "version": {
                  "type": "keyword"
                }
              }
            }
          }
    }
}

A nasypal do nej data:

user@hdd:~# esbulk -index cz_cms -server http://server:9200 -size 10000 -type _doc -verbose result.json

A co jsme se teda dozvedeli ?

Nejprve tabulku dostupnosti stranek na CZ domenach:

Dale zakladni udaje k CMS:

A nyni TOP 10 CMS ktere se pouzivaji na CZ domenach:

A jak si na tom stoji CZ domeny dle DNS navstevnosti 100k/den a více ?

Dale zakladni udaje k CMS:

A nyni TOP 10 CMS ktere se pouzivaji na CZ domenach s trafficem 100k/den a vice:

A co nam tedy jede na WordPressu ?

Zde bych jen opravdu rad zduraznil, ze patri mezi TOP100k DNS trafficu, coz neznamena ze maji webovou navstevnost. Domeny mohou mit DNS traffic z jinych duvodu – posta, DNS, PTR, systemovy sluzby, atd …

Zaver

Shrnu-li vyse uvedene statistiky, tak zhruba 1/5 domen obsahuje meta tag generator, tedy ma rozpoznatelny CMS system. Zbytek jsou domeny bez obsahu, s vlastnim systemem, simple HTML strankou, nebo s potlacenym meta tagem generator. Z tech co lze poznat je skoro 30% WordPress, coz je docela zajimave cislo. I mezi velkymi domenami je celkem zastoupeny WordPress, i kdyz zde jsou cisla vyrazne mensi. 10% webu vyuziva nejaky “bezny” CMS a z nich 50% WordPress. Co se mi jeste libi je vyuziti ceskych website generatoru Webnode a InPage ktere se umistili docela pekne 🙂

Co me jeste zaujalo tak jsou verze WP:

Nejstarsi verze ktera se sama napraskala byla pak 2.7.1 kterou ma 45 domen.