Budovani AnycastDNS – 3. cast
A jdeme na to … Sit mame, data mame, zacnem tedy optimalizovat
JAK?
Podstatnou otazkou je, jak se vlastne dela optimalizace Anycastu. Nejrozsirenejsi jsou 3 moznosti:
-
- Instalace noveho nodu v konkretni zemi u silneho ISP
- Kazdy ISP ma nekolik upstreamu a peeringu, muzeme ho pozadat aby nas nepropagoval do site XY
- BGP Communities kterym rekneme ISP jak s nasi routou nalozit
Prvni varianta je neekonomicka a casto neresi ani vznikly problem. Druha varianta je uz proveditelna, ale pokud k tomu neni obzvlast zavazny duvod, je lepsi kdyz jsou napojeny vsechny cesty pro pripadny vypadek. Treti varianta za vyuziti BGP communities je tedy nejdulezitejsi.
Co jsou BGP Communities ?
Zkusim to vysvetlit tak nejak jak to umim (nejsem expert) a lajcky aby to bylo pochopitelny.
Kdyz skrze protokol BGP propagujeme nasi routu (napriklad 185.28.194.0/24) rikame, ze tento rozsah se ma posilat na nas router. Nas ISP ma dva transitni poskytovatele T1 a T2 a tem on tuto informaci predava. Pro rizeni trafficu obalime informaci kolem nasi routy par cislickama ve formatu YYYY:XXXX , coz oznacuje prave BGP komunitu. V praxi byva YYYY AS Cislo ISP kteremu to sdelujeme a XXXX nejake pravidlo. Takovych informaci muzeme pribalit vic, takze pokud nam to operatori T1 a T2 umoznuji, tak k nasi route pridame napriklad comminutu pro T1 – nepropaguj nas do USA, a comminitu pro T2 – nepropaguj nas do site Level3. A prave timto uspesne ridime traffic tak jak potrebujeme.
Problemem zde je bohuzel to, ze ne vsichni BGP Community umi, nebo maji moznost je pouzit – pak nezbyva nez si najit hodnoty pro vzdalenejsi ISP, poslat je tam, a doufat ze je po ceste nikdo neodstrani, coz se samozrejme taky deje.
Jdeme na to
Aktualne se podivame na grafy DNSPerf jak to s nama vypada:
To co tam tak silene vyskakuje je Panama. Zamerime se tedy na optimalizaci pro ni. V Paname nemame zadny bod, nejblizsi jsou na Floride nebo v Kolumbii. Bohuzel Panama neni v NLNOGu, takze vyuzijem Network Utilities primo od DNSPerf aby nam ukazal kde se dotazuje:
Vidime, ze z Panamy, kde je nejblizsi bod v USA nebo v Kolumbii nam to tece az do Chile 🙁 Podivame se tedy kudy:
Tentokrat moc dat z toho nevycteme, ale podivame se na sit GBLX (Level3).
Nas poskytovatel v Chile nema peering s Level3, takze to tam leze pres nekoho. Trvalo mi to dele, ale nakonec jsem narazil na public router-server GBLX diky kteremu jsem si mohl precist jak jsou nase routy nauceny:
route-server.ams2> show ip bgp 185.28.194.194 BGP routing table entry for 185.28.194.0/24, version 3012801371 Paths: (3 available, best #3, table default) Not advertised to any peer 263702 7195 60592 67.16.147.121 from 4.69.240.15 (4.69.240.15) Origin IGP, metric 0, localpref 300, valid, internal Community: 3549:4950 3549:34152 Originator: 67.16.168.195, Cluster list: 0.0.6.42, 0.0.6.36, 0.0.6.22 263702 7195 60592 67.16.147.121 from 4.69.241.13 (4.69.241.13) Origin IGP, metric 0, localpref 300, valid, internal Community: 3549:4950 3549:34152 Originator: 67.16.168.195, Cluster list: 0.0.6.28, 0.0.6.36, 0.0.6.22 263702 7195 60592 67.16.147.121 from 4.69.240.1 (4.69.240.1) Origin IGP, metric 0, localpref 300, valid, internal, best Community: 3549:4950 3549:34152 Originator: 67.16.168.195, Cluster list: 0.0.6.27, 0.0.6.36, 0.0.6.22
Z vypisu je videt ze od nas (60592) to jde k EdgeUno (7195 – nas ISP) a od nich k 263702 (GRUPO ZGH SPA). Bohuzel u nich se mi nedari najit verejne BGP Communities abych mohl zablokovat (nebo naprependovat) spoj do Level3, takze jsem poslal emaily a uvidime jestli se mi to podari vyresit 🙁
Dalsi co me tedy trapi je Dansko. Divam se co se deje proc mame tak vysoky casy a zjistil jsem toto:
Z minimalne dvou lokaci nam data tecou do jihoafricky republiky zcela nesmyslne. Duvodem je, ze v NL-IX peeruje Seacom ktery to posle nejkratsi cestou do Afriky. Bohuzel v NL-IX je to nejkratsi cesta 🙁
U Seacom je super, ze poskytuje BGP Community a da se tim ovladat dost veci. Mimo jine napriklad muzu communitou 65099:34307 rict: Neposilejte me do NL-IX!
Takze na nasem serveru v Jihoafricke Republice jsem tuto community nastavil, a efekt se objevil okamzite:
Dansko nam obratem spadlo z prisernych 185ms na 15ms 🙂
Kdyz vemu v potaz co vse se da u Seacom nastavit, mozna by stalo za to se podivat jak nam vubec ta Jihoafricka republika hapruje. Uplne se od nej odpojit nechceme, protoze ma spoustu peeringu v Africe, coz potrebujeme, ale nesmi se stat ze nam tam posila traffic z Evropy ci odjinud.
Tady je videt, ze opravdu par veci je spatne. Traffic z USA, Evropy, Asie a uz vubec ne Indonesie a Novyho Zealandu nema chodit do Jihoafricky republiky. Takze na to se vrhnu v dalsim dile.
V tomhle dile by videt, ze optimalizace neni vubec jednoducha – Panama se nam nepodarila zatim vyresit, takze musime cekat 🙁
kraja -
Zaplat panbuh za ISP kteri maji komunity implementovane korektne a inteligentne (a funguji jim)… Stejne je proste „roztomile“, jak je na urcite urovni internet porad tak strasne neohrabany, a s kolika vecmi se je nutno vyporadat manualne (a kolik z nich clovek na milionu mist nevidi, takze to stejne funguje blbe, a presto ten internet tak nejak funguje…)
gransy -
Nejhorsi na tom je, ze povetsinou ty maly ISP alespon komunikuji, zatimco ti velci, co delaj nejvetsi bordel, vicemene ne 🙁