Lab/Edu vSphere környezet NSX hálózati háttérrel – Tier0 router beállítása

by vtailor · Published 2024-05-11 · Updated 2024-06-06

Az előzőkben azt már sikerült elérni, hogy a két VyOS router tudjon egymásról és meggyőződtünk arról is, hogy az áthirdetett hálózatok – jelenleg ugye még csak a gateway interfészek – elérhetőek. Viszont a management hálózatról egyelőre semmit nem érünk el a VyOS-ek mögött, ebben a bejegyzésben ezt orvosoljuk.

A T0 szerviz interfész létrehozása

Mivel két Edge Node van az Edge Cluster-ben így két IP címet fogok felhasználni mégpedig a következő beállításokkal:

Name: Lab-EN01
IP Address / Mask: 172.16.11.1/24
Connected To (Segment): seg02-108-dk-cph-lab-172.16.11.0-24
Edge Node: en01-108-dk-cph-bal-lab

Name: Lab-EN05
IP Address / Mask: 172.16.11.2/24
Connected To (Segment): seg02-108-dk-cph-lab-172.16.11.0-24
Edge Node: en05-108-dk-cph-sko-lab

Fontos! Ahogy korábban is igaz volt így most is, amelyik érték beállítására, átállítására nem tértem ki, azt hagyd az alapértelmezett értéken!

A T0 prefix listák létrehozása

Alaphelyzetben az NSX minden route-ot, amit megkap akár fizikai hálózat felől, akár egy alatta lévő T1 vagy VyOS router-től azt mindenkinek továbbhirdeti. Ez a jelen esetben nem előnyös, hiszen a korábbiakban VyOS oldalon pontosan azért állítottunk be prefix-list-eket, hogy szabályozzuk és szepíráljuk, hogy a két VyOS mit kap meg és honnan. Azért, hogy a T0 ne hirdesse be a P110R1 felé azokat a hálózatokat, amiket csak a T0 felé hirdetünk ki és a P100R1 felé se menjenek olyanok, amiket nem oda szántunk, a T0-n is létre kell hozni egy-egy IP Prefix List-et, amivel ennek elejét vehetjük. Ehhez menj a Networking > Connectivity > Tier-0 Gateways oldalra és keresd meg az érintett T0-t, majd nyisd meg szerkesztésre az Edit-re kattintva. Itt a Routing fület lenyitva az IP Prefix List melleti számlálótra majd az Add IP Prefix List-re kattintva tudod létrehozni a szükséges listákat:

Name: P100 – Not advertised
Prefixes:
1 – 10.203.115.0/24 – Deny
2 – 10.203.116.0/24 – Deny
3 – any – Permit

Name: P110 – Not advertised
Prefixies:
1 – 10.203.105.0/24 – Deny
2 – 10.203.106.0/24 – Deny
3 – any – Permit

A T0 BGP kapcsolat konfigurálása

Az előbb létrehozott szerviz interfészek mindegyike csatlakozni fog a két VyOS router-hez, ezzel megoldva azt, hogyha az egyik Edge Node-ot karbantartás vagy bármilyen meghibásodás miatt elvesztenénk, akkor is megmaradjon a kapcsolatunk.

A két Edge Node-hoz tartozó BGP kapcsolatok beállításához használt értékek a következőek:

IP address: 172.16.11.100
Remote AS: 4294108100
Source Addresses: 172.16.11.1, 172.16.11.2
Hold Down Time: 12
Keep Alive Time: 4
Route Filter:
– Out Filter: P100 – Not advertised

IP address: 172.16.11.110
Remote AS: 4294108110
Source Addresses: 172.16.11.1, 172.16.11.2
Hold Down Time: 12
Keep Alive Time: 4
Route Filter:
– Out Filter: P110 – Not advertised

Ellenőrzés

Ha már amúgy is az NSX GUI-ban vagy akkor első körben itt érdemes egy gyors ellenőrzést végezni. A leglátványosabb megerősítés az, ha a Status oszlopban Success szerepel. Azonban érdemes az info gombra is kattintani és megnézni, hogy mindegyik Edge Node-nak sikerült-e felépítenie a kapcsolatot:

Viszont alaposabb ellenőrzésre is szükség van, mert mint emlékezel, VyOS oldalról csak bizonyos hálózatokat hirdetünk a T0 felé, valamint tesztelni kell, hogy a management hálózatról is elérhetőek-e ezek. Bemutatni csak egyet fogok, de az összes hálózattal, mindkét Edge Node-on és VyOS-en végezd el az ellenőrzéseket.

A T0-n látható, hogy mindkét VyOS peer-től a várt hálózatok érkeznek:

en01-108-dk-cph-bal-lab(tier0_sr[1])> get bgp neighbor 172.16.11.100 routes
BGP IPv4 table version is 204
Local router ID is 10.99.3.7
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete

   Network                             Next Hop                            Metric       LocPrf  Weight   Path
 > 10.203.100.0/24                     172.16.11.100                       0            100     0        4294108100 ?
 > 10.203.104.0/24                     172.16.11.100                       0            100     0        4294108100 ?
 > 10.203.105.0/24                     172.16.11.100                       0            100     0        4294108100 ?

en01-108-dk-cph-bal-lab(tier0_sr[1])> get bgp neighbor 172.16.11.110 routes
BGP IPv4 table version is 204
Local router ID is 10.99.3.7
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete

   Network                             Next Hop                            Metric       LocPrf  Weight   Path
 > 10.203.110.0/24                     172.16.11.110                       0            100     0        4294108110 ?
 > 10.203.114.0/24                     172.16.11.110                       0            100     0        4294108110 ?
 > 10.203.115.0/24                     172.16.11.110                       0            100     0        4294108110 ?

Hasonló parancsot kiadva a VyOS-en láthatjuk, hogy a Management hálózatok behirdetésre kerülnek a T0 felől:

vyos@P100R1:~$ sh ip bgp neighbors 172.16.11.1 routes
BGP table version is 47, local router ID is 172.16.11.100, vrf id 0
Default local pref 100, local AS 4294108100
Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
               i internal, r RIB-failure, S Stale, R Removed
Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
Origin codes:  i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

    Network          Next Hop            Metric LocPrf Weight Path
 *  0.0.0.0/0        172.16.11.1                            0 4294108001 4294105002 4294105002 4294105002 4294105002 ?
 *> 10.10.10.0/25    172.16.11.1              0             0 4294108001 ?
 *> 10.10.10.128/25  172.16.11.1              0             0 4294108001 ?
 *> 10.203.110.0/24  172.16.11.110                          0 4294108001 4294108110 ?
 *> 10.203.114.0/24  172.16.11.110                          0 4294108001 4294108110 ?
 *> 10.203.115.0/24  172.16.11.110                          0 4294108001 4294108110 ?
 *> 172.16.10.0/28   172.16.11.1              0             0 4294108001 ?

Displayed  7 routes and 22 total paths

Én a jumphost-ról végeztem egy-egy ping és tracert tesztet a hálózatok felé:

PS C:\Users\vTailor> ping 10.203.110.1

Pinging 10.203.110.1 with 32 bytes of data:
Reply from 10.203.110.1: bytes=32 time=1ms TTL=62
Reply from 10.203.110.1: bytes=32 time<1ms TTL=62
Reply from 10.203.110.1: bytes=32 time<1ms TTL=62
Reply from 10.203.110.1: bytes=32 time<1ms TTL=62

Ping statistics for 10.203.110.1:
    Packets: Sent = 4, Received = 4, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
    Minimum = 0ms, Maximum = 1ms, Average = 0ms
PS C:\Users\vTailor> ping 10.203.100.1

Pinging 10.203.100.1 with 32 bytes of data:
Reply from 10.203.100.1: bytes=32 time<1ms TTL=62
Reply from 10.203.100.1: bytes=32 time<1ms TTL=62
Reply from 10.203.100.1: bytes=32 time<1ms TTL=62
Reply from 10.203.100.1: bytes=32 time=1ms TTL=62

Ping statistics for 10.203.100.1:
    Packets: Sent = 4, Received = 4, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
    Minimum = 0ms, Maximum = 1ms, Average = 0ms


PS C:\Users\vTailor> tracert -d 10.203.110.1

Tracing route to 10.203.110.1 over a maximum of 30 hops

  1    <1 ms    <1 ms    <1 ms  10.10.10.1
  2    <1 ms    <1 ms    <1 ms  100.64.208.0
  3    <1 ms    <1 ms    <1 ms  10.203.110.1

Trace complete.

PS C:\Users\vTailor> tracert -d 10.203.100.1

Tracing route to 10.203.100.1 over a maximum of 30 hops

  1    <1 ms    <1 ms    <1 ms  10.10.10.1
  2    <1 ms    <1 ms    <1 ms  100.64.208.0
  3    <1 ms    <1 ms     1 ms  10.203.100.1

Trace complete.

Ha minden teszted sikerrel lefutott akkor gratulálok, elkészítetted az NSX hálózati háttérrel rendelkező Nested vSphere környezeted hálózati alapjait! Már nincs más hátra, csak a számodra megfelelő hardware beállításokkal rendelkező nested ESXi host-okat elkészíteni és telepíteni a vCenter-t és abban létrehozni a cluster-eidet, vSAN-t, NSX-et…