Lab/Edu vSphere környezet NSX hálózati háttérrel – VyOS további konfigurálása

by · Published · Updated

Most, hogy elérhetőek a VyOS-ek SSH-n keresztül és sikerült is rájuk belépni, itt az ideje elvégezni azokat a beállításokat, melyekkel a korábban bemutatott desing rajz végeredménye összehozható. Ehhez majd több tesztelést is véghez kell vinni de ezek közül csak egyet-egyet fogok megmutatni és értelemszerűen a parancsokat az adott router-re vonatkozóan át kell írnod majd és azon is futtatni. Ne hagyj ki egy tesztelést sem mert az a későbbiekben visszaüthet.

Tartalomjegyzék

Bridge elkészítése és beállítása

A következő parancsokkal elnevezzük a router-ünket, elkészítjük a bridge interfészt, azon engedélyezzük a VLAN tag-elést, hozzárendeljük azt a két ethernet adapter-t, melyek a Trunk Overlay Segment-hez lettek csatolva majd ezen a két adapteren engedélyezzük azokat a VLAN-okat, amiket a későbbiekben használni fogunk. Végezetül a bridge interfészen létrehozzuk ezeket a VLAN-okat a hozzájuk tartozó gateway IP címmel.

A P100R1 VyOS router-en a következő parancsokat használtam:

configure

set interfaces ethernet eth2 mtu 9000
set interfaces ethernet eth3 mtu 9000
commit

set interfaces bridge br1
set interfaces bridge br1 mtu 9000
set interfaces bridge br1 enable-vlan
commit

set interfaces bridge br1 member interface eth2
set interfaces bridge br1 member interface eth3
commit

set interfaces bridge br1 member interface eth2 allowed-vlan 100
set interfaces bridge br1 member interface eth3 allowed-vlan 100
set interfaces bridge br1 member interface eth2 allowed-vlan 101
set interfaces bridge br1 member interface eth3 allowed-vlan 101
set interfaces bridge br1 member interface eth2 allowed-vlan 102
set interfaces bridge br1 member interface eth3 allowed-vlan 102
set interfaces bridge br1 member interface eth2 allowed-vlan 103
set interfaces bridge br1 member interface eth3 allowed-vlan 103
set interfaces bridge br1 member interface eth2 allowed-vlan 104
set interfaces bridge br1 member interface eth3 allowed-vlan 104
set interfaces bridge br1 member interface eth2 allowed-vlan 105
set interfaces bridge br1 member interface eth3 allowed-vlan 105
set interfaces bridge br1 member interface eth2 allowed-vlan 106
set interfaces bridge br1 member interface eth3 allowed-vlan 106
set interfaces bridge br1 member interface eth2 allowed-vlan 107
set interfaces bridge br1 member interface eth3 allowed-vlan 107
set interfaces bridge br1 member interface eth2 allowed-vlan 108
set interfaces bridge br1 member interface eth3 allowed-vlan 108
set interfaces bridge br1 member interface eth2 allowed-vlan 109
set interfaces bridge br1 member interface eth3 allowed-vlan 109
set interfaces bridge br1 vif 100 address 10.203.100.1/24
commit

set interfaces bridge br1 vif 100 address 10.203.100.1/24
set interfaces bridge br1 vif 100 description 'VM workload'
set interfaces bridge br1 vif 101 address 10.203.101.1/24
set interfaces bridge br1 vif 101 description 'vMotion'
set interfaces bridge br1 vif 102 address 10.203.102.1/24
set interfaces bridge br1 vif 102 description 'vSAN'
set interfaces bridge br1 vif 103 address 10.203.103.1/24
set interfaces bridge br1 vif 103 description 'Overlay for ESXi'
set interfaces bridge br1 vif 104 address 10.203.104.1/24
set interfaces bridge br1 vif 104 description 'Overlay for Edge'
set interfaces bridge br1 vif 105 address 10.203.105.1/24
set interfaces bridge br1 vif 105 description 'NSX Edge Uplink #1'
set interfaces bridge br1 vif 106 address 10.203.106.1/24
set interfaces bridge br1 vif 106 description 'NSX Edge Uplink #2'
set interfaces bridge br1 vif 107 address 10.203.107.1/24
set interfaces bridge br1 vif 108 address 10.203.108.1/24
set interfaces bridge br1 vif 109 address 10.203.109.1/24
commit

save
exit

A P110R1 VyOS router-en pedig a következőket:

configure

set interfaces ethernet eth2 mtu 9000
set interfaces ethernet eth3 mtu 9000
commit

set interfaces bridge br1
set interfaces bridge br1 mtu 9000
set interfaces bridge br1 enable-vlan
commit

set interfaces bridge br1 member interface eth2
set interfaces bridge br1 member interface eth3
commit

set interfaces bridge br1 member interface eth2 allowed-vlan 110
set interfaces bridge br1 member interface eth3 allowed-vlan 110
set interfaces bridge br1 member interface eth2 allowed-vlan 111
set interfaces bridge br1 member interface eth3 allowed-vlan 111
set interfaces bridge br1 member interface eth2 allowed-vlan 112
set interfaces bridge br1 member interface eth3 allowed-vlan 112
set interfaces bridge br1 member interface eth2 allowed-vlan 113
set interfaces bridge br1 member interface eth3 allowed-vlan 113
set interfaces bridge br1 member interface eth2 allowed-vlan 114
set interfaces bridge br1 member interface eth3 allowed-vlan 114
set interfaces bridge br1 member interface eth2 allowed-vlan 115
set interfaces bridge br1 member interface eth3 allowed-vlan 115
set interfaces bridge br1 member interface eth2 allowed-vlan 116
set interfaces bridge br1 member interface eth3 allowed-vlan 116
set interfaces bridge br1 member interface eth2 allowed-vlan 117
set interfaces bridge br1 member interface eth3 allowed-vlan 117
set interfaces bridge br1 member interface eth2 allowed-vlan 118
set interfaces bridge br1 member interface eth3 allowed-vlan 118
set interfaces bridge br1 member interface eth2 allowed-vlan 119
set interfaces bridge br1 member interface eth3 allowed-vlan 119
commit

set interfaces bridge br1 vif 110 address 10.203.110.1/24
set interfaces bridge br1 vif 110 description 'VM workload'
set interfaces bridge br1 vif 111 address 10.203.111.1/24
set interfaces bridge br1 vif 111 description 'vMotion'
set interfaces bridge br1 vif 112 address 10.203.112.1/24
set interfaces bridge br1 vif 112 description 'vSAN'
set interfaces bridge br1 vif 113 address 10.203.113.1/24
set interfaces bridge br1 vif 113 description 'Overlay for ESXi'
set interfaces bridge br1 vif 114 address 10.203.114.1/24
set interfaces bridge br1 vif 114 description 'Overlay for Edge'
set interfaces bridge br1 vif 115 address 10.203.115.1/24
set interfaces bridge br1 vif 115 description 'NSX Edge Uplink #1'
set interfaces bridge br1 vif 116 address 10.203.116.1/24
set interfaces bridge br1 vif 116 description 'NSX Edge Uplink #2'
set interfaces bridge br1 vif 117 address 10.203.117.1/24
set interfaces bridge br1 vif 118 address 10.203.118.1/24
set interfaces bridge br1 vif 119 address 10.203.119.1/24
commit

save
exit

Ellenőrzés

Miután mindkét VyOS router bridge interfésze beállításra került, itt az ideje meggyőződni arról, hogy azok működnek is. És ahogy a mondás is tartja, ha ping van, minden van…

Én az ellenőrzéshez készítettem egy nested ESXi host-ot, melyen két interfészt a 10.10.10.0/25-ös hálózatra, egyet-egyet pedig a tesztelésre kiszemelt VyOS router-hez kapcsolódó Trunk Overlay Segment-re kapcsoltam:

Tesztelésre készült Nested ESXi host hálózati beállításai

Ez egy standalone ESXi host. A GUI-ba belépést követően létrehoztam egy P100 nevű standard switch-et melyhez hozzárendeltem a két NIC-et, melyek mögé a Trunk Overlay Segment-ek lettek kötve. Ehhez a standard switch-hez végül létrehoztam egy port group-ot is, melyet VLAN 100-as tag-el láttam el. A végeredmény a következő lett:

Standard switch és port group beállítása

Ezután elkészítettem a GUI-ból egy VMkernel adaptert, melyet a 100-as VLAN tag-el ellátott port group-hoz rendeltem:

VMkernel adapter beállításai

Mivel a VMkernel adapter a „Default TCP/IP stack”-hez lett kapcsolva, és annak a default gateway-e más, ezért a soron következő tesztek nem fognak tudni sikerrel lefutni. Hogy meggyőződj erről, lépj be SSH keresztül az ESXi host-ra és ellenőrizd. Ha hasonló eredményt kapsz, akkor neked is javítanod kell a gateway-t:

Hibás default gateway

A javításhoz használd a következő parancsot:

esxcli network ip interface ipv4 set -i vmk1 -t static -g 10.203.100.1 -I 10.203.100.2 -N 255.255.255.0
Immáron a jó gateway-el

Az újabb ellenőrzést követően már a megfelelő gateway-nek kell szerepelnie és ha kiadod a vmkping parancsokat az adott VyOS router mindegyik korábban konfigurált gateway IP címére, akkor azoknak drop nélkül kell lefutniuk. Fontos! Azért tudod mindegyik gateway IP címet ping-elni, mert nem használunk VyOS oldalon tűzfalat ami ezt megakadályozná:

[root@shrd-nesxi05:~] ping 10.203.102.1 -I vmk1
PING 10.203.101.1 (10.203.101.1): 56 data bytes
64 bytes from 10.203.102.1: icmp_seq=0 ttl=63 time=0.426 ms
64 bytes from 10.203.102.1: icmp_seq=1 ttl=63 time=0.286 ms
64 bytes from 10.203.102.1: icmp_seq=2 ttl=63 time=0.285 ms

--- 10.203.102.1 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.285/0.332/0.426 ms

A sikeres PING-eket követően érdemes további teszteket is futtatni, hogy kiderüljön, hogy egy link hiba esetén a megmaradt interfész is tudja kezelni a forgalmat. Ehhez például leválaszthatod az egyik vagy másik Overlay Segment-et a nested ESXi-ről, vagy a standard switch uplink-eivel is „játszhatsz”. Ha minden teszt sikerrel zárul, akkor nyugodtan továbbmehetsz a következő lépésekre, ellenkező esetben érdemes ellenőrizned melyik teszt miért nem sikerült.

BGP peering létrehozása

Most, hogy elkészültek a VLAN-ok és kiderült, hogy a gateway IP címek is elérhetőek, itt az ideje elérhetővé tenni ezeket. Jelenleg ugyanis nemhogy a két VyOS router nem tud a egymásról de a T0 router-nek sincs tudomása az alatt felhúzott két VyOS-ről. Ahogy a bevezetőben is említettem: Prefix List-ekkel szabályozni fogjuk, hogy melyik VLAN lesz elérhető „kintről”, tehát a T0 irányából – és ezáltal a mi management hálózatunkból – és melyek lesznek csak a két VyOS között.

Ehhez a BGP-t fogjuk segítségül hívni. Ezen kapcsolatok kiépítéséhez szükséges információkat a következő táblázat tartalmazza:

EszközIP címAS azonosító
t0-108-dk-cph-lab-ec01172.16.11.14294108001
t0-108-dk-cph-lab-ec01172.16.11.24294108001
P100R1172.16.11.1004294108100
P100R1172.16.11.1014294108100
P110R1172.16.11.1104294108110
P110R1172.16.11.1114294108110

VyOS-ek közötti kapcsolat létrehozása és ellenőrzése

A következő parancsokkal a következő beállításokat végezzük el:

  • BGP peering-ben résztvevő IP címek hozzárendelése az interfészhez
  • Kihírdetésre kerülő hálózatok (Prefix-List) definiálása
  • BGP konfigurálása
  • BGP kapcsolat felépítése a másik VyOS router-rel
  • Prefix-List hozzáadása a BGP-hez

A P100R1-en a következő parancsokkal valósítható mindez meg:

configure

set interfaces ethernet eth1 address '172.16.11.100/24'
set interfaces ethernet eth1 address '172.16.11.101/24'
commit

set policy prefix-list To-P110R1-OUT rule 1 action 'permit'
set policy prefix-list To-P110R1-OUT rule 1 prefix '10.203.101.0/24'
set policy prefix-list To-P110R1-OUT rule 2 action 'permit'
set policy prefix-list To-P110R1-OUT rule 2 prefix '10.203.102.0/24'
set policy prefix-list To-P110R1-OUT rule 3 action 'permit'
set policy prefix-list To-P110R1-OUT rule 3 prefix '10.203.103.0/24'
set policy prefix-list To-P110R1-OUT rule 4 action 'permit'
set policy prefix-list To-P110R1-OUT rule 4 prefix '10.203.104.0/24'
commit

set protocols bgp system-as 4294108100
set protocols bgp timers holdtime 12
set protocols bgp timers keepalive 4
set protocols bgp parameters router-id 172.16.11.100
set protocols bgp address-family ipv4-unicast redistribute connected
commit

set protocols bgp neighbor 172.16.11.111 remote-as 4294108110
set protocols bgp neighbor 172.16.11.111 update-source 172.16.11.101
set protocols bgp neighbor 172.16.11.111 capability dynamic
set protocols bgp neighbor 172.16.11.111 address-family ipv4-unicast
commit

set protocols bgp neighbor 172.16.11.111 address-family ipv4-unicast prefix-list export 'To-P110R1-OUT'
commit

save
exit

A P110R1-en pedig a következő parancsokkal:

configure

set interfaces ethernet eth1 address '172.16.11.110/24'
set interfaces ethernet eth1 address '172.16.11.111/24'
commit

set policy prefix-list To-P100R1-OUT rule 1 action 'permit'
set policy prefix-list To-P100R1-OUT rule 1 prefix '10.203.111.0/24'
set policy prefix-list To-P100R1-OUT rule 2 action 'permit'
set policy prefix-list To-P100R1-OUT rule 2 prefix '10.203.112.0/24'
set policy prefix-list To-P100R1-OUT rule 3 action 'permit'
set policy prefix-list To-P100R1-OUT rule 3 prefix '10.203.113.0/24'
set policy prefix-list To-P100R1-OUT rule 4 action 'permit'
set policy prefix-list To-P100R1-OUT rule 4 prefix '10.203.114.0/24'
commit

set protocols bgp system-as 4294108110
set protocols bgp timers holdtime 12
set protocols bgp timers keepalive 4
set protocols bgp parameters router-id 172.16.11.110
set protocols bgp address-family ipv4-unicast redistribute connected
commit

set protocols bgp neighbor 172.16.11.101 remote-as 4294108100
set protocols bgp neighbor 172.16.11.101 update-source 172.16.11.111
set protocols bgp neighbor 172.16.11.101 capability dynamic
set protocols bgp neighbor 172.16.11.101 address-family ipv4-unicast
commit

set protocols bgp neighbor 172.16.11.101 address-family ipv4-unicast prefix-list export 'To-P100R1-OUT'
commit

save
exit

Amint mindkét VyOS beállításával megvagy, egy ellenőrzést követően azt kell látnod, hogy a két router-en a kapcsolat sikeresen felépült és csak a fentebb megadott négy-négy hálózat kerül áthirdetésre:

vyos@P100R1:~$ sh ip bgp
BGP table version is 37, local router ID is 172.16.11.100, vrf id 0
Default local pref 100, local AS 4294108100
Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
               i internal, r RIB-failure, S Stale, R Removed
Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
Origin codes:  i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

    Network          Next Hop            Metric LocPrf Weight Path
 *> 10.203.100.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.101.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.102.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.103.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.104.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.105.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.106.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.107.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.108.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.109.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.111.0/24  172.16.11.111            0             0 4294108110 ?
 *> 10.203.112.0/24  172.16.11.111            0             0 4294108110 ?
 *> 10.203.113.0/24  172.16.11.111            0             0 4294108110 ?
 *> 10.203.114.0/24  172.16.11.111            0             0 4294108110 ?
 *> 172.16.11.0/24   0.0.0.0                  0         32768 ?

Displayed  14 routes and 14 total paths


vyos@P110R1:~$ sh ip bgp
BGP table version is 24, local router ID is 172.16.11.110, vrf id 0
Default local pref 100, local AS 4294108110
Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
               i internal, r RIB-failure, S Stale, R Removed
Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
Origin codes:  i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

    Network          Next Hop            Metric LocPrf Weight Path
 *> 10.203.101.0/24  172.16.11.101            0             0 4294108100 ?
 *> 10.203.102.0/24  172.16.11.101            0             0 4294108100 ?
 *> 10.203.103.0/24  172.16.11.101            0             0 4294108100 ?
 *> 10.203.104.0/24  172.16.11.101            0             0 4294108100 ?
 *> 10.203.110.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.111.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.112.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.113.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.114.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.115.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.116.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.117.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.118.0/24  0.0.0.0                  0         32768 ?
 *> 10.203.119.0/24  0.0.0.0                  0         32768 ?
 *> 172.16.11.0/24   0.0.0.0                  0         32768 ?

Displayed  14 routes and 14 total paths

Amint megerősítésre került, hogy a két VyOS az általunk várt hálózatok közlik egymással, a biztonság kedvéért a „ping” parancs segítségével további ellenőrzést is végrehajthatsz:

vyos@P110R1:~$ ping 10.203.101.1 source-address 10.203.111.1
PING 10.203.101.1 (10.203.101.1) from 10.203.111.1 : 56(84) bytes of data.
64 bytes from 10.203.101.1: icmp_seq=1 ttl=64 time=0.262 ms
64 bytes from 10.203.101.1: icmp_seq=2 ttl=64 time=0.200 ms
64 bytes from 10.203.101.1: icmp_seq=3 ttl=64 time=0.200 ms
64 bytes from 10.203.101.1: icmp_seq=4 ttl=64 time=0.187 ms
64 bytes from 10.203.101.1: icmp_seq=5 ttl=64 time=0.175 ms
64 bytes from 10.203.101.1: icmp_seq=6 ttl=64 time=0.183 ms
64 bytes from 10.203.101.1: icmp_seq=7 ttl=64 time=0.086 ms
^C
--- 10.203.101.1 ping statistics ---
7 packets transmitted, 7 received, 0% packet loss, time 6175ms
rtt min/avg/max/mdev = 0.086/0.184/0.262/0.048 ms

Ahhoz, hogy működésre bírjuk a környezetünket egy utolsó peering kialakítására van szükség, ami az NSX-ben található T0 felé történik meg.

Ez a P100R1 router-en a következő parancsokkal érhető el:

configure

set policy prefix-list To-T0-OUT rule 1 action 'permit'
set policy prefix-list To-T0-OUT rule 1 prefix '10.203.100.0/24'
set policy prefix-list To-T0-OUT rule 2 action 'permit'
set policy prefix-list To-T0-OUT rule 2 prefix '10.203.105.0/24'
set policy prefix-list To-T0-OUT rule 3 action 'permit'
set policy prefix-list To-T0-OUT rule 3 prefix '10.203.106.0/24'
commit

set protocols bgp neighbor 172.16.11.1 remote-as 4294108001
set protocols bgp neighbor 172.16.11.2 remote-as 4294108001
set protocols bgp neighbor 172.16.11.1 update-source 172.16.11.100
set protocols bgp neighbor 172.16.11.2 update-source 172.16.11.100
set protocols bgp neighbor 172.16.11.1 capability dynamic
set protocols bgp neighbor 172.16.11.2 capability dynamic
set protocols bgp neighbor 172.16.11.1 address-family ipv4-unicast
set protocols bgp neighbor 172.16.11.2 address-family ipv4-unicast
commit

set protocols bgp neighbor 172.16.11.1 address-family ipv4-unicast prefix-list export 'To-T0-OUT'
set protocols bgp neighbor 172.16.11.2 address-family ipv4-unicast prefix-list export 'To-T0-OUT'
commit

save
exit

A P110R1 router-en pedig a következőkkel:

configure

set policy prefix-list To-T0-OUT rule 1 action 'permit'
set policy prefix-list To-T0-OUT rule 1 prefix '10.203.110.0/24'
set policy prefix-list To-T0-OUT rule 2 action 'permit'
set policy prefix-list To-T0-OUT rule 2 prefix '10.203.115.0/24'
set policy prefix-list To-T0-OUT rule 3 action 'permit'
set policy prefix-list To-T0-OUT rule 3 prefix '10.203.116.0/24'
commit

set protocols bgp neighbor 172.16.11.1 remote-as 4294108001
set protocols bgp neighbor 172.16.11.2 remote-as 4294108001
set protocols bgp neighbor 172.16.11.1 update-source 172.16.11.110
set protocols bgp neighbor 172.16.11.2 update-source 172.16.11.110
set protocols bgp neighbor 172.16.11.1 capability dynamic
set protocols bgp neighbor 172.16.11.2 capability dynamic
set protocols bgp neighbor 172.16.11.1 address-family ipv4-unicast
set protocols bgp neighbor 172.16.11.2 address-family ipv4-unicast
commit

set protocols bgp neighbor 172.16.11.1 address-family ipv4-unicast prefix-list export 'To-T0-OUT'
set protocols bgp neighbor 172.16.11.2 address-family ipv4-unicast prefix-list export 'To-T0-OUT'
commit

save
exit

Tags:

You may also like...