Ситуация
Выходной. Пью кофе. Студент настроил VPN соединение между двумя точками и исчез. Проверяю: туннель действительно есть, но трафика в туннеле нет. На звонки студент не отвечает.
Ставлю чайник и погружаюсь в траблшутинг С-Терра Шлюз. Делюсь своим опытом и методологией.
Исходные данные
Две территориально разделенные площадки связаны GRE туннелем. GRE нужно зашифровать:
Проверяю работоспособность GRE туннеля. Для этого запускаю ping с устройства R1 до GRE интерфейса устройства R2. Это целевой трафик для шифрования. Ответа нет:
root@R1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
--- 1.1.1.2 ping statistics ---
4 packets transmitted, 0 received, 100% packet loss, time 3057msСмотрю логи на Gate1 и Gate2. Лог радостно сообщает, что IPsec туннель успешно поднялся, никаких проблем:
root@Gate1:~# cat /var/log/cspvpngate.log
Aug 5 16:14:23 localhost vpnsvc: 00100119 <4:1> IPSec connection 5 established, traffic selector 172.17.0.1->172.16.0.1, proto 47, peer 10.10.10.251, id "10.10.10.251", Filter
IPsec:Protect:CMAP:1:LIST, IPsecAction IPsecAction:CMAP:1, IKERule IKERule:CMAP:1В статистике IPsec туннеля на Gate1 вижу, что туннель действительно есть, но счетчик Rсvd обнулен:
root@Gate1:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded
ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1070 1014
IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 3 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 480 0Я траблшучу С-Терру так: ищу, где теряются целевые пакеты на пути от R1 до R2. В процессе (спойлер) найду ошибку.
Траблшутинг
Шаг 1. Что получает Gate1 от R1
Использую встроенный пакетный сниффер – tcpdump. Запускаю сниффер на внутреннем (Gi0/1 в нотации Cisco-like или eth1 в нотации ОС Debian) интерфейсе:
root@Gate1:~# tcpdump -i eth1
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth1, link-type EN10MB (Ethernet), capture size 262144 bytes
14:53:38.879525 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 1, length 64
14:53:39.896869 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 2, length 64
14:53:40.921121 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 3, length 64
14:53:41.944958 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 4, length 64Вижу, что Gate1 получает от R1 GRE пакеты. Двигаюсь далее.
Шаг 2. Что Gate1 делает с GRE пакетами
Утилитой klogview смотрю, что происходит с GRE пакетами внутри VPN драйвера С-Терра:
root@Gate1:~# klogview -f 0xffffffff
filtration result for out packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 4 "IPsecPolicy:CMAP", filter 8, event id IPsec:Protect:CMAP:1:LIST, status PASS
encapsulating with SA 31: 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0
passed out packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: encapsulated
Вижу, что целевой GRE трафик (proto 47) 172.16.0.1 -> 172.17.0.1 попал (PASS) под правило шифрования LIST в криптокарте CMAP и зашифровался (encapsulated). Далее пакет смаршрутизировался (passed out). Ответного трафика в выводе klogview нет.
Проверяю списки доступа на устройстве Gate1. Вижу один список доступа LIST, который определяет целевой трафик для шифрования, значит правил МЭ не настроено:
Gate1#show access-lists
Extended IP access list LIST
10 permit gre host 172.16.0.1 host 172.17.0.1Вывод: проблема не на устройстве Gate1.
Дополнительно о klogview
VPN драйвер обрабатывает весь сетевой трафик, не только тот, который должен шифроваться. Вот такие сообщение видны в klogview, если VPN драйвер обработал сетевой трафик и передал его в незашифрованном виде:
root@R1:~# ping 172.17.0.1 -c 4root@Gate1:~# klogview -f 0xffffffff
filtration result for out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: chain 4 "IPsecPolicy:CMAP": no match
passed out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: filteredВижу, что ICMP трафик (proto 1) 172.16.0.1->172.17.0.1 не попал (no match) в правила шифрования криптокарты CMAP. Пакет смаршрутизировался (passed out) в открытом виде.
Шаг 3. Что получает Gate2 от Gate1
Запускаю сниффер на WAN (eth0) интерфейсе Gate2:
root@Gate2:~# tcpdump -i eth0
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
16:05:45.104195 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x1), length 140
16:05:46.093918 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x2), length 140
16:05:47.117078 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x3), length 140
16:05:48.141785 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x4), length 140Вижу, что Gate2 получает ESP пакеты от Gate1.
Шаг 4. Что Gate2 делает с ESP пакетами
Запускаю утилиту klogview на Gate2:
root@Gate2:~# klogview -f 0xffffffff
filtration result for in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: chain 17 "FilterChain:L3VPN", filter 21, status DROP
dropped in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: firewall
Вижу, что ESP пакеты (proto 50) были дропнуты (DROP), правилом (L3VPN) межсетевого экрана (firewall). Убеждаюсь, что к Gi0/0 действительно привязан список доступа L3VPN:
Gate2#show ip interface gi0/0
GigabitEthernet0/0 is up, line protocol is up
Internet address is 10.10.10.252/24
MTU is 1500 bytes
Outgoing access list is not set
Inbound access list is L3VPNПроблему обнаружил.
Шаг 5. Что не так со списком доступа
Смотрю, что из себя представляет список доступа L3VPN:
Gate2#show access-list L3VPN
Extended IP access list L3VPN
10 permit udp host 10.10.10.251 any eq isakmp
20 permit udp host 10.10.10.251 any eq non500-isakmp
30 permit icmp host 10.10.10.251 anyВижу, что разрешены ISAKMP пакеты, поэтому устанавливается IPsec туннель. А вот разрешающего правила для ESP нет. Видимо, студент перепутал icmp и esp.
Правлю список доступа:
Gate2(config)#
ip access-list extended L3VPN
no 30
30 permit esp host 10.10.10.251 anyШаг 6. Проверяю работоспособность
Первым делом убеждаюсь, что список доступа L3VPN верный:
Gate2#show access-list L3VPN
Extended IP access list L3VPN
10 permit udp host 10.10.10.251 any eq isakmp
20 permit udp host 10.10.10.251 any eq non500-isakmp
30 permit esp host 10.10.10.251 anyТеперь с устройства R1 запускаю целевой трафик:
root@R1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=35.3 ms
64 bytes from 1.1.1.2: icmp_seq=2 ttl=64 time=3.01 ms
64 bytes from 1.1.1.2: icmp_seq=3 ttl=64 time=2.65 ms
64 bytes from 1.1.1.2: icmp_seq=4 ttl=64 time=2.87 ms
--- 1.1.1.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 2.650/10.970/35.338/14.069 msПобеда. GRE туннель установился. Счетчик входящего трафика в статистике IPsec не нулевой:
root@Gate1:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded
ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1474 1350
IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 4 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 1920 480На шлюзе Gate2 в выводе klogview появились сообщения, что целевой трафик 172.16.0.1->172.17.0.1 успешно (PASS) расшифрован (decapsulated) правилом LIST в криптокарте CMAP:
root@Gate2:~# klogview -f 0xffffffff
filtration result for in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 18 "IPsecPolicy:CMAP", filter 25, event id IPsec:Protect:CMAP:1:LIST, status PASS
passed in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: decapsulatedИтоги
Студент подпортил выходной.
Аккуратнее с правилами МЭ.
Анонимный инженер
t.me/anonimous_engineer
EvgenT
Вы хотябы напишите, что речь идёт об S-Terra шлюзах.
Не все же знают, где используются sa_mgr, klogview…
Только где-то в середине статьи упоминается:
anonimous_engineer Автор
Дельно. Добавил