В часы пик резко возрастает латентность на участке между WS-C6509-E и ASR1002. С обеих сторон есть L3 интерфейсы, проверяю пингом, который вырастает с нормальных 1-2 мс до 100-150 мс. Потери при этом < 1%. Через эту связку настроен доступ в Интернет, проблема обнаружилась увеличением пинга (на те же 100 мс) в вечернее время до любого узла в Интернете.
Устройства были соединены оптикой на 10G, переключение на ethercannel из 4 медных гигабитных линков не решило проблему.
Между железками суммарно до 600k pps, 3,5 gbit/s. В то же время на ASR есть другой интерфейс, прокачивающий без подобных проблем суммарно до 1700k pps, 7gbit/s. Обе железки имеют еще по несколько L3 интерфейсов - беспроблемных. cpu на железках не превышает 20%.
По cacti-графику, на интерфейсе ASR во время проблемы вырастает Discards Out вплоть до 8k/s. OQD действительно быстро растет в выводе
ASR#sh interface Port-channel1 sum
  Interface                   IHQ       IQD       OHQ       OQD      RXBS      RXPS      TXBS      TXPS      TRTL
-----------------------------------------------------------------------------------------------------------------
*Port-channel1                  0         0         0  10508187 427902000    255822 2906627000    349591         0

При этом у CATALIST6500 все хорошо.
CATALIST6500#sh interface Port-channel1 sum
  Interface               IHQ   IQD  OHQ   OQD  RXBS RXPS  TXBS TXPS TRTL
-------------------------------------------------------------------------
* Port-channel1            0     0    0     0 2957624000  353332 440446000  258014    0

Даже незначительное снижение pps нормализует задержки:

Пинг высокий:
ASR#sh interface Port-channel1    
Port-channel1 is up, line protocol is up
  Hardware is GEChannel, address is 68ef.bdc3.bdc0 (bia 68ef.bdc3.bdc0)
  Description: ##2_CATALIST##
  Internet address is 10.168.10.1/28
  MTU 1500 bytes, BW 4000000 Kbit/sec, DLY 10 usec,
     reliability 255/255, txload 186/255, rxload 27/255
  Encapsulation ARPA, loopback not set
  Keepalive set (10 sec)
  ARP type: ARPA, ARP Timeout 04:00:00
    No. of active members in this channel: 4
        Member 0 : GigabitEthernet0/0/0 , Full-duplex, 1000Mb/s
        Member 1 : GigabitEthernet0/0/1 , Full-duplex, 1000Mb/s
        Member 2 : GigabitEthernet0/0/2 , Full-duplex, 1000Mb/s
        Member 3 : GigabitEthernet0/0/3 , Full-duplex, 1000Mb/s
    No. of PF_JUMBO supported members in this channel : 4
  Last input 00:00:00, output never, output hang never
  Last clearing of "show interface" counters 04:32:01
  Input queue: 0/1500/0/0 (size/max/drops/flushes); Total output drops: 2
  Queueing strategy: fifo
  Output queue: 0/160 (size/max)
  5 minute input rate 433629000 bits/sec, 256360 packets/sec
  5 minute output rate 2947138000 bits/sec, 352238 packets/sec
     4395214045 packets input, 949512378153 bytes, 0 no buffer
     Received 0 broadcasts (0 IP multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     0 watchdog, 0 multicast, 0 pause input
     5557877975 packets output, 5465342014178 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 unknown protocol drops
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 pause output
     0 output buffer failures, 0 output buffers swapped out

Пинг стабилизировался, нормальный:
ASR#sh interface Port-channel1
     reliability 255/255, txload 189/255, rxload 29/255
  Input queue: 0/1500/0/0 (size/max/drops/flushes); Total output drops: 2
  Output queue: 0/160 (size/max)
  5 minute input rate 464423000 bits/sec, 244835 packets/sec
  5 minute output rate 2993711000 bits/sec, 346087 packets/sec

Совершенно не понятно во что упираюсь. Прошу совета.