Проверяем число соединений в таблице и сравнимаем с текущим лимитом:

# pfctl -s state | wc -l
10000
# pfctl -s memory | grep states
states        hard limit    10000

Таблица переполнена, поднимает лимит до 20000:
   set limit states 20000

Перечитываем конфигурацию pf:
   pfctl -O -f /etc/pf.conf