The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Компания Cloudflare опубликовала xdpcap, анализатор трафика на основе подсистемы XDP

28.04.2019 10:50

Компания Cloudflare представила открытый проект xdpcap, в рамках которого развивается похожий на tcpdump анализатор сетевых пакетов, построенный на основе подсистемы XDP (eXpress Data Path). Код проекта написан на языке Go и распространяется под лицензией BSD. Проектом также подготовлена библиотека для привязки eBPF-обработчиков трафика из приложений на языке Go.

Утилита xdpcap совместима с выражениями фильтрации tcpdump/libpcap и позволяет обрабатывать на том же оборудовании существенно большие объёмы трафика. Xdpcap также может применяться для отладки в условиях, в которых обычный tcpdump неприменим, например, когда применяются системы фильтрации, защиты от DoS-атак и балансировки нагрузки, использующие подсистему ядра Linux XDP, обрабатывающую пакеты на стадии до их обработки сетевым стеком ядра Linux (tcpdump не видит пакеты, отброшенные обработчиком XDP).

Высокая производительность достигается благодаря применению подсистем eBPF и XDP. eBPF представляет собой встроенный в ядро Linux интерпретатор байткода, позволяющий создавать высокопроизводительные обработчики входящих/исходящих пакетов с принятием решений об их перенаправлении или отбрасывании. При помощи JIT-компилятора байткод eBPF на лету транслируется в машинные инструкции и выполняется с производительностью нативного кода. Подсистема XDP (eXpress Data Path) дополняет eBPF возможностью запускать BPF-программы на уровне сетевого драйвера, с поддержкой прямого доступа к DMA-буферу пакетов и работой на стадии до выделения буфера skbuff сетевым стеком.

Как и tcpdump утилита xdpcap вначале транслирует высокоуровневые правила фильтрации трафика в классическое представление BPF (cBPF) при помощи штатной библиотеки libpcap, после чего преобразует их в форму подпрограмм eBPF, используя компилятор cbpfc, использующий наработки LLVM/Clang. На выходе сведения о трафике сохраняются в стандартном формате pcap, что позволяет использовать подготовленный в xdpcap дамп трафика для последующего изучения в tcpdump и других существующих анализаторах трафика. Например, для захвата сведений о трафике DNS вместо команды "tcpdump ip and udp port 53" можно запустить "xdpcap /path/to/hook capture.pcap 'ip and udp port 53'", после чего использовать файл capture.pcap, например, с командой "tcpdump -r" или в Wireshark.

  1. Главная ссылка к новости (https://blog.cloudflare.com/xd...)
  2. OpenNews: Выпуск Cilium 1.4, сетевой системы для Linux-контейнеров, основанной на BPF
  3. OpenNews: Эксперимент по настройке Linux для блокирования 10 млн пакетов в секунду
  4. OpenNews: Для ядра Linux предложен новый пакетный фильтр bpfilter
  5. OpenNews: Выпуск tcpdump 4.9.0 с устранением 32 уязвимостей
  6. OpenNews: CloudFlare применил NetMap для повышения скорости обработки пакетов в Linux
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/50593-xdp
Ключевые слова: xdp, cloudflare
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (16) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Вася (??), 11:16, 28/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ух, круто, теперь то заживем. Спасибо Cloudflare!
     
     
  • 2.10, Аноним (10), 23:49, 28/04/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В роскомнадзоре работаешь?
     
     
  • 3.13, пох (?), 10:56, 29/04/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    в гугле работает, подрабатывает на товарищмайора.
    роспозору ваш траффик нафиг не вперся.

     
     
  • 4.15, Аноним (15), 13:13, 29/04/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вперся, в попытках заблокировать телекран например.
    https://usher2.club/articles/mt-free-pre-block/
     

  • 1.2, Аноним (2), 14:15, 28/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Что должно быть вместо /path/to/hook?
     
     
  • 2.4, Аноним (4), 15:08, 28/04/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Если вы будете читать документацию, а не пытаться с разбега въехать в софт с новости опеннета, то поймете, что это путь до хука, который надо написать/скопировать.
     

  • 1.5, anonimous (?), 15:57, 28/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    а что значит /path/to/hook?? это куда он должен смотреть?
     
  • 1.6, Аноним (6), 20:47, 28/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    что за нафик. Неужели нельзя было gcc использовать вместо llvm?
     
     
  • 2.11, имя (?), 02:12, 29/04/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    И много вы видели проектов, которые хотя бы libgccjit используют? Не говоря уже о полновесном кодогенераторе. Это всё, увы, неспроста.
     

  • 1.7, Anonim (??), 21:00, 28/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Что ж не на хрусте-то написали?
     
  • 1.8, commiethebeastie (ok), 21:01, 28/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Отличный проект для устранения конкурентов гугля.
     
  • 1.12, Аноним (12), 08:46, 29/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    >используя компилятор cbpfc, использующий наработки LLVM/Clang

    Вот за это разработчикам тройной минус.

     
  • 1.14, Марик (?), 11:38, 29/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ну и чем этот лисапет лучше Wireshark?
     
     
  • 2.16, zanswer CCNA RS and S (?), 18:34, 29/04/2019 [^] [^^] [^^^] [ответить]  
  • +/
    «Xdpcap также может применяться для отладки в условиях, в которых обычный tcpdump неприменим, например, когда применяются системы фильтрации, защиты от DoS-атак и балансировки нагрузки, использующие подсистему ядра Linux XDP, обрабатывающую пакеты на стадии до их обработки сетевым стеком ядра Linux (tcpdump не видит пакеты, отброшенные обработчиком XDP).»

    К примеру этим, хотя это продукты разного уровня, Wireshark хорошо подходит для вдумчивого анализа, на базе собранного ранее дампа, а данный продукт для быстрого анализа.

     
  • 2.17, Аноним (17), 18:56, 29/04/2019 [^] [^^] [^^^] [ответить]  
  • +/
    tcpdump имеет низкую производительность.
     

  • 1.18, Аноним (18), 10:39, 30/04/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ГБ-ня уже засучила рука и готовится тестировать новую тулзу... Лубянка не спит...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру