The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Вышла версия 1.1 системы фильтрации спама rspamd

19.01.2016 16:49

Анонсирован выпуск системы фильтрации спама Rspamd 1.1, решение о блокировке в которой принимается на основе веса, вычисленного путём оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки. Код системы написан на языке Си и распространяется под лицензией BSD.

В новой версии добавлены такие ожидаемые возможности, как автообучение байесовских классификаторов (статистика о хороших и плохих сообщениях накапливается автоматически) и возможность использования СУБД Redis для хранения статистики. Также была добавлена поддержка движка Hyperscan для ускорения обработки регулярных выражений, переработана документация с целью улучшения читаемости и охвата поддерживаемых возможностей.

Вместе с выпуском rspamd анонсирована новая версия почтового фильтра rmilter - вспомогательной программы для связи rspamd и postfix/sendmail, работающей по протоколу milter. В данной версии была добавлена полноценная поддержка IPv6, кеширования в Redis. Переработана значительная часть кода проекта с целью оптимизации работы и устранения устаревших и неиспользуемых частей.

Система построена с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитана на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.

  1. Главная ссылка к новости (https://rspamd.com/announce/20...)
  2. OpenNews: Выпущена версия 1.0 системы фильтрации спама rspamd
  3. OpenNews: Релиз системы фильтрации спама Rspamd 0.9
  4. OpenNews: Увидел свет Apache SpamAssassin 3.4.1
Автор новости: cebka
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/43695-rspamd
Ключевые слова: rspamd, spam
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (30) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.3, eRIC (ok), 18:38, 19/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ну что коллеги поздравляю с первой мажорной версией, очень хороший продукт :)
     
     
  • 2.6, Аноним (-), 19:29, 19/01/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а 1.0 это какая была?
     
     
  • 3.9, eRIC (ok), 21:02, 19/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    извиняюсь, проспал чего-то, версия 1.0 была еще в сентябре 2015 года
     

  • 1.7, Oops (?), 20:03, 19/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ну слава богу, спасибо за рэдис!
     
  • 1.8, ононим88 (?), 20:54, 19/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    этот фильтр умеет создавать индивидуальные базы (не)спамности письма для каждого отдельного пользователя?
     
     
  • 2.13, x0r (??), 11:20, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    С версии 1.0 умеет.
    https://rspamd.com/announce/2015/09/17/rspamd-1.0.html
    https://rspamd.com/doc/configuration/statistic.html
     

  • 1.10, Аноним (-), 08:34, 20/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –8 +/
    > В данной версии была добавлена полноценная поддержка IPv6

    Жесть, читать такое в 2016 году..

    А 10~15 лет назад почему не добавили полноценно IPv6?

    А когда начинали делать программу -- почему не сделали ориентацию на IPv6 (и опционально, по остаточному принципу IPv4) ?

     
     
  • 2.11, Олег (??), 09:25, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Потому, что ты им не подсказал, умник.
     
  • 2.12, Михрютка (ok), 10:45, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    потому что Сева пишет эту программу для решения своих реальных задач, а не для теоретических анонимных хотелок
     
     
  • 3.14, Sw00p aka Jerom (?), 12:01, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    И вся беда в этом
     
     
  • 4.16, . (?), 19:10, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ИдиЁт! (С)"Бриллиантовая рука", если что. Классика кино, а не пошлое ругательство :)

    Это не беда - а огромное счастье, что опенсорс делается именно так!
    Делается теми - кому надо, "для себя" любимого, а не корп. шыт с кучей "whistles and bells" стянутых не синей изолентой, но дорогущей "3M" duck-tape (которая есть тот же хрен но ... с кучей "whistles and bells") :-)

    Просто поразительно как некоторые не понимают свою выгоду!(С) Мультик про слонёнка :)

     
     
  • 5.17, Аноним (-), 22:54, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    1. «Bells and whistles»

    2. «Duct tape»

    Кроме того, настоятельно рекомендую не использовать в речи слова и выражения, значение и/или правильсность которых не знаешь. В особенности нелепо смотрится использование идиом из других языков.

     
     
  • 6.21, Михрютка (ok), 00:40, 21/01/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > правильсность которых не знаешь

    и эти люди будут запрещать мне ковыряться в носу


     
  • 3.18, Аноним (-), 22:58, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > потому что Сева пишет эту программу для решения своих реальных задач, а
    > не для теоретических анонимных хотелок

    Это отчасти прекрасно, и отчасти ужасно. Прекрасно, что человек не решает свои проблемы сам, заодно помогая другим. Ужасно, что ему никто из заинтересованных лиц не помог с добавлением IPv6, раз уж у него самого нет доступа к современным технологиям.

    Впрочем, рано или поздно это случилось и теперь для меня нет технических ограничений для использования хорошего продукта. Поздравляю всех небезразличных со знаковым релизом.

     
     
  • 4.19, Аноним (-), 22:59, 20/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Это отчасти прекрасно, и отчасти ужасно. Прекрасно, что человек не решает свои

    * решает свои проблемы сам, конечно же. «Не» лишняя.

     
  • 4.20, Михрютка (ok), 00:39, 21/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > никто из заинтересованных лиц не помог с добавлением IPv6, раз уж у него самого нет доступа к современным технологиям.

    это вы хорошо пошутили, и про IPv6, и про то, что у Стахова нет доступа к современным технологиям.

     
     
  • 5.23, Аноним (-), 19:00, 21/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Если доступ был (Кстати, где? В Рамблере link-local адрес не лаптопе?), то почему поддержка появилась только сейчас?
     
     
  • 6.24, cebka (?), 19:19, 21/01/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Меня всегда умиляли люди, требующие чего-то от авторов opensource проектов. Send patches or GTFO.
     
     
  • 7.29, Аноним (-), 23:14, 22/01/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Меня всегда умиляли люди, «гадающие по аватаркам». У меня никаких требований нет и не было. Раньше rspamd не мог полноценно работать с IPv6 и — о, боже мой, какой сюрприз! — не использовался у меня в продакшене именно по этой причине. Теперь он умеет и уже тестируется на реальных данных. Если никаких катастроф не произойдёт к концу следующей недели, буду готовить к выкатыванию в прод. Автору — отдельное спасибо. А ты, дружок, давай-ка GTFO сразу, без патчей.
     
     
  • 8.30, cebka (?), 23:19, 22/01/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А ведь бывает, что скилл гадания по аватаркам - очень полезный скилл Но ты, дру... текст свёрнут, показать
     
     
  • 9.31, Аноним (-), 16:05, 23/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, не бывает Я из тех, кто судит о людях по их делам и словам А подписаться ... текст свёрнут, показать
     
     
  • 10.32, cebka (?), 18:44, 23/01/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну я даже не знаю, тонкие намеки, похоже, не работают А ведь можно открыть http... текст свёрнут, показать
     
     
  • 11.34, u (?), 21:40, 23/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Было бы неплохо, только, м б , есть смысл опубликовать где-нибудь на оф сайте ги... текст свёрнут, показать
     

  • 1.15, Аноним (-), 14:05, 20/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я так и не осилил установку.
     
  • 1.22, Аноним (-), 06:10, 21/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто поделится мнением относительно rspamd vs ASSP vs MailScanner ? Сейчас в процессе выбора решения.
     
     
  • 2.26, Михрютка (ok), 21:16, 21/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    коллега, если у вас малые объемы и есть аппаратные ресурсы - выбирайте то, что больше нравится.

    если нет - вы всерьез просите сравнивать решение на С c прости господи спамассасином и еще одним перловым фильтром?

     

  • 1.25, Vic (??), 19:29, 21/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Заголовок сделан специально что бы пройти систему фильтрации?)
     
  • 1.27, Аноним (-), 14:15, 22/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > как автообучение байесовских классификаторов (статистика о хороших и плохих сообщениях накапливается автоматически)

    Чтобы это работало - байес-фильтр должен обладать ИИ, читать письма и разгребать жалобы пользователей на недоставку почты.

    Сделайте проще:

    Всё что идёт а) с таких-то доменов, б) с такого-то (нашего) хоста, в) и это не bounce - считать ham'ом и обучать фильтр соответственно.

    Всё что идёт а) на такие-то домены, б) набрало сколько-то баллов - считать подозрительным и раскладывать на 2 кучки: false-positive и spam. А потом опять скармливать байесу.

     
     
  • 2.28, cebka (?), 14:55, 22/01/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так делайте проще, кто ж запрещает? Там, в условии обучения, можно воткнуть собственный lua скрипт, который вот это все может решить, каким угодно образом.
     

  • 1.33, u (?), 21:32, 23/01/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кстати, ничего не слышно, по поводу uclcmd (https://github.com/allanjude/uclcmd) и/или подобных утилит? Rspamd, судя по документации, для чтения конфигурации использует libucl (что, собственно, неудивительно).
    Вопрос скорее звучит так - как народ автоконфигурит (беря, данные, напр., из ldap-каталога) тестовые/резервные/основные/боевые конфигурации rspamd/rmilter (ну или любого другого сервиса, использующего libucl)?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру