The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Обзор ПО для борьбы со спамом

05.01.2007 13:14

В статье проводится общий обзор алгоритмов и методов борьбы со спамом, даются рекомендации по выбору почтовых фильтров и выстраивания их в цепочки.

Статья написана по "горячим следам" уже настроенной и долгое время работающей системы. Будет полезна начинающим системным администраторам, использующим FreeBSD и Sendmail (или другой MTA, совместимый с механизмом milter).

  1. Главная ссылка к новости (http://gate.udec.ntu-kpi.kiev....)
Автор новости: Михаил Гончаренко
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/9424-spam
Ключевые слова: spam, sendmail
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (24) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 22:55, 05/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Статья откровенно слабовата.
    По данным с моих почтовых серверов эффективность blacklist ~ 5%
    greylisting ~93-95%.

    Проверенно 2 годами непрерывной работы по данной схеме.

     
     
  • 2.2, Квагга (?), 23:44, 05/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    > greylisting ~93-95%.

    Вообще ни на что не годится в случаях, когда почта должна приехать за 3 минуты, а не за 133. Увы.

     
     
  • 3.10, don_oles (??), 00:10, 07/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Вообще ни на что не годится в случаях, когда почта должна приехать
    >за 3 минуты, а не за 133. Увы.
    Для этого придумали instant messanging.


     
     
  • 4.11, don_oles (??), 00:12, 07/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >>Вообще ни на что не годится в случаях, когда почта должна приехать
    >>за 3 минуты, а не за 133. Увы.
    >Для этого придумали instant messanging.
    messaging, пардон мой французский.

     
  • 3.16, GateKeeper (??), 10:28, 09/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    механизм auto whitelisting еще никто не отменял, правда, работает только для исходящей почты (т.е. все MX адресата автоматически заносятся в whitelist, что исключает долгое сидение ответов и всех последующих в greylist).
     
     
  • 4.17, Аноним (-), 12:28, 09/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Это работает только в случае, если инициатором переписки выступаю я. Если первыми письма присылают клиенты, они будут сидеть в очереди. К сожалению, greylisting не везде можно использовать, но сама идея - замечательная. :-)
     
  • 2.3, FireBULL (?), 00:15, 06/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Не знаю, у меня качественно настроенные spamassassin+amavis режут порядка 98% спама. И никаких, по-моему дурацких, грейлистов :) Ну и около 2-3% нормальных писем. Все кидается в карантин, так выдергиваю иногда, 1-2 письма в месяц, через веб-интерфейс.
     
     
  • 3.6, chocholl (??), 11:02, 06/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    imho, опасно...

    дотачивай его.
    выбирай лучше стратегию, когда sa пропускает спам, чем когда режет нормальные письма.

     
  • 3.9, mgoncharenko (ok), 23:02, 06/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Не называл бы грейлисты дурацкими :)
    В организации, где много пользователей и активная переписка, просто недопустимо, чтобы spamassassin резал нужные письма. (причина: пользователи, зная, что хорошее письмо может быть "зарезано", начнут при малейшей возможности дёргать сисадмина просьбами проверить, не попало ли чего в карантин). Пусть лучше пропускает спам.
     

  • 1.4, Аноним (-), 02:58, 06/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    тут все сильно зависит от того какой спам приходит. Ставил многим клиентам SA, так некомторые вообще не заметили его присутсвия, а у некоторых фильтрация около 100%
     
     
  • 2.5, Tracer (??), 03:12, 06/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Эт точно
     

  • 1.7, denis (??), 22:03, 06/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А как бороться с графическим спамом? Юзаю фузиоцр, но спамеры
    сейчас так извращаются, что гокр не может ничего распознать уже :/
     
  • 1.8, mgoncharenko (ok), 22:40, 06/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Господа, критиковать написанное могут все. Я не претендую на звание мудрого источника абсолютной истины.
    Изначально у нас стоял только spamassassin (sendmail+amavisd+spamassassin+clamav), коллеги буквально захлёбывались от спама, который, кстати, постоянно меняется. Я его даже обучал, всё равно было бесполезно. Это и заставило меня посмотреть в сторону других продуктов.


    В настоящее время наш SpamAssassin фильтрует около 30-40% писем, которые до него доходят (не отбрасываются остальными фильтрами).

    По поводу эффективности blacklist 5% - можно поспорить т.к. здесь влияют два фактора:
    1. Какие блеклисты используются;
    2. В каких спамовых базах находится Ваш е-маил.
    Блеклисты я настраивал следующим образом: смотрел, с какого IP приходит спам, после чего вводил этот IP по адресу http://www.dnsstuff.com/tools/ip4r.ch?ip=1.2.3.4 и смотрел, в каких списках он числится. На этом был основан выбор мной блеклистов, которые, кстати, на моих серверах блокируют около 30% сейчас, а раньше было около 80%. (правда, не знаю, почему снизилась эффективность... технологии развиваются?)

    В статье написаны мои личные измерения. Абсолютно не факт, что они совпадут с вашими. По крайней мере, такой опыт есть и в настоящее время наша организация практически не получает спам, ну и со всеми желающими решил поделиться.

    Моим коллегам (тем, которые разбираются в защитах от спама, да и тем, которые только учатся) этот обзор понравился, они и порекомендовали отправить его сюда.

     
     
  • 2.19, Bad_UID (??), 23:40, 09/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Какой объем писем проходит через ваш релей в сутки(это к вопросу ручной проверки хостов) ?
     
     
  • 3.23, mgoncharenko (ok), 01:44, 18/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Какой объем писем проходит через ваш релей в сутки(это к вопросу ручной
    >проверки хостов) ?

    Не считал, честно говоря. Но большой. Если имеются ввиду блеклисты - то просто при получении спама я смотрел, в каких блеклистах находится айпи отправителя. Количество спама резко сократилось ;)

     

  • 1.12, Аноним (-), 01:09, 07/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хороший обзор, полезный. Автору спасибо.
     
     
  • 2.13, serg1224 (?), 02:35, 07/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    > Одна из причин того, что мы получаем спам, - это низкая квалифицированность персонала, обслуживающего серверы, в результате чего почтовые фильтры приходится отключать полностью либо частично.

    и выше по  тексту:
    > Многие организации (даже Intel!) неправильно настраивают свои MTA, в результате чего могут быть отфильтрованы нужные письма.

    Стопудово согласен с автором. В моей практике было достаточно случаев, когда организации, занимающиеся регулярной рассылкой писем (НЕспама!) не уделяли внимания качеству настройки сервера: в HELO выдавали localhost или workstation1, например.

     

  • 1.14, dmitri (??), 19:56, 07/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Спам - как он надоел, 1 (в новый год) сломали один из сайтов клиента и пытались отправить куеву тучу спама через сервер (благо отсылка почты в инет зарезана). Тут помоему надо таких расстреливать без суда и следствия :)
     
  • 1.15, Серж (??), 06:45, 09/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Спасибо автору.
     
  • 1.18, Bad_UID (??), 23:21, 09/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    с одной стороны всё честно, однако много но....

    публичный dnsbl уже неприемлем, слишком много ложных срабатываний.
    greylisting уже обходится посылкой двух писем подряд с интервалом в минуту.
    auto-whitelist не работает если принимающий сервер выполняет задачи спаморезки, фильтра вирусов и пересылает почту дальше на боевой сервер. В данном случае определить есть пользователь или нет на сервере без приема письма невозможно.
    Проверка валидности юзера на удаленном сервере не работает если отправляющий сервер используется как почтовый релей(hub) для множества доменов. А также отправляющий и принимающий сервера не одно и тоже.

    я всётаки остановился на своём решении ddnsbl + spamassassin.
    Из плюсов:
    - автоматически формируемый локально список dnsbl.
    - белые и черные списки серверов.
    - возможность быстрого подсчета почтовой статистики(список всех сообщений в одном файле)
    - авторотация блокированных хостов по истечению промежутка времени
    - минимальные трудозатраты на внедрение
    - отсечение спамхостов по проценту спама
    - эффективна на больших почтовых релеях из-за режима самообучения(у меня раз в 5 минут)
    Из минусов:
    - всё таки spamassassin ошибается иногда выставляя вес выше чем нужно.

    Весь спам валится в отдельный ящик на сервер. Дальше кому нужно выковыривают оттуда свои письма если они случайно туда попали.
    Если есть желающие потестировать "you are welkam" :)

    по поводу ddnsbl тред.
    https://www.opennet.ru/openforum/vsluhforumID3/36271.html
    сори за рекламу.

     
     
  • 2.20, serg1224 (?), 11:20, 11/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >greylisting уже обходится посылкой двух писем подряд с интервалом в минуту.

    Неправда Ваша, через минуту не сработает (см. дефолтные настройки для postgrey, там 5 минут), да и изменить этот параметр тоже можно. И в том и в другом случае greylist заставляет спамеров делать лишнюю для них работу, что увеличивает время рассылки по огромной базе адресов. А что спамеру плохо, то для нас щастье! :-)

     

  • 1.21, Аноним (21), 15:31, 11/01/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Всем добрый день:)

    Спасибо за Ваш отзыв, Bad_UID, у меня есть некоторые комментарии.

    > публичный dnsbl уже неприемлем, слишком много ложных срабатываний.

    Можно поинтересоваться, о каком dnsbl идёт речь? Или обо всех? Я ложные срабатывания замечал лишь у sorbs. Есть также несколько блеклистов, которые на www.dnsstuff.com отмечены надписью "should not be used". Они, похоже, работают по принципу "что вижу, то блокирую" :)

    > greylisting уже обходится посылкой двух писем подряд с интервалом в минуту.

    Это неправильно настроенный грейлистинг :) Его задача - не отвергнуть первую попытку передачи письма, а отвергать все попытки в течение часа. (на одном сервере у меня стоит 28 минут, на другом 70). Спамеры, как правило, спустя час, не повторяют пересылок.

    > Проверка валидности юзера на удаленном сервере не работает если отправляющий
    > сервер используется как почтовый релей

    С этим на 100% согласен, кроме того, очень зол на некоторые почтовые службы за то, что проверяют наличие пользователя после команды DATA. Считаю, этим они способствуют распространению спама.
    Пытался связываться с суппортом yahoo, ответа жду уже больше, чем полгода. :)

     
     
  • 2.22, Bad_UID (??), 16:22, 11/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Всем добрый день:)
    >
    >Спасибо за Ваш отзыв, Bad_UID, у меня есть некоторые комментарии.
    >
    >> публичный dnsbl уже неприемлем, слишком много ложных срабатываний.
    >
    >Можно поинтересоваться, о каком dnsbl идёт речь? Или обо всех? Я ложные
    >срабатывания замечал лишь у sorbs. Есть также несколько блеклистов, которые на
    >www.dnsstuff.com отмечены надписью "should not be used". Они, похоже, работают по
    >принципу "что вижу, то блокирую" :)

    spamhaus.org и spamcop.net стали банить сетями. В моем посте про ddnsbl уже это обсуждалось. При почтовом трафике в 20000+ в день я на dnsstuff.com упарюсь отслеживать хороший хост или плохой. У меня трафик до 40 писем в минуту.

    >
    >> greylisting уже обходится посылкой двух писем подряд с интервалом в минуту.
    >
    >Это неправильно настроенный грейлистинг :) Его задача - не отвергнуть первую попытку
    >передачи письма, а отвергать все попытки в течение часа. (на одном
    >сервере у меня стоит 28 минут, на другом 70). Спамеры, как
    >правило, спустя час, не повторяют пересылок.

    Как правило возникают проблемы с доставкой нужной почты, не каждая компания может позволить себе ждать ЧАС, когда время доставки информации идет на секунды.

    >
    >> Проверка валидности юзера на удаленном сервере не работает если отправляющий
    >> сервер используется как почтовый релей
    >
    >С этим на 100% согласен, кроме того, очень зол на некоторые почтовые
    >службы за то, что проверяют наличие пользователя после команды DATA. Считаю,
    >этим они способствуют распространению спама.
    >Пытался связываться с суппортом yahoo, ответа жду уже больше, чем полгода. :)
    >
    и бесполезно. у aol тоже самое.


     
     
  • 3.24, mgoncharenko (ok), 01:52, 18/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >spamhaus.org и spamcop.net стали банить сетями. В моем посте про ddnsbl уже
    >это обсуждалось. При почтовом трафике в 20000+ в день я на
    >dnsstuff.com упарюсь отслеживать хороший хост или плохой. У меня трафик до
    >40 писем в минуту.

    У нас поменьше будет, причём намного... Но все письма отслеживать вовсе не обязательно. Здесь как раз их чем больше - тем лучше: быстрее наберётся статистика, какие блеклисты более эффективны, какие - менее.

    >Как правило возникают проблемы с доставкой нужной почты, не каждая компания может
    >позволить себе ждать ЧАС, когда время доставки информации идет на секунды.

    Согласен. Если инициатором переписки является клиент - грейлист не подойдёт.

    >>Пытался связываться с суппортом yahoo, ответа жду уже больше, чем полгода. :)
    >>
    >и бесполезно. у aol тоже самое.

    Проблема лечится незначительной модификацией spamilter, который, получив успешный ответ после команды RCPT TO, ещё отправляет команду DATA :) Правда, после этого придётся принудительно разорвать соединение, что есть нарушением RFC. А что поделаешь, яху, аол и иже с ними тоже его нарушают.

     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру