В статье подробно рассмотрен один из вариантов фильтрации трафика по реестру Роскомнадзора с помощью SQUID на базе FreeBSD, состыкованного с бекбоне CISCO по протоколу WCCP2.

После долгих размышлений на тему фильтрации, производительности (если пустить в фильтр весь http-трафик, то фильтрация должна осуществляться на скоростях более гигабита в секунду), была выбрана следующая схема:

[[IMG /opennews/pics_base/0_1385359495.png]]

Трафик HTTP и HTTPS, выходящий из облака нашей сети (в примере VLAN90) через наш бордер CISCO, мы будем сравнивать с ACL, содержащим IP-адреса, извлеченные из списка Роскомнадзора. В случае совпадения, мы отправляем трафик по протоколу WCCP (Web Cache Communication Protocol) на сервер(а)  SQUID. Данная схема позволит нам избежать анализа всего трафика и анализировать только тот, который идет на заявленные IP, что не может не сказаться положительно на общей производительности системы.

Из минусов данной связки следует, что допустим если внесенный в реестр ресурс с IP=3.3.3.3, доменом=bad.xxx и URL=http://www.bad.xxx/1.jpg переезжает на другой IP, то фильтр работать не будет. Но с другой стороны актуализация списков блокировки, это не наша проблема. Данный подход позволит нам с одной стороны не тратится на дорогостоящие системы анализа проходящего трафика, с другой стороны исключить «пионерский» подход блокировки всего ресурса по IP, а блокировать только указанный в реестре Роскомнадзора контент. Связку по WCCP лучше поднимать на приватных адресах, что бы не писать лишние ACL в SQUID .

И так, приступим к реализации. Для начала нам надо вытащить электронную подпись с рутокена, полученного в роскомнадзоре. Для этого воспользуемся утилитой
[[http://www.ps-ax.ru/wordpress/wp-content/uploads/2013/10/P12... P12FromGostCSP]], и экспортируем подпись в формате PKSC#12.

Если экспорт удался, то можем перейти далее к построению системы. Если экспорт не удался (у меня в одном случае из четырех было именно так), то автоматическая загрузка реестра Роскомнадзора будет не доступна, и Вам придется файл качать и выкладывать реестр руками.

Берем любой сервер на базе FreeBSD (я предпочитаю данную ОС, но ничего не мешает Вам сделать по образу и подобию на любой *NIX машине), на котором мы будем заниматься загрузкой базы Роскомнадзора, ее обработкой и у меня этот же сервер как правило обеспечивает анализ и фильтрацию контента. Так как системный OpenSSL в FreeBSD не поддерживает шифрование ГОСТ, ставим свежую версию из портов. Это не затрагивает работоспособность всей системы, и портовый OpenSSL прекрасно существует параллельно системному:

   # which openssl
   /usr/bin/openssl
   # openssl version
   OpenSSL 0.9.8y 5 Feb 2013
   # /usr/local/bin/openssl version
   OpenSSL 1.0.1e 11 Feb 2013
   #

Находим файл /usr/local/openssl/openssl.cnf и пишем в конец файла:

   [openssl_def]
   engines = engine_section
   [engine_section]
   gost = gost_section
   [gost_section]
   default_algorithms = ALL
   engine_id = gost
   #dynamic_path = /usr/local/lib/engines/libgost.so
   CRYPT_PARAMS = id-Gost28147-89-CryptoPro-A-ParamSet
  
В начало этого файла пишем :

   openssl_conf = openssl_def

Копируем на сервер наш сертификат в формате PKSC#12 и конвертируем его в формат PEM:

   /usr/local/bin/openssl pkcs12 -in p12.pfx -out cert.pem -nodes -clcerts

Подготавливаем структуру директорий для работы наших скриптов и копируем туда сконвертированный сертификат:

   mkdir /var/db/zapret-info/
   mkdir /var/db/zapret-info/cfg
   mkdir /var/db/zapret-info/arch
   cp cert.pem /var/db/zapret-info/cfg/
   mkdir /tftpboot

Создаем файл запрос в соответствии с требованиями Роскомнадзора (где данные между тэгами изменены на данные вашей фирмы):

   echo '<operatorName>ООО "РОГА И КОПЫТА"</<operatorName>' > /var/db/zapret-info/cfg/request.xml
   echo '<inn>00XXXXXXXXXX</inn>' >> /var/db/zapret-info/cfg/request.xml
   echo '<ogrn>XXXXXXXXXXXXX</ogrn>' >> /var/db/zapret-info/cfg/request.xml
   echo '<email>info@rogaikopita.ru</email>' >> /var/db/zapret-info/cfg/request.xml

В зависимости от раскладок системной консоли полученный файл /var/db/zapret-info/cfg/request.xml необходимо сконвертировать в кодировку WINDOWS-1251.

Скачиваем нижеприложенные скрипты. Скрипт download.pl был найден мной на просторах Интернета и  упрощен, в оригинале он был чуток более замороченный. Задача данного скрипта — создать, подписать и отправить запрос в Роскомнадзор и загрузить реестр после отправки.

   #!/usr/bin/perl -w

   use strict;
   use SOAP::Lite;
   use MIME::Base64;
   use Sys::Syslog qw(:DEFAULT setlogsock);
   use POSIX qw(strftime);

   # XXX dirty!!!
   binmode STDOUT, ':utf8';
   binmode STDERR, ':utf8';

   my $BASE = "/var/db/zapret-info";

   my %n;
   ($n{sec},$n{min},$n{hour},$n{mday},$n{mon},$n{year},$n{wday},$n{yday},   $n{isdst}) = localtime(time());
   $n{year}+=1900;
   $n{mon}++;
   $n{mon}=~s/^(\d)$/0$1/;
   $n{mday}=~s/^(\d)$/0$1/;
   $n{hour}=~s/^(\d)$/0$1/;
   $n{min}=~s/^(\d)$/0$1/;
   $n{sec}=~s/^(\d)$/0$1/;
   my $dt="$n{year}-$n{mon}-$n{mday}T$n{hour}:$n{min}:$n{sec}.000+04:00";
   my $dd="$n{year}$n{mon}$n{mday}$n{hour}";

   my $service = SOAP::Lite->service("http://www.zapret-info.gov.ru/services/OperatorRequest?wsdl&...);

   my $reqfn = "$BASE/request-$dd.xml";
   my $binfn = "$BASE/request-$dd.bin";
   my $xmlreqfn = "$BASE/cfg/request.xml";
   my $certfn = "$BASE/cfg/cert.pem";

   my $request="" ;
   open (XML, "<$xmlreqfn");
   while (<XML>) { $request .= $_; }
   close (XML);

   die "Resuest template not found in $xmlreqfn." if (length($request)==0);

   open (XMLREQ, ">$reqfn") or die "Can't create new request";
   print XMLREQ "<?xml version=\"1.0\" encoding=\"windows-1251\"?>\n";
   print XMLREQ "<request>\n\t<requestTime>$dt</requestTime>\n";
   print XMLREQ $request;
   print XMLREQ "</request>";
   close XMLREQ;

   system ("/usr/local/bin/openssl smime -sign -in $reqfn -out $binfn".
            " -signer $certfn -outform DER -nodetach");

   open XMLREQ, "<$reqfn" or die "Can't open $reqfn";
   my $xmlreq = do { local $/ = undef; <XMLREQ>; };
   close XMLREQ;

   open XMLREQSIG, "<$binfn" or die "Can't open $binfn";
   my $xmlreqsig = do { local $/ = undef; <XMLREQSIG>; };
   close XMLREQSIG;

   my @sendresult = $service->sendRequest(
        $xmlreq,
        $xmlreqsig );

   if ($sendresult[0] eq 'false') {
       mylog("error request $sendresult[1]");
   } elsif ($sendresult[0] eq 'true') {
       open (CODESTRING, ">$BASE/codestring");
       print CODESTRING $sendresult[2];
       close CODESTRING;
       mylog("sent request $binfn: $sendresult[1]");
   };

   if (-e "$BASE/codestring") {
       open CODESTRING, "$BASE/codestring";
       my $codestring = <CODESTRING>;
       close CODESTRING;

       my $cnt = 0;
       while(1) {
           my @getresult = $service->getResult($codestring);
           if ($getresult[0] eq 'false') {
               mylog ("$getresult[1]");
               sleep 60;
           } elsif ($getresult[0] eq 'true') {
               my $outarch = decode_base64($getresult[1]);
               open (OUT, ">$BASE/out.zip");
               print OUT $outarch;
               close OUT;
               unlink "$BASE/codestring";

               if (-e "$BASE/out.zip") {
                   system("/bin/mv $reqfn $BASE/arch/");
                   system("/bin/mv $binfn $BASE/arch/");
                   system("/bin/cp $BASE/out.zip $BASE/arch/out-$dt.zip");
                   system("/usr/bin/unzip -o $BASE/out.zip -d $BASE/dump");
                   unlink "$BASE/out.zip";
                   mylog ("Done.  Everything seems to be ok.");
                   exit 0;
               };
               mylog("Shouldn't reach. DEBUG ME!!!");
               exit 255;
           } else {
               mylog ("getresult is unknown");
               exit 255;
           };
           $cnt++;
           if ($cnt>30) {
               mylog ("too much tries, bailing out");
               exit 255;
           }
           };
           # notreached
  
   } else {
           mylog ("codestring file not found");
   };
  
   sub mylog {
       my $logstring = $_[0];
       my($now_string);
       $now_string = strftime "%d-%m-%Y %H:%M:%S", localtime;
       print(STDERR $now_string." ".$logstring."\n");
   };

  
В задачи скрипта xml-paser.pl входит обработка полученного реестра и подготовка двух файлов — block.acl и denied.conf. Файл block.acl содержит правила для нашей cisco и как правило загружается по tftp. Файл denied.conf содержит URL для редиректора SQUID. Скрипт анализирует, префикс http или https указан в URL и в соотвествии с данным префиксом генерирует ACL для CISCO. Для ресурсов с множественныйми IP и/или URL, скрипт генерирует два ACL — как по порту www, так и по порту 443 (так как реестр сам по себе сырой, и такие записи не предусматривают однозначной трактовки какой протокол на каком IP использовать).

   #!/usr/bin/perl
  
   use XML::Simple;
   use Data::Dumper ;
   use Encode ;
   use URI::Escape;
   use Text::Iconv;
  
   $db_path='/var/db/zapret-info/' ;
   $tftp_root='/tftpboot' ;
   $query_ip='XXX.XXX.XXX.XXX' ;
  
   $simple=XML::Simple->new(       KeepRoot=>1,
                                   RootName=>'reg:register'
   );
   $xml=$simple->XMLin($db_path.'dump/dump.xml');
   my %list = %{$xml->{'reg:register'}->{'content'}};
  
   open(FURL, ">${db_path}denied.conf");
   open(FACL, ">${tftp_root}/block.acl");
   open(FTMP, ">/tmp/block.ip");
   print(FACL "no ip access-list extended WCCP_REDIRECT\n");
   print(FACL "ip access-list extended WCCP_REDIRECT\n");
   print(FACL "deny tcp host ${query_ip} any\n");
  
   sub _url {
       eval {
           $url=shift;
           $url=~s/ //g;
           $url=uri_escape_utf8($url, "^A-Za-z0-9\-\._~:/\?\=\&\%");
           print(FURL $url."\n");
       }
   }
  
   while ( my($key, $value) = each %list) {
       my $domain=$value->{'domain'} ;
       my $ip=$value->{'ip'} ;
       my $url=$value->{'url'} ;
  
       if(ref($ip) eq 'ARRAY'){
           my @ip_list=@{$ip};
           foreach $ip (@ip_list) {
               print(FTMP "$ip eq $port\n");
               print(FTMP "$ip eq 443\n");
           }
       } else {
           my $proto=substr($url, 0, 5) ;
           if ("\L$proto" eq 'https') {
               $port = '443';
           } else {
               $port = 'www';
           }
           print(FTMP "$ip eq $port\n");
       }
  
       if(ref($url) eq 'ARRAY'){
           my @url_list=@{$url};
           foreach $url (@url_list) { _url($url); }
       } else { _url($url); }
   }
  
   close(FTMP);
   open(FTMP ,"sort -u /tmp/block.ip|");
   while (<FTMP>) {
       $ip=$_;
       $ip=~s/
   //g;
       print(FACL "permit tcp any host $ip \n");
   }
   close(FTMP);
   print(FACL "deny ip any any\n");
   print(FACL "!\n");
   print(FACL "end\n");
   close(FACL);
   close(FURL);
  
   open(SER ,"${db_path}/serial");
   read(SER,$serial,6);
   close(SER);
  
   if (length($serial)==0) { $serial=0; }
  
   $serial+=1;
  
   open(SER ,">${db_path}/serial");
   printf(SER "%06d",$serial);
   close(SER);
  
   exit 0;
  

В начале данного файла надо установить значение переменных, в соответсвии с Вашими настройками. Переменная $tftp_root должна быть установлена в соответствии с настройками Вашего tftp-сервера, переменная $query_ip должна содержать  IP-адрес интерфейса сервера, через который посылается в Интернет фильтрованный трафик, для исключения образования кольцевой обработки запросов.

Для работы скриптов нам требуется установить следующие порты :

   cd /usr/ports/net/p5-SOAP-Lite; make install
   cd /usr/ports/converters/p5-MIME-Base64; make install
   cd /usr/ports/sysutils/p5-Sys-Syslog; make install
   cd /usr/ports/textproc/p5-XML-Simple; make install
   cd /usr/ports/devel/p5-Data-Dumper; make install
   cd /usr/ports/converters/p5-Encode; make install
   cd /usr/ports/net/p5-URI; make install
   cd /usr/ports/converters/p5-Text-Iconv; make install

На данном этапе мы реализовали получение и разбор реестра Роскомнадзора в требуемый для нас вид. Переходим к настройке нашего железа.

Конфигурируем CISCO для работы с сервером SQUID по WCCP. Группа 0 используется для отсылки http-трафика, группа 70 — для отсылки https-трафика.

   ip wccp 0 redirect-list WCCP_REDIRECT group-list 10 accelerated
   ip wccp 70 redirect-list WCCP_REDIRECT group-list 10 accelerated
   access-list 10 remark +++ WCCP_SQUID_PROXY +++
   access-list 10 permit 1.1.2.2

Создаем пользователя, который будет грузить access-листы и настраиваем rsh.

   username blocker privilege 15 password password
   no ip rcmd domain-lookup
   ip rcmd rsh-enable
   ip rcmd remote-host blocker 1.1.2.2 root enable

Ставим из портов SQUID. При выборе опций обязательно контролируем, что WCCP и WCCP2 протоколы включены. Создаем конфиг (в примере для версии 3.2) /usr/local/etc/squid/squid.conf

   http_port 1.1.2.2:9090
   http_port 1.1.2.2:3128 transparent
   https_port 1.1.2.2:3129 transparent ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=4MB cert=/usr/local/etc/squid/squid.pem
   always_direct allow all
   ssl_bump allow all
   sslproxy_cert_error allow all
   sslproxy_flags DONT_VERIFY_PEER
   sslcrtd_program /usr/local/libexec/squid/ssl_crtd -s /var/squid/ssl_db -M 4MB
   icp_port 0
   hierarchy_stoplist cgi-bin ?
   acl QUERY urlpath_regex cgi-bin \?
   cache deny QUERY
   acl apache rep_header Server ^Apache
   cache_mem 1 MB
   cache_swap_low 90
   cache_swap_high 95
   maximum_object_size 1 KB
   maximum_object_size_in_memory 50 KB
   cache_replacement_policy heap LFUDA
   cache_dir ufs /var/squid/cache 1 1 1 no-store
   logfile_rotate 7
   dns_nameservers 8.8.8.8 8.8.4.4
   hosts_file /etc/hosts
   refresh_pattern ^ftp: 1440 20% 10080
   refresh_pattern ^gopher: 1440 0% 1440
   refresh_pattern . 0 20% 4320
   quick_abort_min 0 KB
   quick_abort_max 0 KB
   half_closed_clients off
   acl purge method PURGE
   acl CONNECT method CONNECT
   acl SSL_ports port 443
   acl Safe_ports port 80
   acl Safe_ports port 443 # https
   acl Safe_ports port 1025-65535 # unregistered ports
   http_access allow manager localhost
   http_access deny manager
   http_access allow purge localhost
   http_access deny purge
   http_access deny !Safe_ports
   http_access deny CONNECT !SSL_ports
   http_access allow localhost
   http_access allow all
   http_reply_access allow all
   icp_access allow all
   cache_mgr info@my.domain
   cache_effective_group proxy
   memory_pools off
   log_icp_queries off
   cachemgr_passwd q1w2e3r4 all
   client_db off
   buffered_logs on
   wccp2_router 1.1.2.1
   wccp2_forwarding_method 2
   wccp2_return_method 2
   wccp2_assignment_method 2
   wccp2_service dynamic 0
   wccp2_service_info 0 protocol=tcp flags=dst_ip_hash,dst_port_hash priority=240 ports=80
   wccp2_service dynamic 70
   wccp2_service_info 70 protocol=tcp flags=dst_ip_hash,dst_port_hash priority=240 ports=443
   wccp2_address 1.1.2.2
   redirect_program /usr/local/etc/squid/redirector.pl
   url_rewrite_children 20 startup=10 idle=1 concurrency=0

Обратите внимание на строки wccp2_router и wccp2_address. Соответственно тут должны быть адреса на интерфейсе со стороны CISCO и SQUID. Трафик на сервер SQUID посылается путем замены MAC-адреса, без организации дополнительного GRE-тунеля.

Скрипт редиректора копируется в  /usr/local/etc/squid/:

   #!/usr/bin/perl

   use IO::Handle;
   use POSIX qw(strftime);
   use POSIX qw(setsid);
  
   my $db_path     = "/var/db/zapret-info/";
   my $block_url   = "http://my.domain/block/";
   my $log_file    = "/var/log/squid/redirector.log";
  
   $0 = 'redirect' ;
   $| = 1 ;
   my @banners ;
   my @X ;
   my $serial      =0;
  
   sub _log {
       my $log_str = shift;
       my $now_str = strftime "%d-%m-%Y %H:%M:%S", localtime;
       printf(FLOG "[%s] %s\n", $now_str, $log_str);
   }
  
   sub _rule_refresh {
       open(SER ,"${db_path}/serial");
       read(SER,$num,6);
       close(SER);
  
       if (length($num)==0) { $num=0; }
       if ($num > $serial) {
           _log("Reading file ${db_path}/denied.conf serial ${num}");
           open (IN_FILE, "${db_path}/denied.conf") || die $!;
           my @tmp_data = <IN_FILE>;
           chomp @tmp_data;
           @banners=();
           push @banners, map { qr /\Q$_\E/ }  grep { ! /^\s*$/ }       @tmp_data;
           close(IN_FILE);
           $serial=$num;
       }
   }
  
   $SIG{INT} = \&_rule_refresh;
   open(FLOG, ">>${log_file}");
   $| = 1 ;
   FLOG->autoflush(1);
   _log("Redirector started.");
  
   while (<>) {
       chomp ;
       @X = split ;
       ($url, $who, $ident, $method) = @X ;
       _rule_refresh ;
       $url = $block_url if grep ($url=~/$_/i, @banners) ;
       print "$url $who $ident $method\n" ;
   }
  
   _log("Redirector exited.");
   close(FLOG);
   exit 0;

В начале данного файла мы должны установить значение переменных $db_path, $block_url, $log_file в соответствии с Вашими настройками. $db_path содержит путь до директории с файлом denied.conf и serial, $block_url должен содержать адрес страницы на которую мы перекидываем клиента при блокировании ресурса.

Что бы анализировать HTTPS-трафик, нам нужно сгенерировать самоподписанный сертификат:

   cd /usr/local/etc/squid/
   openssl req -new -newkey rsa:1024 -days 365 -nodes -x509 -keyout squid.pem -out squid.pem

Запускаем SQUID. Если все настроено верно, то на CISCO по команде sh ip wccp, мы увидим что-то похожее на такое:

   #sh ip wccp
   Global WCCP information:
    Router information:
    Router Identifier: 1.1.1.1
    Protocol Version: 2.0
  
   Service Identifier: 0
    Number of Service Group Clients: 1
    Number of Service Group Routers: 1
   ...
    Redirect access-list: WCCP_REDIRECT
   ...

   Service Identifier: 70
    Number of Service Group Clients: 1
    Number of Service Group Routers: 1
   ...
    Redirect access-list: WCCP_REDIRECT
   ...

Если соединение WCCP2 установилось, мы может попробовать запустить трафик на SQUID. Для этого в ipfw мы должны поставить правила переадресации трафика :

   ipfw add 100 fwd 1.1.2.2,3128 tcp from not me to any dst-port 80 via ${wccp_intf} in
   ipfw add 100 fwd 1.1.2.2,3129 tcp from not me to any dst-port 443 via ${wccp_intf} in

(где ${wccp_intf} — интерфейс для обмена wccp-трафиком)

На CISCO запускаем трафик на SQUID :

   conf t
   int vlan90
    ip wccp 0 redirect in
    ip wccp 70 redirect in

Для загрузки acl в CISCO поднимаем tftp-сервер, раскомментировав соответствующую строку в /etc/inetd.conf и перезапустив inetd . Проверяем загрузку правил по rsh, выполнив из консоли сервера :

   ( sleep 2 ; echo '' ; sleep 15 ) | rsh -l blocker 1.1.2.1 copy tftp://1.1.2.2/block.acl running-config ;

Проверяем в CISCO что правила загрузились. Если все отлично, создаем скрипт, который мы включаем в на выполнение в крон :

   #!/bin/sh
   . /var/db/zapret-info/cfg/loader.conf
   /scripts/download.pl

   if [ $? -eq 0 ];
   then
    /scripts/xml-parser.pl
   else
    exit 254 ;
   fi
   if [ $? -eq 0 ];
   then
    ( sleep 2 ; echo '' ; sleep 15 ) | rsh -l blocker  ${cisco_address} copy tftp://${tftp_address}/block.acl running-config ;
   else
    exit 253 ;
   fi
   exit 0;

Создадим файл конфигурации скрипта в /var/db/zapret-info/cfg/loader.conf

   echo 'cisco_address="1.1.2.1"' > /var/db/zapret-info/cfg/loader.conf
   echo 'tftp_address="1.1.2.2"' >> /var/db/zapret-into/cfg/loader.conf

Если Вы все сделали без ошибок и поняли идею, Вы получили работающий полностью в автоматическом режиме сервер фильтрации трафика, синхронизированный с реестром Роскомнадзора, фильтрующий ВСЕ (!) ресурсы внесенные в реестр, в том числе URI написанные на русском языке и URI на защищенных SSL-ресурсах (для пользователя соединение отдаётся с использованием самоподписанного сертификата).

URL: http://www.ps-ax.ru/?p=35
Обсуждается: https://www.opennet.ru/tips/info/2810.shtml