The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  вход/выход  слежка  RSS
"Раздел полезных советов: Автоматическое получение списка зап..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Раздел полезных советов: Автоматическое получение списка зап..."  +/
Сообщение от auto_tips on 10-Ноя-13, 19:33 
Скрипт для автоматической загрузки списка запрещенных сайтов:

   use MIME::Base64;
   use SOAP::Lite;
   open REQ,'<request.xml';
   $req.=$_ while <REQ>;
   close REQ;  
   encode_base64($req);

   open SIG,'<PKCS#7';
   $sig.=$_ while <SIG>;
   close SIG;

   $soap = SOAP::Lite->service('http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl');
   $r = $soap->getLastDumpDate();
   print "time: $r\n";

   @r = $soap->sendRequest($req, $sig);
   $code = $r[2];
   print "code: $code\n";

   sleep 1, print "$_\n" for 1..300;
   @r = $soap->getResult($code);
   open ZIP,'>register.zip';
   print ZIP decode_base64($r[$#r]);
   close ZIP;

URL:
Обсуждается: https://www.opennet.ru/tips/info/2812.shtml

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по ответам | RSS]

2. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от VecH email(ok) on 10-Ноя-13, 20:07 
Can't locate SOAP/Lite.pm
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от slavon (??) on 10-Ноя-13, 20:09 
cpan install SOAP::Lite
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от sabitov (ok) on 10-Ноя-13, 21:04 
IMHO, конечно, но лучше вот это:

svn checkout svn://svn.code.sf.net/p/z-i/code-0/trunk z-i-code-0
http://sourceforge.net/p/z-i/code-0/HEAD/tree/dump.csv?forma...

Чудесный цсв, и никаких XML :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Lennotoecom (ok) on 11-Ноя-13, 02:46 
+ и убедитесь также что
у вас есть библиотеки
libssl-dev
expat
libexpat1-dev или lib64expat1-dev
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Аноним (??) on 11-Ноя-13, 09:05 
> svn checkout svn://svn.code.sf.net/p/z-i/code-0/trunk z-i-code-0
> http://sourceforge.net/p/z-i/code-0/HEAD/tree/dump.csv?forma...

В продакшин блокировку, основанную на загрузке данных через посредника не выпустишь. В http://sourceforge.net/p/z-i/ данные грузит не Роскомнадзор, а критикующая его группа анонимов. В один прекрасный момент обновление базы может загнуться или там может появиться троянская информация (например, своруют пароль от sourceforge и добавят в список блокировки кремль.ру).

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Дядя_Федор on 11-Ноя-13, 11:08 
Все может быть намного печальнее. РКН фиксируют обращения провайдеров к своему реестру. Если обращения от кого-либо, кто есть в их базе нет - придет "письмо счастья" из РКН (случаи уже были, и не один). Аргументы о загрузке реестра из других источников в данном случае оправданием не является. Лишат лицензии с легкостью изумительной. А без лицензии - тут же статья о незаконной предпринимательской деятельности - паровозом.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от WisDem email(??) on 11-Ноя-13, 13:58 
что-то упорно пишет неверный алгоритм ЭП
запрос мы уже подписанный отправляем, или он подписывается по мере прохождения скрипта?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Lennotoecom (ok) on 11-Ноя-13, 14:24 
в скрипте ничего не подписывается.
request.xml и PKCS#7 которые вы отправляете в скрипте у вас работают в ручном режиме?
http://vigruzki.rkn.gov.ru/tooperators_form/

если нет то вот как должен выглядеть request.xml
он должен быть создан обязательно в windows-1251 кодировке

<?xml version="1.0" encoding="windows-1251"?>
<request>
<requestTime>2013-11-07T08:05:00.000+04:00</requestTime>
<operatorName>ООО "Рога и копыта"</operatorName>
<inn>1111111111</inn>
<ogrn>1111111111111</ogrn>
<email>test@example.net</email>
</request>

файл открепленной электронной подписи в формате PKCS#7 создается, например с
помощью криптоПРО командой
csptest.exe -sfsign -sign -detached -add -in C:\Zapros_reestr.xml -out C:\Zapros_reestr.xml.sign -my mail@domen.ru


что подробно рассказано тут
http://itmemo.ru/2012/12/sozdanie-fayla-otkreplennoy-elektro.../

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от aurved on 11-Ноя-13, 14:26 
письмо счастья придет и обязательно, но вроде возможен вариант -- договор официальный с другим  провайдером, который сам забирает "правильно" этот список блокировки и "светит" свои запросы, подписанные своей ЭЦП дважды в день в Роскомнадзоре.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

11. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Дядя_Федор on 11-Ноя-13, 14:29 
> письмо счастья придет и обязательно, но вроде возможен вариант -- договор официальный
> с другим  провайдером, который сам забирает "правильно" этот список блокировки
> и "светит" свои запросы, подписанные своей ЭЦП дважды в день в
> Роскомнадзоре.

Да - такой вариант возможен, Вы правы.


Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Раздел полезных советов: Автоматическое получение списка зап..."  +/
Сообщение от aurved on 11-Ноя-13, 14:29 
Тоже вот неплохой вариант, да еще некоторые вещи инетресно расписаны, например как вытащить закрытый ключ из носителя, а уж потом его на nix-сервер скопировать и там им подписывать запросы -- https://www.evernote.com/shard/s185/sh/ceb0b021-47e7-4c61-ab...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от WisDem email(??) on 11-Ноя-13, 14:51 
интересно, в ручном режиме час назад запустил, все прошло, сейчас упорно ошибку выдает. хм тестируем дальше
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Дядя_Федор on 11-Ноя-13, 16:00 
> интересно, в ручном режиме час назад запустил, все прошло, сейчас упорно ошибку
> выдает. хм тестируем дальше

Вы поаккуратнее с тестированием. Были уже замечены случаи блокирования на их сайте при слишком частом обновлении. Так чта... :)


Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от pavlinux (ok) on 11-Ноя-13, 21:39 
> Скрипт для автоматической загрузки списка запрещенных сайтов:

Неправильная тема, должно быть "Скрипт для автоматической загрузки списка сайтов маршрутизируемых в сеть TOR"

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от WisDem email(??) on 12-Ноя-13, 07:59 
все заработало, после общения с тп)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Дядя_Федор on 12-Ноя-13, 08:41 
> все заработало, после общения с тп)

На блокировку таки нарвались?


Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

19. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Nope on 12-Ноя-13, 20:09 
Wide character in subroutine entry at ./unlaw.pl line 25.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Lennotoecom (ok) on 13-Ноя-13, 10:39 
1. отправляемые файлы в ручном режиме работают?
2. попробуйте только дату получить для начала через
$soap = SOAP::Lite->service('http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl');
$r = $soap->getLastDumpDate();
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

28. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +1 +/
Сообщение от ap_ (ok) on 27-Ноя-13, 17:12 
С перловским SOAP::Lite (1.08) иногда в результатах пусто. Данным скриптом ошибка не отлавливается.

Через tcpdump установлена ошибка вида SOAP-ENV:VersionMismatch и Wrong.Version

Причины оказались аналогичны этим
http://www.perlmonks.org/?node_id=650014
https://rt.cpan.org/Public/Bug/Display.html?id=29505

Помогло такое решение:
перед
$soap = SOAP::Lite->service ....
указать
$SOAP::Constants::PREFIX_ENV = 'SOAP-ENV';

PS:1 день потрачен ;).

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Артадокс email on 04-Мрт-14, 12:27 
Всем огромное спасибо за файлик, но пока допер что вместо open SIG,'<PKCS#7'; необходимо указать open SIG,'<файл_с_расширением.sign'; потратил много нервов :(((((((
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

31. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от хрен_с_горы on 08-Мрт-14, 20:05 
гы-гы это авторы предлагают подпись на сервере хранить? один вопрос - вы идиоты?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

32. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от хрен_с_горы on 09-Мрт-14, 12:38 
да сам скрип напмсан либо пьным либо безумным конструкция
   $code = $r[2];
   print "code: $code\n";

просто умиляет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

33. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от пываппукпйцук (ok) on 10-Мрт-14, 22:20 
дополню.

навсамом деле конешно "мего проффесеониальный связьнадзор" предлагает именно так и делать. только что будет если сервер хакнули и под пись ушла на сторону?

видимо осознав бредовость затеи с хранием ключа на сервере они пошли на встречу (признали свой дибилизм) - дату в xml запросе можно не менять, а один раз подписать и на сервере хранить подписанный запрос, вместо хранения приватьной подписи, что позволяет вернуть её на законное место - в сейф руководдителя конторы.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

34. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от ркрцке on 19-Мрт-14, 01:42 
а может тсё же перловый соап поставить?
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

35. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Alpha on 14-Авг-14, 00:52 
Надо бы поправить скриптик... С 1 августа 2014 изменился порядок выгрузка.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

36. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Lennotoecom (??) on 14-Авг-14, 11:20 
Я уже запостил, находится на модерации
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

37. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Артадокс email on 14-Авг-14, 17:07 
Проблемммма: ребята подскажиет что делать
1.Сдох жесткий с Debian - установил новый
2.Залил скрипты со старого(бекапенные) рабочие
3.Поставил SOAP::Lite 1.11
в файле register.zip 1 байт......
Не могу понять куда дальше смотреть.То что предлагал  ap_, 17:12, 27/11/2013 тоже делал....
В тупике......
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

38. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Alpha on 15-Авг-14, 00:01 
Походу модераторам не очень интересно постить полезные темы... Чето как-то долго на модерации находится...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

39. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Артадокс email on 15-Авг-14, 11:18 
Огромное спасибо Lennotoecom всего тебе наилучшего, чтобы все было в кайф.....
Задача решилась новым скриптом.... :))))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

40. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Ogma on 17-Авг-14, 12:41 
Народ, где можно взять новый скрипт?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Ogma on 17-Авг-14, 12:42 
А все увидел:)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

42. "Извлечение url в виде списка"  +/
Сообщение от Walkorner email on 20-Янв-15, 11:25 
Народ - никто не задумался как извлечь url из архива который скачиваеца в виде списка в отдельный файл?
Я пробовал так

cat dump.xml |sed 's/^.*http/http/g' | grep -o "http://[.\a-z\.]*" > file.txt

Но в итоге там есть такие записи

http://mail
http://
http://it

И т.п.
Плеазе хелп!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

43. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Walkorner email on 04-Мрт-15, 14:31 
Вот те раз че никто ничего не предложит?????
Да видно перевелись на земле добры молодцы ....
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

44. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Максим email(??) on 28-Июл-15, 14:34 
Уже второй день бьюсь вылезает ошибка

[ErrorCode: 0x00000000]
Use of uninitialized value in subroutine entry at C:/Perl64/site/lib/SOAP/Lite.p
m line 289.
Use of uninitialized value in subroutine entry at C:/Perl64/site/lib/SOAP/Lite.p
m line 289.

при работе с данным способом, soap на себя самого ругается кто знает как решить? или код уже не актуален?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

45. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Максим email(??) on 28-Июл-15, 14:35 
Добрый у вас заработал скрипт для загрузки списка запрещенных сайтов?
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

46. "Автоматическое получение списка запрещенных сайтов от РОСКОМ..."  +/
Сообщение от Dmitry (??) on 19-Дек-16, 17:53 
> Уже второй день бьюсь вылезает ошибка
> [ErrorCode: 0x00000000]
> Use of uninitialized value in subroutine entry at C:/Perl64/site/lib/SOAP/Lite.p
> m line 289.
> Use of uninitialized value in subroutine entry at C:/Perl64/site/lib/SOAP/Lite.p
> m line 289.
> при работе с данным способом, soap на себя самого ругается кто знает
> как решить? или код уже не актуален?

Такая же проблема

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру