форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Архивированная нить - только для чтения!  Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[Проследить за развитием треда]

"Сжатие трафика"
Сообщение от Maniak on 29-Сен-04, 13:10  (MSK)
Вот узнал про девайсы: http://www.apt-reducer.ru/Peribit/perisphere.html Потом узнал про цену этих девайсов ...:) Может кто знает про софтовые реализации подобных вкусностей ?
	Рекомендовать в FAQ | Cообщить модератору | Наверх

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "Сжатие трафика"
Сообщение от _KAV_ (ok) on 29-Сен-04, 13:15  (MSK)
vtun при создании туннеля может жать трафик
	Рекомендовать в FAQ | Cообщить модератору | Наверх

	2. "Сжатие трафика"
	Сообщение от Maniak on 29-Сен-04, 13:52  (MSK)
	>vtun при создании туннеля может жать трафик Это совсем не то. Речь идет о замене повторяющихся блоков информации на специальные сигнатуры. Например прокачиваем повторно файл размером в гиг, а эта зараза заменяет его (файл) на пару-тройку байтов на каждый блок и железка на другой стороне востанавливает эти блоки.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	3. "Сжатие трафика"
	Сообщение от Alexandr9 on 29-Сен-04, 15:04  (MSK)
	>>vtun при создании туннеля может жать трафик > >Это совсем не то. Речь идет о замене повторяющихся блоков информации на >специальные сигнатуры. Например прокачиваем повторно файл размером в гиг, а эта >зараза заменяет его (файл) на пару-тройку байтов на каждый блок и >железка на другой стороне востанавливает эти блоки. максимум что можно предложить ppp with deflate over tcp/udp
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	4. "Сжатие трафика"
	Сообщение от Maxim Kuznetsov on 29-Сен-04, 15:13  (MSK)
	>>vtun при создании туннеля может жать трафик > >Это совсем не то. Речь идет о замене повторяющихся блоков информации на >специальные сигнатуры. Например прокачиваем повторно файл размером в гиг, а эта >зараза заменяет его (файл) на пару-тройку байтов на каждый блок и >железка на другой стороне востанавливает эти блоки. если не ошибаюсь - FTAM ;-) только вот opensource реализаций у него нет
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	5. "Сжатие трафика"
	Сообщение от Maniak on 29-Сен-04, 15:36  (MSK)
	>если не ошибаюсь - FTAM ;-) >только вот opensource реализаций у него нет Если Вам не трудно - ссылочку киньте.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	6. "Сжатие трафика"
	Сообщение от Maniak on 29-Сен-04, 15:40  (MSK)
	Все, сам отаскал. Мне кажется - это тоже не совсем то, что нужно. Мы говорим о сжатии информации по крайней мере не 3-м сетевом уровне, а FTAM в основном под передачу файлов заточен... Или я ошибаюсь ?
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	7. "Сжатие трафика"
	Сообщение от Maxim Kuznetsov on 29-Сен-04, 16:01  (MSK)
	>Все, сам отаскал. >Мне кажется - это тоже не совсем то, что нужно. >Мы говорим о сжатии информации по крайней мере не 3-м сетевом уровне, если НА 3-м сетевом уровне (на уровне IP)-то только независимая компрессия передаваемых пакетов, что и делается в разных туннелях/VPN о кешировании файлов можно говорить только применительно к FTP/HTPP и проч.что и делается в squid`е и сетевых файловых системах. Химеры, которые пытаются реализовывать файловый кеш на уровне IP - от лукавого ;-) >а FTAM в основном под передачу файлов заточен... Или я ошибаюсь ? > нет, не ошибаетесь - FTAM - File Transfer Access and Managment ;-) вообщем FTP+NFS+cache+...
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	8. "Сжатие трафика"
	Сообщение от Maniak on 29-Сен-04, 16:18  (MSK)
	>если НА 3-м сетевом уровне (на уровне IP)-то только независимая компрессия передаваемых >пакетов, что и делается в разных туннелях/VPN >о кешировании файлов можно говорить только применительно к FTP/HTPP и проч.что и >делается в squid`е и сетевых файловых системах. >Химеры, которые пытаются реализовывать файловый кеш на уровне IP - от лукавого VTUN например сжимает трафик используя zlib или lzo. А данное оборудование ужимает трафик а-ля MPEG, т.е. повторяющиеся "фреймы" складываются в словарь и заменяются при передаче на ключи. Например (со слов представителя фирмы поставляющей девайсы) трафик Oracle сжимается минимум в 4 (четыре) раза. Для некоторых протоколов приводится цифра в 10 раз. Так, что это актуально не только для передачи файлов.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	9. "Сжатие трафика"
	Сообщение от _KAV_ (ok) on 29-Сен-04, 17:13  (MSK)
	>VTUN например сжимает трафик используя zlib или lzo. А данное оборудование ужимает >трафик а-ля MPEG, т.е. повторяющиеся "фреймы" складываются в словарь и заменяются >при передаче на ключи. Например (со слов представителя фирмы поставляющей девайсы) >трафик Oracle сжимается минимум в 4 (четыре) раза. Для некоторых протоколов >приводится цифра в 10 раз. Так, что это актуально не только >для передачи файлов. Нафиг тогда это оборудование... ей-ей... Задержки, неактуальность информации... И за такие деньги лучше канал расширить.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	10. "Сжатие трафика"
	Сообщение от Maniak on 29-Сен-04, 17:35  (MSK)
	>Нафиг тогда это оборудование... ей-ей... Задержки, неактуальность информации... И за такие деньги >лучше канал расширить. Вот - золотые слова. А софтовой альтернативы стало-быть нет ? :)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	11. "Сжатие трафика"
	Сообщение от _KAV_ (ok) on 29-Сен-04, 18:30  (MSK)
	>>Нафиг тогда это оборудование... ей-ей... Задержки, неактуальность информации... И за такие деньги >>лучше канал расширить. > >Вот - золотые слова. А софтовой альтернативы стало-быть нет ? :) ИМХО - нет... ибо то оборудование продается, как мне кажется, не для того, чтобы каналы работали, а для того, чтобы деньги срубить... ибо в каком же офисе постоянно передаются одни и те же гиговые файлы? а запрос баз данных - он не так уж велик и, если база написана правильно, не сильно избыточен - у меня работала в Одессе программа с базой в Москве через public internet. Ну, можно поставить большое окно tcp и включить компрессию - максимум А по поводу коэффициента сжатия - как инженер-разработчик скажу аксиому "Для любой разработаной вами системы и любого образца для сравнения можно подобрать набор тестов и критериев, при которых именно ваша система будет выигрывать в заданное число раз"
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	12. "Сжатие трафика"
	Сообщение от MaximKuznetsov on 29-Сен-04, 18:35  (MSK)
	Начнём с того, что a-la MPEG они не сжимают ;-) (ради эксперимента - попробуйте в своей фильмотеке найти два одинаковых фрейма) Oracle возможно и сжимают, но что-то мне подсказывает, что это только если при кривой настройке самого Oracle. Вообще заявления о сжатии чего-либо, а тем более потока рельного времени в разы - сильно напоминает давнюю историю про украинские чудо-модемы ;-) Может это они и есть ? ;-)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	14. "Сжатие трафика"
	Сообщение от Maniak on 29-Сен-04, 20:04  (MSK)
	>Начнём с того, что a-la MPEG они не сжимают ;-) >(ради эксперимента - попробуйте в своей фильмотеке найти два одинаковых фрейма) Если сходить по ссылке приведеной выше и посмотреть на параметры девайсов, то мы увидим, что все они оснащены не слабыми накопителями - например самая старшая версия имеет на борту 500Gb винт (2*250Gb). Интересно зачем ? Так, вот - спецы из этой самой конторы говорят, что для хранения словаря. >Oracle возможно и сжимают, но что-то мне подсказывает, что это только если >при кривой настройке самого Oracle. Не совсем понятно, что значит кривая настройка и где чего в Oracle по этому поводу надо настраивать. Если юзер постоянно молотит один и тот-же запрос через oci к серваку пойдут одинаковые пакеты... Я где-то не прав ? >Вообще заявления о сжатии чего-либо, а тем более потока рельного времени в >разы - сильно напоминает давнюю историю про украинские чудо-модемы ;-) Меня тоже - это сильно озадачивает. Т.е. получается что-бы "закомпресировать" девайс должен получить изрядную порцию данных, обработать (найти в словаре - на HDD объемом 500Gb) и если в словаре нет данных - изменить содержимое словаря... Там наверное HDD с ассоцитивной адресацией. :) >Может это они и есть ? ;-) Вот я и заказал демонстрацию в своем офисе....
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	17. "Сжатие трафика"
	Сообщение от poige (??) on 29-Сен-04, 20:41  (MSK)
	"... Последовательностей (Network Sequence Mirroring - NSM). Также основанная на алгоритмах анализа ДНК, NSM отличается от существующих систем кэширования, тем, что способна оптимизировать передачу файлов в сотни Гбайт, если в самом файле произошли небольшие изменения. Подробнее о NSM. ..." Я уж не знаю сколько лет существует rsync, но это наверное узнать не трудно. Судя по   http://lists.samba.org/archive/rsync/ эдак с августа 2000. Может и еще раньше. И никаких, блин, молекул. ;-) /poige
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	19. "Сжатие трафика"
	Сообщение от Maniak on 30-Сен-04, 10:18  (MSK)
	> >Я уж не знаю сколько лет существует rsync, но это наверное узнать >не >трудно. Судя по > >  http://lists.samba.org/archive/rsync/ > >эдак с августа 2000. Может и еще раньше. И никаких, блин, молекул. >;-) Ok. При изменении всего одного байта в файле rsync будет передавать файл целиком... А как быть например с VoIP - у меня эта позиция дает тоже не малый трафик ?
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	23. ">целиком..."
	Сообщение от poige (??) on 01-Окт-04, 14:35  (MSK)
	[...] > >Ok. При изменении всего одного байта в файле rsync будет передавать файл >целиком... А как быть например с VoIP - у меня эта ^^^^^^^^ Вам что-то мешает делать правильные логические выводы?... >позиция дает тоже не малый трафик ? Можно попробовать "более другие" "кодеки"... /poige -- http://www.i.morning.ru/~poige/
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	24. ">целиком..."
	Сообщение от Maniak on 01-Окт-04, 14:51  (MSK)
	>[...] >> >>Ok. При изменении всего одного байта в файле rsync будет передавать файл >>целиком... А как быть например с VoIP - у меня эта >^^^^^^^^ > >Вам что-то мешает делать правильные логические выводы?... Видимо, что-то мешает... Без Вашей помощи ну прямо никак. > >>позиция дает тоже не малый трафик ? > >Можно попробовать "более другие" "кодеки"... Например ? Впрочем я и сам могу перечислить поддержывемые Definity кодеки. Естественно я их пробовал и остановился на тех которые обеспечивают необходимое качество. Только не кажется ли Вам, что мы далеко ушли от темы ? > >/poige >-- >http://www.i.morning.ru/~poige/
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	25. ">целиком..."
	Сообщение от poige (??) on 01-Окт-04, 17:25  (MSK)
	>>[...] >>> >>>Ok. При изменении всего одного байта в файле rsync будет передавать файл >>>целиком... А как быть например с VoIP - у меня эта >>^^^^^^^^ >> >>Вам что-то мешает делать правильные логические выводы?... > >Видимо, что-то мешает... Без Вашей помощи ну прямо никак. во-во. rsync, как-раз, из-за одного байта весь файл не передает... > >> >>>позиция дает тоже не малый трафик ? >> >>Можно попробовать "более другие" "кодеки"... > >Например ? Впрочем я и сам могу перечислить поддержывемые >Definity кодеки. Естественно я их пробовал и остановился на >тех которые обеспечивают необходимое качество. Только не кажется ли >Вам, что мы далеко ушли от темы ? Соглашусь. Кстати, причинами, в основном, послужили ваши "ляпы" в этой теме. /poige
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	26. ">целиком..."
	Сообщение от Maniak on 01-Окт-04, 17:50  (MSK)
	>> >>Видимо, что-то мешает... Без Вашей помощи ну прямо никак. > >во-во. rsync, как-раз, из-за одного байта весь файл не передает... >> Если не сложно - какими опциями я должен воспользоваться, что-бы файл не передавался целиком. sap-qualitet@rsync>rsync --version rsync version 2.4.6  protocol version 24 >>тех которые обеспечивают необходимое качество. Только не кажется ли >>Вам, что мы далеко ушли от темы ? > >Соглашусь. Кстати, причинами, в основном, послужили ваши "ляпы" >в этой теме. Терпимие надо быть к людям. :) Или я Вас чем-то обидел ? В этом случае прошу прощения.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	27. ">Если не сложно - какими опциями я должен воспользоваться"
	Сообщение от poige (??) on 01-Окт-04, 19:20  (MSK)
	[...] >Если не сложно - какими опциями я должен воспользоваться, что-бы файл не >передавался целиком. AFAIR, по-умолчанию, когда передается файл с одного хоста на другой, используется "delta"-режим. Укажите ключ "-v", чтобы посмотреть подробности о передаче... > [...] >>Соглашусь. Кстати, причинами, в основном, послужили ваши "ляпы" >>в этой теме. > >Терпимие надо быть к людям. :) Или я Вас чем-то обидел ? >В этом случае прошу прощения. Вы считаете, я в чем-то несправедлив к вам? :-) /poige
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	28. ">Если не сложно - какими опциями я должен воспользоваться"
	Сообщение от Maniak on 01-Окт-04, 20:04  (MSK)
	>>Если не сложно - какими опциями я должен воспользоваться, что-бы файл не >>передавался целиком. > >AFAIR, по-умолчанию, когда передается файл с одного хоста на другой, >используется "delta"-режим. Укажите ключ "-v", чтобы >посмотреть подробности о передаче... >> Специально проверил передачу файла размером 300Mb. Последовательность следующая: 1.Скопировал файл    master@rsync:outbox>rsync master_zubr2.dta.gz sun::replication    Передано 18313 пакетов. 2.Повторил копирование    master@rsync:outbox>rsync -u master_zubr2.dta.gz sun::replication    Передано 25 пакетов. 3.Изменил первый байт в исходном файле, повторил копирование.    master@rsync:outbox>rsync -u master_zubr2.dta.gz sun::replication    Передано 18313 пакетов. Вмомент повторного копирования в целевом каталоге вижу файл    14078555 Oct  1 18:18 .master_zubr2.dta.gz.TgaW50    ^^^^^^^^ Размер постоянно растет. Т.е. все работает как при обычном копировании. По завершении временный файл мувится в целевой. Если смотреть truss'ом то целевой (существующий) файл в начале копирования открывается с опцией ro по окончании с rw.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	13. ">трафик а-ля MPEG"
	Сообщение от poige (??) on 29-Сен-04, 20:01  (MSK)
	>VTUN например сжимает трафик используя zlib или lzo. А данное оборудование ужимает >трафик а-ля MPEG, т.е. повторяющиеся "фреймы" складываются в словарь и заменяются >при передаче на ключи. Например (со слов представителя фирмы поставляющей девайсы) "когда вы говорите, такое ощущение, что вы бредите"     (c) из кинофильма "И. В. меняет профессию". MPEG -- формат сжатия "__с__ __потерями__". Это {{ >трафик Oracle сжимается минимум в 4 (четыре) раза. Для некоторых протоколов >приводится цифра в 10 раз. Так, что это актуально не только >для передачи файлов. }} тоже бредятина. Любой протокол с высокым уровнем избыточности будет "жаться" "на ура" при помощи "Huffman and Related Compression Techniques":   http://www.faqs.org/faqs/compression-faq/part2/section-1.html /poige -- http://www.i.morning.ru/~poige/
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	15. ">трафик а-ля MPEG"
	Сообщение от Maniak on 29-Сен-04, 20:16  (MSK)
	>>VTUN например сжимает трафик используя zlib или lzo. А данное оборудование ужимает >>трафик а-ля MPEG, т.е. повторяющиеся "фреймы" складываются в словарь и заменяются >>при передаче на ключи. Например (со слов представителя фирмы поставляющей девайсы) > >"когда вы говорите, такое ощущение, что вы бредите" > >    (c) из кинофильма "И. В. меняет профессию". > >MPEG -- формат сжатия "__с__ __потерями__". Это {{ > А кто сказал, что используется MPEG ? Ok. Если не понятно, что я хотел сказать. Тогда более просто - используется MSR (http://www.apt-reducer.ru/Peribit/msr.html) протокол. >>трафик Oracle сжимается минимум в 4 (четыре) раза. Для некоторых протоколов >>приводится цифра в 10 раз. Так, что это актуально не только >>для передачи файлов. > >}} тоже бредятина. Любой протокол с высокым уровнем избыточности >будет "жаться" "на ура" при помощи "Huffman and Related Compression Techniques": > >  http://www.faqs.org/faqs/compression-faq/part2/section-1.html > >/poige >-- >http://www.i.morning.ru/~poige/ А, что происходит на практике - через vtun с lzo трафик за август 11Gb (только Oracle), а  за июль 11.5Gb через обычный тунель без сжатия. Извините не совсем понятно, что имелось ввиду под "тоже бредятина" - от 4 до 10 раз - это мало или много ?
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	16. ">трафик а-ля MPEG"
	Сообщение от poige (??) on 29-Сен-04, 20:27  (MSK)
	>>>VTUN например сжимает трафик используя zlib или lzo. А данное оборудование ужимает >>>трафик а-ля MPEG, т.е. повторяющиеся "фреймы" складываются в словарь и заменяются >>>при передаче на ключи. Например (со слов представителя фирмы поставляющей девайсы) >> >>"когда вы говорите, такое ощущение, что вы бредите" >> >>    (c) из кинофильма "И. В. меняет профессию". >> >>MPEG -- формат сжатия "__с__ __потерями__". Это {{ >> > > >А кто сказал, что используется MPEG ? А не вы ли написали '... трафик а-ля MPEG, т.е. повторяющиеся "фреймы" складываются в словарь ...'?... >>>трафик Oracle сжимается минимум в 4 (четыре) раза. Для некоторых протоколов >>>приводится цифра в 10 раз. Так, что это актуально не только >>>для передачи файлов. >> >>}} тоже бредятина. Любой протокол с высокым уровнем избыточности >>будет "жаться" "на ура" при помощи "Huffman and Related Compression Techniques": >> >>  http://www.faqs.org/faqs/compression-faq/part2/section-1.html >> >>/poige > >А, что происходит на практике - через vtun с lzo трафик за >август 11Gb (только Oracle), а  за июль 11.5Gb через обычный >тунель без сжатия. >Извините не совсем понятно, что имелось ввиду под "тоже бредятина" - от >4 до 10 раз - это мало или много ? Бредятина в том, что: 1) передача файлов сама по себе не бывает, для этого тоже используется протокол. 2) в 4-10 раз -- ничего необычного, как уже писал, зависит от "рыхлости" протокола. P. S. В vtun, насколько помню, помимо параметров компрессии, есть еще куча вариантов самих протоколов и способ соединения. Все они имеют свои особенности и сво-ва. /dev/hands, как принято писать в *nix-мире, тоже очень влияют. /poige
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	20. ">трафик а-ля MPEG"
	Сообщение от Maniak on 30-Сен-04, 10:37  (MSK)
	> >А не вы ли написали '... трафик а-ля MPEG, т.е. повторяющиеся >"фреймы" складываются в словарь ...'?... > Наверное я не правильно использовал "a-la". Хотел сказать <как MPEG>. :) >Бредятина в том, что: > >1) передача файлов сама по себе не бывает, для этого тоже >используется протокол. > Вне всяких сомнений. :) >2) в 4-10 раз -- ничего необычного, как уже писал, зависит >от "рыхлости" протокола. > >P. S. В vtun, насколько помню, помимо параметров компрессии, есть >еще куча вариантов самих протоколов и способ соединения. Все они За все время использования vtun я обнаружил, что можно использовать: #    proto - Protocol. #       'tcp' - TCP protocol. #       'udp' - UDP protocol. # #       'tcp' is default for all tunnel types. #       'udp' is recommended for 'ether' and 'tun' only. # #       This option is ignored by the client. #    compress - Enable 'yes' or disable 'no' compression. #       It is also possible to specify method: #          'zlib' - ZLIB compression #          'lzo'  - LZO compression #       and level: #          from 1(best speed) to 9(best compression) #       separated by ':'. Default method is 'zlib:1'. #       Ignored by the client. Вот настройки которые я использовал.   type  tun;            # IP tunnel   proto udp;            # UDP protocol   comp  lzo:9;          # LZO compression level 9 >имеют свои особенности и сво-ва. /dev/hands, как принято писать в >*nix-мире, тоже очень влияют. Буду очень признателен если Вы подскажите где мне надо спрямить пальчики. :)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	22. ">трафик а-ля MPEG"
	Сообщение от _KAV_ (ok) on 30-Сен-04, 11:57  (MSK)
	>За все время использования vtun я обнаружил, что можно использовать: [skip] >Буду очень признателен если Вы подскажите где мне надо спрямить пальчики. :) > Прежде всего - эффективность работы компрессии зависит от размера mtu - чем больше, тем, ессно лучше, и еще желательно, чтобы в окно укладывалось по возможности целое количество пакетов - так заголовки сжимаются эффективнее. Если хочется сохранить малый mtu для работы с инетом, то можно уложить туннель в туннель- первый с максимально возможным размером для компрессии, а второй просто нарежет эти пакеты кусочками и передаст. Дополнительно замечу - здесь уже упоминалось, что Оракл сам жмет свои данные - так что выигрыш возможен лишь за счет заголовков, и еще - Оракл очень чувствителен к задержкам, зараза - на спутниковых каналах хамит. По поводу VoIP - там поток уже настолько ужат, что его дальнейшая компрессия вызовет только увеличение объема информации и еще увеличит задержки.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	18. ">трафик а-ля MPEG"
	Сообщение от Maxim Kuznetsov on 29-Сен-04, 21:54  (MSK)
	>>>VTUN например сжимает трафик используя zlib или lzo. А данное оборудование ужимает >>>трафик а-ля MPEG, т.е. повторяющиеся "фреймы" складываются в словарь и заменяются >>>при передаче на ключи. Например (со слов представителя фирмы поставляющей девайсы) >> >>"когда вы говорите, такое ощущение, что вы бредите" >> >>    (c) из кинофильма "И. В. меняет профессию". >> >>MPEG -- формат сжатия "__с__ __потерями__". Это {{ >> > > >А кто сказал, что используется MPEG ? >Ok. Если не понятно, что я хотел сказать. Тогда более просто - >используется MSR (http://www.apt-reducer.ru/Peribit/msr.html) протокол. то есть выделяют максимально длинные,повторяющиеся битовые цепочки..в реальном времени и в произвольном объеме данных? Нда..что-то ребята поскромничали - надо бы им свой алг. на нобелевку было двигать - если они правы, то для расшифровки любого генома, требуется секунд 5 ;-) Прогнал через девайс, глянул полученую базу - и готова! Кстати если ПРИМЕНЯТЬ только этот ГИПОТЕТИЧЕСКИЙ алг, то скорость передачи данных между конечными клиентами должна УМЕНЬШАТСЯ до 2 раз. (точнее промежуток времени между началом передачи и окончанием приема должен увеличиваться), правда при уменьшении нагрузки на канал. >>>трафик Oracle сжимается минимум в 4 (четыре) раза. Для некоторых протоколов >>>приводится цифра в 10 раз. Так, что это актуально не только >>>для передачи файлов. >> >>}} тоже бредятина. Любой протокол с высокым уровнем избыточности >>будет "жаться" "на ура" при помощи "Huffman and Related Compression Techniques": >> >>  http://www.faqs.org/faqs/compression-faq/part2/section-1.html >> >>/poige >>-- >>http://www.i.morning.ru/~poige/ > >А, что происходит на практике - через vtun с lzo трафик за >август 11Gb (только Oracle), а  за июль 11.5Gb через обычный >тунель без сжатия. А что вы ожидали увидеть ? современные СУБД сами компрессируют свои данные при передачи. А lzo в вашем примере, сжал только заголовки и некоторые служебные данные протоколов(прочее уже запакованно). И никто лучше этого не сделает, Есть такая вешч как кол-во информации, применительно к теории передачи, это минимальное число бит требуемых для представления информации, все современные алгоритмы подходят достаточно близко к этому пределу и существенно сжать уже сжатый файл НЕВОЗМОЖНО. >Извините не совсем понятно, что имелось ввиду под "тоже бредятина" - от >4 до 10 раз - это мало или много ? это практически невероятно ;-) Максимум что у них РЕАЛЬНО есть - эффективный механизм кеширования.. симметричный синхронный кеш ;-)..и работать это может только на очень НАДЁЖНОМ канале.. Да и похоже это всё на 'РОГА И КОПЫТА' ;-) ребята получили нехило денег(о чём так и сказали) и теперь оправдываются перед инвестором. По кол-во прессрелизов в месяц компания точно держится CISCO и IBM - ~4-5 штук в месяц на подразделение..может это международная норма ? ;-)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	21. ">трафик а-ля MPEG"
	Сообщение от _KAV_ (ok) on 30-Сен-04, 11:45  (MSK)
	"Изучив Ваше коммерческое предложение о поставке каналообразующей аппаратуры, мы приняли решение приобрести некоторое количество травы, которую Вы курите...." Ж8-) >Нда..что-то ребята поскромничали - надо бы им свой алг. на нобелевку >было двигать - если они правы, то для расшифровки любого генома, требуется >секунд 5 ;-) Прогнал через девайс, глянул полученую базу - и >готова!    Нобелевки маловато будет - ребята одним махом  отменили теорию информации, теорию передачи сигналов и добрую половину разделов математики... да еще и машину времени придумали!!!! ибо из простейших соображений следует, что время отклика фильтра не может быть меньше интервала оценки, т.о. для ужатия гигового файла этот файл требуется полностью принять. Начать передавать сразу и оценивать по мере накопления? И рвать установившуюся сессию для повторной передачи по оптимизированому коду? а там и в третий, надцатый? бррр... Даже оптимизированые фильтры предсказания Калмана-Бьюси (обобщенные) таких чудес не обещают. > >>Извините не совсем понятно, что имелось ввиду под "тоже бредятина" - от >>4 до 10 раз - это мало или много ? >это практически невероятно ;-)   Вероятно - если я напишу скрипт, который 10 000 раз будет повторять один запрос к базе данных и принимать ответ, который будет ессно тоже одинаковым, то выигрыш можно поиметь... то, что я писал о критериях оценки. >Максимум что у них РЕАЛЬНО есть - эффективный механизм кеширования.. > симметричный синхронный кеш ;-)..и работать это может только на очень НАДЁЖНОМ >канале..   И со всеми недостатками механизма кеширования - хотя опять же, если я вместо команды распечатать 50 копий 50 раз пошлю задание на печать - выигрыш будет - но от задержек на оценку, потерь при смене заданий и пр. не уйти... Увы, математику и законы сохранения никто не отменил.
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	29. ">трафик а-ля MPEG"
	Сообщение от ra (??) on 05-Окт-04, 13:04  (MSK)
	Пара замечаний: 1. Меня впечатлила модель http://www.apt-reducer.ru/Peribit/sm-500.html (500 Гбайт винтового пространства). Обалдеть, я бы лучше за такие бабки канал расширил или нормального железа купил. 2. В перечне их клиентов есть одна контора из которой я уволился пару меняцев назад. Дык вот, не использовали мы никогда их оборудование (уж мне ли не знать)...
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	30. ">трафик а-ля MPEG"
	Сообщение от Konstantin (??) on 05-Окт-04, 13:22  (MSK)
	>2. В перечне их клиентов есть одна контора из которой я уволился >пару меняцев назад. Дык вот, не использовали мы никогда их оборудование И я нашел контору в которой работаю до сих пор ... нет у нас их железа и никогда небыло ... >(уж мне ли не знать)... вот-вот ...
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	31. "To bee continue"
	Сообщение от Maniak on 05-Окт-04, 13:50  (MSK)
	>Пара замечаний: >1. Меня впечатлила модель http://www.apt-reducer.ru/Peribit/sm-500.html (500 Гбайт винтового пространства). Обалдеть, я бы >лучше за такие бабки канал расширил или нормального железа купил. >2. В перечне их клиентов есть одна контора из которой я уволился >пару меняцев назад. Дык вот, не использовали мы никогда их оборудование >(уж мне ли не знать)... Тема получила продолжение. :) Установили нам эту железку в так называемом "profile mode" - т.е. реально используется один девайс и с него можно снимать статистику как-бы он сжимал информацию. После 2-х часов накопления информации мы увидели, что даннные сжимаются почти в три раза (х2.89)... После чего менеджер предложил подписать договор на поставку второго девайса. :)) Дескать устройство дорогое и нужны гарантии... Устройство запломбировано, но имеет достаточно большие отверствия в передней рещетке: через которые явно просматриваются: ATX блок питания, обычная материнка со здоровенным радиатором на проце, и какая-то плата PCI с двумя 100BaseT, винчестера невидно. Вот, что показывает nmap: PORT    STATE SERVICE 22/tcp  open  ssh 443/tcp open  https MAC Address: 00:02:B3: <<skip>> (Intel) Device type: X terminal|load balancer Running: Neoware NetOS, HP embedded, Cisco embedded OS details: Cisco 11151/Arrowpoint 150 load balancer, Neoware (was HDS) NetOS V. 2.0.1 or HP Entria C3230A После изменения IP - адреса требуется перезагрузка... Вобщем imho выгоднее свою оптику проложить. :)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	32. "To bee continue"
	Сообщение от _KAV_ (??) on 06-Окт-04, 13:27  (MSK)
	> >Тема получила продолжение. :) Установили нам эту железку в так называемом "profile >mode" - т.е. реально используется один девайс и с него можно >снимать статистику как-бы он сжимал информацию. После 2-х часов накопления информации >мы увидели, что даннные сжимаются почти в три раза (х2.89)... >После чего менеджер предложил подписать договор на поставку второго девайса. :)) Дескать >устройство дорогое и нужны гарантии... Неплохо, однако, демонстрация устраивается - я в экстазе Ж8-)... Интересно было бы посмотреть, что оно дает _реально_
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	33. "To bee continue"
	Сообщение от Maniak on 06-Окт-04, 17:37  (MSK)
	> >Неплохо, однако, демонстрация устраивается - я в экстазе Ж8-)... >Интересно было бы посмотреть, что оно дает _реально_ Пока только графики рисует и воздух греет. :) Орокловый трафик жмет почти в 10 раз... vtun - отдыхает. :) Обещали через пару недель второй девайс...
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	34. "To bee continue"
	Сообщение от _KAV_ (ok) on 07-Окт-04, 10:05  (MSK)
	> >Пока только графики рисует и воздух греет. :) >Орокловый трафик жмет почти в 10 раз... vtun - отдыхает. :) >Обещали через пару недель второй девайс... Ждем оценки Ж8-)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	35. "To bee continue"
	Сообщение от asmer (ok) on 13-Окт-04, 11:34  (MSK)
	прикольная на@#$^ка ;-) Интересно, чем все это закончится ;-)
		Рекомендовать в FAQ | Cообщить модератору | Наверх

Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.