> Дальнейшее сжатие всеми известными архиваторами дает эффект максимум порядка 20-30%, а
> занимает времени в разы больше чем сами экспериментыСэр, алгоритмы тивы LZ4/LZO/Snappy - могут все еще ать некое сжатие, а поток 15Мб/сек для них ну вообще не проблема. Они при сжатии в 10 раз больше на современном проце класса core2 прожуют спокойно, так что если данные хорошо шмутся - вариант.
> Адресок только не забудьте предоставить.
А вы как торенты раздвайте. Договориться с парой челов что они будут "бэкапы сервировать" наврядли большая проблема. При современных объемах HDD сотни гиг может простой Пупкин прихранить. А что такое сотня гб при майнстрим винчах на 1-2Tb? А адресом может быть вообще magnet link например - абстрактный идентификатор набора данных :).
Просто пока вы снимки с CCD камер изучаете, другие парни двигали вперед другие области знаний, в том числе и о том как раздать сотни Гб тысячам людей без затрат ресурсов.
Как-то так оказалось что в XXI веке ну совсем не проблема раздать 1000 людей файл в 100Гб. Для этого надо просто привлечь к раздаче их самих. Они же и бэкапом выступить могут, в принципе. Как видите, проблема в принципе решаема, если захотеть. На самом деле даже очень злые копирасы нынче под внутренние цели эти технологии юзают. Публично чертыхаясь, но внутри себя кантуя многогиговые чушки на кучи машин при помощи торентов :)