The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск утилиты для резервного копирования rclone 1.59, opennews (??), 10-Июл-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


22. "Выпуск утилиты для резервного копирования rclone 1.59"  +29 +/
Сообщение от freehckemail (ok), 10-Июл-22, 12:33 
> Rclone нарушает unix-way

Не нарушает. В rsync нет нативного бэкенда для синхронизации с S3, а rclone именно под него заточен.

> А чем rsync не устроил, если те же облака замонтировать как разделы?

Суть не в rsync, а скорее в том, что s3 нельзя представить в виде полноценной файловой системы. В частности, вы не можете записать или прочитать файл частично. Потому можете забыть про флаг -no-W, например: передача дельт работать не будет. А она кстати включена по умолчанию, когда источник с таргетом у rsync-а локальные. И когда вы монтируете, у вас все пути именно такими и будут: rsync-у не ведомо, что по одному из путей -- сетевая фс.

Плюс к тому, если вы смонтируете s3-бакет и попытаетесь с ним работать при помощи rsync, всплывёт куча удивляющих вещей. Например, многие не знают, что при синхронизации файла rsync по умолчанию создаёт part-файл, куда и ведёт загрузку новой версии, а когда завершит, перемещает part-файл по целевому пути. В случае с s3 это приведёт к двум загрузкам одного и того же файла (и ещё, кажется, одной выгрузке).

И это ещё не все нюансы. Оно конечно всё фиксится флагами rsync-а, но их целая куча, и их ещё пойди подбери, плюс тебе ещё надо монтировать s3fs через fuse... Очень много телодвижений, прям беда: за всем этим нужно следить, и ошибиться проще некуда. А rclone взял, указал источник с таргетом -- и всё. В общем, специализированный инструмент тут как раз надёжнее. К тому же он неплохо параллелится.

А облачный s3 штука нужная и востребованная, так что никуда от него не деться: это же фактически бесконечное хранилище, где вы платите только за занятое место. Плюс к тому, есть очень много кейсов, когда функции ФС в полной мере не нужны: любое хранилище артефактов например. Вам нужно много места, вам нужно туда загружать файлы целиком, и точно также выгружать их оттуда целиком. Собственно, s3 для того и создавался.

PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

49. "Выпуск утилиты для резервного копирования rclone 1.59"  +5 +/
Сообщение от Ононимдва (?), 10-Июл-22, 15:14 
Хоспидяй, адекватный чувак на опеннете, которому не влом все по полочкам разложить.
Респект и уважуха. (без сарказма)
Ответить | Правка | Наверх | Cообщить модератору

52. "Выпуск утилиты для резервного копирования rclone 1.59"  +3 +/
Сообщение от Аноним (52), 10-Июл-22, 16:04 
Он просто притворяется, а на самом деле он такой же как и все тут.  
Ответить | Правка | Наверх | Cообщить модератору

79. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (79), 11-Июл-22, 03:36 
Кстати да, довольно часто троллит людей, на личности переходит и т.п. Но бывают и хорошие посты, вот как этот.
Ответить | Правка | Наверх | Cообщить модератору

60. "Выпуск утилиты для резервного копирования rclone 1.59"  –3 +/
Сообщение от Онаним (?), 10-Июл-22, 17:13 
"это же фактически бесконечное хранилище"
Законы физики немножечко против.
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

76. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Михрютка (ok), 10-Июл-22, 20:06 
> PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".

тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.

это приблизительно как на нетаппах вафельных серий разворачивать vmfs. не, оно будет работать. но будет работать так плохо и так печально...

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

88. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (71), 12-Июл-22, 12:21 
> тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.

Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх объектного хранилища.

Ответить | Правка | Наверх | Cообщить модератору

90. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Михрютка (ok), 12-Июл-22, 21:22 
>> тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.
> Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх
> объектного хранилища.

на проксмоксовых форумах им ето говорит практически любой, кто сдуру задеплоился на ceph-based хранилище.

и про скорости записи, и про латентность.

толку-то.

я вообще старый пень, как только в разговорах с заказчиком слышу "мы планируем использовать ceph хранилище" или "необходима поддержка ceph хранилища", сразу быстренько извиняюсь и заканчиваю разговор.

Ответить | Правка | Наверх | Cообщить модератору

93. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от freehckemail (ok), 12-Окт-22, 21:29 
> не следует сувать блочне данне в объектное хранилище

Не согласен.

Если рассматривать один блок ФС за объект, то всё должно быть нормально, особенно с учётом того, что jumbo-фреймы ethernet-а позволяют спокойно передавать дейтаграммы размером до 8К.

Ответить | Правка | К родителю #76 | Наверх | Cообщить модератору

78. "Выпуск утилиты для резервного копирования rclone 1.59"  –1 +/
Сообщение от microsoft (?), 10-Июл-22, 23:09 
Ууух, s3 хорошо тебе промыли голову.
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

81. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от анонимз (?), 11-Июл-22, 07:40 
"А облачный s3 штука нужная и востребованная, так что никуда от него не деться" именно. хотя Amazon намного большее зло чем Microsoft, но избавиться от них труднее
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

82. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от 1 (??), 11-Июл-22, 10:32 
Чем больше зло - тем труднее избавляться
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру