The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Изучение изменения размера кодовой базы Ext4, Btrfs и XFS, opennews (??), 23-Июн-11, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


82. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  –2 +/
Сообщение от Аноним (-), 23-Июн-11, 18:40 
Только если что - у zfs вообще fsck нет, даже в планах ;). А у btrfs он пока попросту бесполезный т.к. сырой еще напрочь - его только сделали.
Ответить | Правка | Наверх | Cообщить модератору

86. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  –1 +/
Сообщение от iZEN (ok), 23-Июн-11, 19:08 
> Только если что - у zfs вообще fsck нет, даже в планах ;).

zpool scrub poolname — рассчитывает все контрольные суммы файлов и метаданных и сверяет их с теми, что есть, выводит список запорченных файлов, если они есть. Выполняется в фоне, при перезапусках продолжает работу с того места ФС, где закончила в последний раз.

Правда, не похоже на унылый fsck традиционных ФС? ;)

Ответить | Правка | Наверх | Cообщить модератору

89. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 23-Июн-11, 20:37 
> zpool scrub poolname — рассчитывает все контрольные суммы файлов и метаданных и
> сверяет их с теми, что есть, выводит список запорченных файлов, если
> они есть. Выполняется в фоне, при перезапусках продолжает работу с того
> места ФС, где закончила в последний раз.
> Правда, не похоже на унылый fsck традиционных ФС? ;)

Все это замечательно, но убитые метаданные не восстановит. Так что действительно, на fsck не тянет.

Ответить | Правка | Наверх | Cообщить модератору

113. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  –1 +/
Сообщение от Мяут (ok), 23-Июн-11, 23:49 
Там оно и не нужно. CoW, контрольные суммы и дублирование метаданных решают, а баги системы и fsck не починит.

Кстати, сравнение кодовой базы UFS+SVM и ZFS:
-------------------------------------------------
  UFS: kernel= 46806   user= 40147   total= 86953
  SVM: kernel= 75917   user=161984   total=237901
TOTAL: kernel=122723   user=202131   total=324854
-------------------------------------------------
  ZFS: kernel= 50239   user= 21073   total= 71312
-------------------------------------------------
отсюда: http://blogs.oracle.com/eschrock/entry/ufs_svm_vs_zfs_code

Ответить | Правка | Наверх | Cообщить модератору

114. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от anonymous (??), 23-Июн-11, 23:56 
> Там оно и не нужно.

адептам свойственно говорить, что то, чего у них в технологии нет, на самом деле не нужно. как только кто-то это «ненужное» дописывает — оно сразу становится нужным, полезным и уберфичей.

Ответить | Правка | Наверх | Cообщить модератору

115. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Мяут (ok), 24-Июн-11, 00:06 
ZFS изначально проектировался, как надежная ФС, для которой бы не требовался fsck. Понятное дело, что это умозаключение всего лишь теоретическое.
Ответить | Правка | Наверх | Cообщить модератору

116. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от anonymous (??), 24-Июн-11, 00:09 
дык. можно подумать, что та же винда изначально проектировалась как система, которая будет падать. лучше иметь ненужную тулзу, чем не иметь нужной.
Ответить | Правка | Наверх | Cообщить модератору

118. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Мяут (ok), 24-Июн-11, 00:47 
Ну есть zdb если на то уж пошло.
А все фичи fsck типа определения сбойной ФС в ZFS делаются на-лету, так что утверждать, что у ZFS нет аналога fsck я бы не стал :-)

Например взять выделение блока. В ZFS используются т.н. space maps являющиеся по сути логами транзакций, равно как в каком-нить ext3 fsck будет искать блоки-потеряшки, здесь в случае сбоя ZFS откатится на предыдущее состояние лога. Во время же выделения мы проигрываем лог.

Ответить | Правка | Наверх | Cообщить модератору

206. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 20:31 
> Ну есть zdb если на то уж пошло.

Он может проверить все структуры на валидность и починить все что невалидно или хотя-бы нейтрализовать, чтобы пул можно было смонтировать и выколупать то что уцелело?

> А все фичи fsck типа определения сбойной ФС в ZFS делаются на-лету,
> так что утверждать, что у ZFS нет аналога fsck я бы не стал :-)

Сбой фс нынче обнаруживает любой приличный драйвер. Но проблема в том что чинить их он не умеет - не его епархия..

> блоки-потеряшки, здесь в случае сбоя ZFS откатится на предыдущее состояние лога.

А теперь представьте себе что цепочка логов порушилась где-то в середине. Или метаданные описываюшие оную.

> Во время же выделения мы проигрываем лог.

Вы рассматриваете только простые сбои, которые должна обработать обычная логика журналирования. Тогда как fsck обычно пользуются лишь тогда, когда эта логика не смогла отработать как надо. Когда мы видим что дело дрянь и основной парашют не сработал - нервно сглатываем и дергаем запасной. А вы в вашем праве превращаться в лепешку, если вам так удобнее.

Ответить | Правка | Наверх | Cообщить модератору

207. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от iZEN (ok), 25-Июн-11, 20:58 
>> Ну есть zdb если на то уж пошло.
> Он может проверить все структуры на валидность и починить все что невалидно
> или хотя-бы нейтрализовать, чтобы пул можно было смонтировать и выколупать то
> что уцелело?

http://www.freebsd.org/cgi/man.cgi?query=zdb

>> блоки-потеряшки, здесь в случае сбоя ZFS откатится на предыдущее состояние лога.
> А теперь представьте себе что цепочка логов порушилась где-то в середине. Или
> метаданные описываюшие оную.

То только эта цепочка и будет недоступна.

>> Во время же выделения мы проигрываем лог.
> Вы рассматриваете только простые сбои, которые должна обработать обычная логика журналирования.
> Тогда как fsck обычно пользуются лишь тогда, когда эта логика не
> смогла отработать как надо.

В самом деле?
https://osu.redhat.com/content/courses-ru/rha130-50-2-ru/tag...
---
Использование команды fsck
Команда fsck обычно вызывается с именем раздела, который нужно проверить, в качестве единственного параметра. Если команда fsck найдет ошибку, которую она сможет исправить без риска потери данных, она исправит ее. Если есть риск потери данных, команда fsck приостановится и выдаст сообщение с вопросом, должна ли она исправлять ошибку. Для администраторов, которые не обладают подробными знаниями в области внутренней структуры файловой системы ext2, выбор невелик. По правде говоря, команда fsck часто запускается с ключом -y, который так и говорит: "Не спрашивать, просто делать".
---

> Когда мы видим что дело дрянь и основной парашют не сработал - нервно сглатываем и дергаем запасной.

А он у вас есть? Бэкапы хотя бы сделали? :))

> А вы в вашем праве превращаться в лепешку, если вам так удобнее.

У нас хотя бы мусор из-за бэд-блока на одном носителе можно достоверно обнаружить, а на группе носителей в RAID невозможен в принципе.

Ответить | Правка | Наверх | Cообщить модератору

221. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Мяут (ok), 27-Июн-11, 01:39 
> А теперь представьте себе что цепочка логов порушилась где-то в середине.

Можно вот рассказать, как это могло получиться, со ссылочками на on-disk format?
Есть подозрения что ФС пойдет через Traverse в поисках блоков. Ну или опять же поедет на старую неповрежденную версию лога.
> Он может проверить все структуры на валидность и починить все что невалидно или хотя-бы нейтрализовать, чтобы пул можно было смонтировать и выколупать то что уцелело?

Валидность структуры - это сущая эвристика. Уж лучше контрольные суммы и транзакционная модель.

Ответить | Правка | К родителю #206 | Наверх | Cообщить модератору

147. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Anon Y Mous (?), 24-Июн-11, 09:19 
>> Там оно и не нужно.
> адептам свойственно говорить, что то, чего у них в технологии нет, на
> самом деле не нужно. как только кто-то это «ненужное» дописывает —
> оно сразу становится нужным, полезным и уберфичей.

Да-да.. Сколько было излито желчи по поводу того, что ZFS - комбайн-все-в-одном-и-ни-нужно, а теперь оказывается, что если комбайн-все-в-одном называется btrfs - то он внезапно уже оказывается нужен. Двойные стандарты такие двойные :)

Ответить | Правка | К родителю #114 | Наверх | Cообщить модератору

195. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 00:26 
Желчь была в основном потому что ZFSники утверждали что оно такое незаменимое.Хотя по факту LVM и рэйды с обычной ФС поверх вполне могут похожее по функционалу изобралить, а удобство администрирования - вопрос вкуса и предпочтений. А btrfs нужен всем по разным причинам. Кому-то потому что CoW означает неразрушающую и быструю запись. Кому-то за эффективные снапшоты. Кому-то за управление томами. А кому-то за просто скорость. Btrfs не ударяет в грязь лицом даже на low end системах, вплоть до эмбеддовки. В отличие от ZFS, которому с его блочным дизайном и жуткой фрагментацией надо минимум несколько Гб оперативки чтобы нормально работать, а не тормозить. И в большинстве бенчей почему-то btrfs уже сто лет назад делал ZFS.
Ответить | Правка | Наверх | Cообщить модератору

148. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Anon Y Mous (?), 24-Июн-11, 09:23 
> отсюда: http://blogs.oracle.com/eschrock/entry/ufs_svm_vs_zfs_code

От 2005 года данные, когда исходники ZFS открыли. Сейчас количество строк кода в ядре - уже под сто тысяч. Но и функциональности прибавилось в сравнении с 2005.

Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

194. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 00:18 
> Там оно и не нужно.

Ага, вот вылезет у вас бэд так что ФС перестанет монтироваться, бэкап фигакс и старый, а вон те файлики - позарез нужно. И будете вы пухнуть, разбирая по ночам навороченные структуры хексэдитором. Вместо того чтобы починиться стандартной утилитой.

Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

222. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Мяут (ok), 27-Июн-11, 01:44 
>> Там оно и не нужно.
> Ага, вот вылезет у вас бэд так что ФС перестанет монтироваться, бэкап
> фигакс и старый, а вон те файлики - позарез нужно. И
> будете вы пухнуть, разбирая по ночам навороченные структуры хексэдитором. Вместо того
> чтобы починиться стандартной утилитой.

Это у вас бэд приводит к немонтируемой ФС, у нас 4 копии метки на VDEV и 3 копии метаданных.

Ответить | Правка | Наверх | Cообщить модератору

120. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +1 +/
Сообщение от iZEN (ok), 24-Июн-11, 00:56 
>> zpool scrub poolname — рассчитывает все контрольные суммы файлов и метаданных и
>> сверяет их с теми, что есть, выводит список запорченных файлов, если
>> они есть. Выполняется в фоне, при перезапусках продолжает работу с того
>> места ФС, где закончила в последний раз.
> Все это замечательно, но убитые метаданные не восстановит. Так что действительно, на fsck не тянет.

А зачем ему что-то восстанавливать? Сама ZFS спроектирована по принципу CoW — если что-то повреждается, то восстанавливается легко и непринуждённо откатом на предыдущее состояние, если ФС видит потерю данных на одной из половины зеркала, то не кричит об этом, а тихо восстанавливает данные по другой половине (то же самое с другими избыточными моделями хранения данных). Если данные не восстановимы в принципе, то пул тупо останавливает свою работу, чтобы предотвратить потерю консистентности метаданных самой файловой системы, а там уж администратор должен сам разобраться в проблеме — fsck на такое не способна, и ни один из линуксовых RAID не может в этом помочь: http://www.linux.org.ru/jump-message.jsp?msgid=3262617&cid=3...

Ответить | Правка | К родителю #89 | Наверх | Cообщить модератору

198. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 13:27 
> А зачем ему что-то восстанавливать? Сама ZFS спроектирована по принципу CoW —
> если что-то повреждается, то восстанавливается легко и непринуждённо откатом на
> предыдущее состояние,

Малацца, основы CoW зазубрил. Садись, пять. И положи букварь на парту. Только у данного устройства ФС есть проблема: относительно небольшое разрушение метаданных может вызывать очень невкусные последствия. Знаешь что такое "эффект домино"? Ну вот снапшоты - они друг за другом, как костяшки домино. Грохнется что-то в одном? Полетит все что было за ним. Потому что зависит от предшествующего куска. И уж хотя-бы перестроить метаданные в случае опы, например порушеный индекс на основе данных целого индекса - было бы очень кстати, не говоря уж про исправление заведомо некорректных метаданных/проблемных и прочая.

> если ФС видит потерю данных на одной из половины зеркала, то не кричит об этом,
> а тихо восстанавливает данные по другой половине (то же самое с другими
> избыточными моделями хранения данных).

При условии если это вообще получилось. Вообще-то, запасной парашют нужно дергать только если основной (стандартная журнальная механика) не сработал. Может быть до тебя это уже дойдет, двоечник? :)

> Если данные не восстановимы в принципе, то пул тупо останавливает свою работу,

Да. И далее ты или выгребаешь из него хексэдитором нужные файлы или клюешь. Как мило!

> чтобы предотвратить потерю консистентности метаданных самой файловой системы, а там уж
> администратор должен сам разобраться в проблеме — fsck на такое не способна,

Администратору приводить метаданные в консистентное и непротиворечивое состояние "немного" сложнее и дольше чем утилитам.

> и ни один из линуксовых RAID не может в этом помочь:

А почему RAID должен помогать в починке метаданных ФС? Если ты вдруг не знал, RAID далеко не панацея и справляется далеко не с любыми сценариями разрушений. Кстати, даже лучшая конструкция парашюта очень редко но все-таки может не сработать. Поэтому изобрели запасные парашюты.

> http://www.linux.org.ru/jump-message.jsp?msgid=3262617&cid=3...

Тебя так прикалывает демонстрировать свою тупость?

Ответить | Правка | Наверх | Cообщить модератору

202. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от iZEN (ok), 25-Июн-11, 17:44 
>[оверквотинг удален]
>> предыдущее состояние,
> Малацца, основы CoW зазубрил. Садись, пять. И положи букварь на парту. Только
> у данного устройства ФС есть проблема: относительно небольшое разрушение метаданных может
> вызывать очень невкусные последствия. Знаешь что такое "эффект домино"? Ну вот
> снапшоты - они друг за другом, как костяшки домино. Грохнется что-то
> в одном? Полетит все что было за ним. Потому что зависит
> от предшествующего куска. И уж хотя-бы перестроить метаданные в случае опы,
> например порушеный индекс на основе данных целого индекса - было бы
> очень кстати, не говоря уж про исправление заведомо некорректных метаданных/проблемных
> и прочая.

Матчасть подучи: http://blogs.oracle.com/bonwick/ru/category/ZFS
---
Нисходящее восстановление: пул дисковой памяти - это дерево блоков. Чем ближе к корню дерева находится блок, тем значительнее его потеря, так как она означает потерю доступа к во всем потомкам этого блока.

Использование метаданных позволяет ZFS осуществлять нисходящее восстановление избыточности. Это значит, что в первую очередь ZFS восстановит убер-блок и метки диска. Затем будет восстановлена избыточность метаданных, общих для всего пула; затем метаданных каждой файловой системы; и так далее вниз по дереву. В ходе этого процесса ZFS следует такому правилу: ибыточность блока не восстанавливается до тех пор, пока не восстановлена избыточность всех его предков.

Трудно преувеличить важность этого правила. При прямолинейном копировании всего диска, даже если успешно скопировано 99%, есть неплохой шанс, что один из верхних блоков дерева еще не скопирован. С точки зрения среднего времени восстановления после отказа (MTTR) это значит, что прогресса нет: отказ или ошибка второго диска в этот момент времени все еще будет иметь катастрофические последствия.

При нисходящем восстановлении избыточности, копирование каждого следующего блока увеличивает количество данных, которые могут быть обнаружены. В случае сбоя еще одного диска, все данные, избыточность которых была восстановлена до этого момента, останутся доступными.
---

>> если ФС видит потерю данных на одной из половины зеркала, то не кричит об этом,
>> а тихо восстанавливает данные по другой половине (то же самое с другими
>> избыточными моделями хранения данных).
> При условии если это вообще получилось. Вообще-то, запасной парашют нужно дергать только
> если основной (стандартная журнальная механика) не сработал. Может быть до тебя
> это уже дойдет, двоечник? :)

Вообще-то, "запасной парашют" в ZFS всегда на готове и он готов для дёрганья в тот момент, когда основной отвалился, а не когда мы уже на земле.
---
ZFS использует сквозные контрольные суммы для выявления и исправления неявных нарушений целостности данных. Если диск возвращает некорректные данные в результате случайного сбоя, ZFS определит это и попытается прочитать данные еще раз. Если диск является частью "зеркала" или RAID-Z, ZFS не только определит, но и исправит ошибку: контрольная сумма позволит определить правильную копию, предоставить корректные данные приложению и исправить с их помощью поврежденную копию.
---

>> Если данные не восстановимы в принципе, то пул тупо останавливает свою работу,
> Да. И далее ты или выгребаешь из него хексэдитором нужные файлы или клюешь. Как мило!

Опять двадцать пять. Начинай сначала.

>> чтобы предотвратить потерю консистентности метаданных самой файловой системы, а там уж
>> администратор должен сам разобраться в проблеме — fsck на такое не способна,
> Администратору приводить метаданные в консистентное и непротиворечивое состояние "немного"
> сложнее и дольше чем утилитам.

Правда что ли? Неужели пробовал восстанавливать RAID из состояния FAULTED, чтобы это говорить? На mdraid это вообще бессмысленно.

>> и ни один из линуксовых RAID не может в этом помочь:
> А почему RAID должен помогать в починке метаданных ФС?

А почему нет, если он интегрирован с ФС?

> Если ты вдруг не знал, RAID далеко не панацея и справляется далеко не с любыми сценариями разрушений.

Конечно не панацея. Все привыкли к "обыденности", задаваемой "линуксовой братией". :))

> Кстати, даже лучшая конструкция парашюта очень редко но
> все-таки может не сработать. Поэтому изобрели запасные парашюты.
>> http://www.linux.org.ru/jump-message.jsp?msgid=3262617&cid=3...
> Тебя так прикалывает демонстрировать свою тупость?

Почему свою? Это ваша тупость, данная вам в ощущениях.


Ответить | Правка | Наверх | Cообщить модератору

208. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 23:05 
> Матчасть подучи: http://blogs.oracle.com/bonwick/ru/category/ZFS

Это ты себе?

> Нисходящее восстановление: пул дисковой памяти - это дерево блоков. Чем ближе к
> корню дерева находится блок, тем значительнее его потеря,

Как ты думаешь, к чему относилось про эффект домино? CoW довольно легко повреждается и повреждения даже небольшого участка метаданных или данных могут выбить довольно много всего в результате. Потому что текущий вид данных зависит от предыдущего.

> Использование метаданных позволяет ZFS осуществлять нисходящее восстановление избыточности.

Тут делается вольное допущение что избыточность есть, что это удалось и что нигде не облажались. В реальной жизни таких гарантий даже страховой полис не даст.

[копипаст из букваря поскипан]

В общем это, копипастить и дурак может.

> Вообще-то, "запасной парашют" в ZFS всегда на готове и он готов для
> дёрганья в тот момент, когда основной отвалился, а не когда мы уже на земле.

И что является парашютом заменяющим fsck? Те несколько хиленьких опций утилиток, затыкающих несколько специфичных сценариев и плевать хотевших на все остальные? Это не парашют, это бутафория какая-то. В упомянутом букваре допускается что избыточность - была, что перестроение дупов прошло успешно и что валидная копия метаданных вообще была. Но зато ни звука про случай когда их не было. И если в крутых энтерпрайзных многодисковых хранилищах еще можно в некоторых случаях надеяться что это будет не настолько уж и неправдой, для более простых юзкейсов вида "один винч на ноуте, и тот осыпался" это как-то очень неубедительно уже смотрится. Ах, я и забыл - сани делали ФС только для энтерпрайзов. Поэтому такие юзкейсы они не рассматривали и вы для этого используете окаменелый UFS. А вот для btrfs это вполне валидная ситуация. Не просто заранее заложенная, а дефолтная для meego на x86. Негде в ноуте или планшетке многодисковое хранилище распихать.

> является частью "зеркала" или RAID-Z, ZFS не только определит, но и
> исправит ошибку: контрольная сумма позволит определить правильную копию,

Покажи мне как сделать эффективное "зеркало" из одного диска в моем ноуте? Или по твоему мнению я там должен использовать окаменелости типа UFS? Ну увидит ФС - ага, том сыпанулся, бэд чексум. Дальше - что?

> Опять двадцать пять. Начинай сначала.

Ну так я не виноват что ты тугой и до тебя медленно доходит: вполне возможна ситуация, когда диск был 1, на нем хаотично вылезли бэды например. Это типичный десктопно-ноутбучный юзер. Все что сможет ФС - констатировать bad checksum. А восстановить это - не сможет. И хорошо бы юзеру собрать то что от тома осталось и отрепайрить до моунтабельного состояния, чтобы он не упирался, выколупывая останки файлов хексэдитором. Да, некоторые файлы могут быть испорчены. Хорошо если ФС или fsck их как-то пометит как таковые. Но выцепить то что осталось с тома проще всего когда он примонтирован, копированием. Для этого том должен быть доведен до моунтабельного состояния. Утилитой-чекером.

> Правда что ли? Неужели пробовал восстанавливать RAID из состояния FAULTED, чтобы это
> говорить? На mdraid это вообще бессмысленно.

Пробовал и могу сказать что это та еще лотерея. Более того - иногда RAID может так "восстановить" данные что потом вообще костей не соберешь. Кстати, а расскажи, как мне RAID в ноуте забабахать, если там чисто физически место для 1 HDD и более нишиша?

>> А почему RAID должен помогать в починке метаданных ФС?
> А почему нет, если он интегрирован с ФС?

Да хотя-бы потому что RAIDить может быть и некуда. Ну понятное дело что ZFS не ориентирован на мелкие инсталляции "перец с ноутом", все что они смогут сказать - "сам дурак". А вот btrfs очень даже ориентирован на такое применение. Поэтому там не катит говорить "сам дурак". Там чинить придется, а потребовать пять дисков для рэйда - не катит.

> Конечно не панацея. Все привыкли к "обыденности", задаваемой "линуксовой братией". :))

Просто btrfs рассчитан на немного более широкие сценарии, в частности и на ноуты там всякие, где разместить многодисковый рэйд попросту негде. Так что неизбежно придется отколупывать юзверям их диски из весьма неприглядного состояния и скорее всего не имея зеркальной копии всех метаданных.

> Почему свою? Это ваша тупость, данная вам в ощущениях.

Мои ощущения говорят мне что мой ноут с 1 диском как-то сложно сделать осмысленным RAIDом.

Ответить | Правка | Наверх | Cообщить модератору

213. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от iZEN (ok), 26-Июн-11, 00:44 
>> Опять двадцать пять. Начинай сначала.
> Ну так я не виноват что ты тугой и до тебя медленно
> доходит: вполне возможна ситуация, когда диск был 1, на нем хаотично
> вылезли бэды например. Это типичный десктопно-ноутбучный юзер. Все что сможет ФС
> - констатировать bad checksum. А восстановить это - не сможет.

Наконец-то дошло! Ты делаешь успехи. А теперь прочти, что я написал РАНЕЕ про "zpool scrub poolname", что в результате его работы мы имеем. Не трудись: список повреждённых файлов с полными путями. Для вашего fsck, запускаемого по дефолту как "fsck -y", возможна только файло-помойка в каталоге /lost+found.

> И
> хорошо бы юзеру собрать то что от тома осталось и отрепайрить
> до моунтабельного состояния, чтобы он не упирался, выколупывая останки файлов хексэдитором.

Дело в том, что scrub обозначает повреждённые файлы и одновременно производит очистку ФС. И ФС после его работы считается де-факто в консистентном состоянии (свойство CoW + очистка scrub). Выколупывать какие-то ошмётки после scrub, конечно можно, они будут либо полностью отсутствовать, либо находиться по тем же путям, что и ранее имевшиеся файлы, даже имена файлов будут те же, но это уже будут не "те данные" — доставай из бэкапов, чуда не будет.
---
Для сведения к минимуму риска повреждения данных в ZFS применяется расчет контрольной суммы, обеспечение избыточности данных и их самовосстановление. Тем не менее, повреждение данных может происходить в том случае, если пул не является избыточным, при повреждении во время нахождения пула в состоянии DEGRADED или в результате ряда маловероятных событий, приводящих к повреждению нескольких копий фрагмента данных. Вне зависимости от причины, результат одинаков: данные повреждены и, следовательно, недоступны. Предпринимаемое действие зависит от типа поврежденных данных и их относительной значимости. Возможно повреждение двух основных типов данных:

* Метаданные пула – ZFS требует некоторых данных для открытия пула и обращения к наборам данных. При повреждении этих данных весь пул или целые ветви иерархии набора данных становятся недоступными.

* Данные объектов – в этом случае повреждение происходит в рамках определенного файла или каталога. Эта проблема может привести к тому, что часть файла или каталога становится недоступной, или объект может оказаться полностью неработоспособным.

Данные проверяются в нормальном режиме работы, а также в процессе очистки.
---

Всё равно: в случае с ZFS у нас на руках список повреждённых/отсутствующих файлов ("zpool status -v"), а вслучае fsck —  сваленные в кучу "какие-то" ошмётки неизвестно чего в /lost+found. Вот и догадайся в последнем случае, что это было и что именно нужно восстановить.

> Да, некоторые файлы могут быть испорчены. Хорошо если ФС или fsck
> их как-то пометит как таковые. Но выцепить то что осталось с
> тома проще всего когда он примонтирован, копированием. Для этого том должен
> быть доведен до моунтабельного состояния. Утилитой-чекером.

Ещё раз: "zpool import -F poolname" — импортирует полностью убитый (FAULTED) пул, если есть хоть малейшая надежда хоть что-то с него выцепить. fsck традиционных ФС в таких же случаях ничего не может предпринять кроме разрушения пользовательских данных ради приведения в порядок структуры ФС.

> Кстати, а расскажи, как мне RAID в ноуте забабахать, если там чисто физически место для 1 HDD и более нишиша?

В некоторых ноутбуках от SONY есть место для двух 2,5" HDD. Сам подумай, как можно сделать из них mirror.
В обычных ноутбуках, как правило, место только для одного HDD/SSD. Тут уж не до избыточности, а вот верифицируемость данных важна, особенно на ненадёжных MLC SSD.

>>> А почему RAID должен помогать в починке метаданных ФС?
>> А почему нет, если он интегрирован с ФС?
> Да хотя-бы потому что RAIDить может быть и некуда. Ну понятное дело
> что ZFS не ориентирован на мелкие инсталляции "перец с ноутом", все
> что они смогут сказать - "сам дурак".

В настоящий момент я бы не отказался от ZFS на ноутбуке, у которого минимум 4 ГБ ОЗУ и процессор уровня двухъядерного AMD Athlon II 2 ГГц. Всё, что не слабее этой аппартаной конфигурации, должно довольствоваться UFS2 с Soft Updates или NTFS, но никак не динуксовыми ФС, теряющими данные на ровном месте.

> А вот btrfs очень
> даже ориентирован на такое применение. Поэтому там не катит говорить "сам
> дурак". Там чинить придется, а потребовать пять дисков для рэйда -
> не катит.

Btrfs для высоких уровней RAID использует средства mdadm. До сих пор нет поддержки нативной реализации RAID-5. Только недавно в GRUB2 обеспечили возможность загрузки с Btrfs. Что ещё можно обсуждать?

>> Конечно не панацея. Все привыкли к "обыденности", задаваемой "линуксовой братией". :))
> Просто btrfs рассчитан на немного более широкие сценарии, в частности и на
> ноуты там всякие, где разместить многодисковый рэйд попросту негде. Так что
> неизбежно придется отколупывать юзверям их диски из весьма неприглядного состояния и
> скорее всего не имея зеркальной копии всех метаданных.
>> Почему свою? Это ваша тупость, данная вам в ощущениях.
> Мои ощущения говорят мне что мой ноут с 1 диском как-то сложно сделать осмысленным RAIDом.

Вперёд, читать про восстановление ZFS после сбоев: http://download.oracle.com/docs/cd/E19253-01/820-0836/gavwg/...

Ответить | Правка | Наверх | Cообщить модератору

220. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Michael Shigorinemail (ok), 26-Июн-11, 21:40 
> Правда что ли? Неужели пробовал восстанавливать RAID из состояния FAULTED,
> чтобы это говорить?

Я -- да.

> На mdraid это вообще бессмысленно.

А Вы заканчивайте всё-таки свои чушебравады.  _Это_ как раз точно бессмысленно.

Ответить | Правка | К родителю #202 | Наверх | Cообщить модератору

234. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от ананим (?), 27-Июн-11, 08:23 
прежде чем что-то там восстанавливать пусть вначале на ней ПО нормально работать начнёт.
А то для примеру тот-же нжинкс до сих пор рекомендует её только для экстремалов.
В отличие от кстати.
Ответить | Правка | К родителю #202 | Наверх | Cообщить модератору

188. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 24-Июн-11, 23:01 
Включаешь либо избыточность по копиям параметром FS, либо делаешь зеркалирование одной командой. Законы сохранения и мануалы для тебя не писаны? Веришь в Деда Мороза?
Ответить | Правка | К родителю #89 | Наверх | Cообщить модератору

209. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 23:09 
> Включаешь либо избыточность по копиям параметром FS, либо делаешь зеркалирование одной
> командой.

И какой командой мне сделать чтобы на моем ноуте у меня зазеркалировались все данные+метаданные? Это что-то из разряда магии? :)

Ответить | Правка | Наверх | Cообщить модератору

223. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Мяут (ok), 27-Июн-11, 01:49 
# zfs set copies=2 tank
Делает две копии данных и защищает от бедов
Ответить | Правка | Наверх | Cообщить модератору

112. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от anonymous (??), 23-Июн-11, 23:49 
> Правда, не похоже на унылый fsck традиционных ФС? ;)

конечно, не похоже: унылые fsck традиционных ФС ещё и восстанавливать данные умеют. а проверку чексум написать — дело нехитрое.

Ответить | Правка | К родителю #86 | Наверх | Cообщить модератору

119. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  –1 +/
Сообщение от iZEN (ok), 24-Июн-11, 00:50 
>> Правда, не похоже на унылый fsck традиционных ФС? ;)
> конечно, не похоже: унылые fsck традиционных ФС ещё и восстанавливать данные умеют.

Ага — cкладывать горкой в .lost-found неназванный мусор. :))

> а проверку чексум написать — дело нехитрое.

Чего ж до сих пор не написали, чтобы fsck для традиционной ФС выводил полный список повреждённых файлов, а не молчком складировал "чего-то найденное, опознанное как файлы" в .lost-found?


Ответить | Правка | Наверх | Cообщить модератору

199. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +1 +/
Сообщение от Аноним (-), 25-Июн-11, 13:37 
> Ага — cкладывать горкой в .lost-found неназванный мусор. :))

Проблема лишь в том что если все настолько плохо, том скорее всего совсем не смонтируется или не протянет долго будучи примонтированным, так что без fsck в той же ситуации ты сам будешь этот мусор еще и собирать хексэдитором со всех закоулков диска, лично парся дисковые структуры. Что и можно понаблюдать где-то типа http://www.lissyara.su/articles/freebsd/file_system/zfs_reco.../ - это еще повезло, все было легко и очевидно. Могло быть гораздо хуже, как то бэд где-то посередине диска.

> Чего ж до сих пор не написали, чтобы fsck для традиционной ФС
> выводил полный список повреждённых файлов, а не молчком складировал "чего-то найденное,
> опознанное как файлы" в .lost-found?

Наверное, потому что удалось опознать нечто как похожее на файл, но не удалось понять кому оно принадлежало? Или ты как наивный чукотский юноша думаешь, что в lost+found файлы складывают чтобы пользователю насолить? :)

Ответить | Правка | Наверх | Cообщить модератору

174. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 24-Июн-11, 12:50 
> Правда, не похоже на унылый fsck традиционных ФС? ;)

Да уж. Унылый fsck по задумке еще и репайрит порушенные метаданные до более-менее моунтабельного состояния. Чтобы структуры (то что от них уцелело) разбирал бы все-таки драйвер ФС а не юзверь с хексэдитором. Потому что второй вариант "немного" сложнее и медленнее. А у вас я такой задумки не вижу. И что-то мне не нравится перспектива пересобирать 100500 гиговый пул если умерло всего 2 несущественных файла на 5Кб.

Ответить | Правка | К родителю #86 | Наверх | Cообщить модератору

186. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от iZEN (ok), 24-Июн-11, 15:51 
>> Правда, не похоже на унылый fsck традиционных ФС? ;)
> Да уж. Унылый fsck по задумке еще и репайрит порушенные метаданные до
> более-менее моунтабельного состояния. Чтобы структуры (то что от них уцелело) разбирал
> бы все-таки драйвер ФС а не юзверь с хексэдитором. Потому что
> второй вариант "немного" сложнее и медленнее. А у вас я такой
> задумки не вижу.

Увидь: http://compute.cnr.berkeley.edu/cgi-bin/man-cgi?zpool+1
---
zpool import -F poolname

-F

             Recovery mode for a non-importable pool. Attempt  to
             return the pool to an importable state by discarding
             the last few transactions. Not all damaged pools can
             be  recovered  by  using this option. If successful,
             the data from the discarded  transactions  is  irre-
             trievably  lost.  This option is ignored if the pool
             is importable or already imported.

Example 15 Recovering a Faulted ZFS Pool

     If a pool is faulted but recoverable, a  message  indicating
     this  state  is  provided  by  zpool  status if the pool was
     cached (see cachefile above), or as part of the error output
     from a failed zpool import of the pool.

     Recover a cached pool with the zpool clear command:

       # zpool clear -F data
       Pool data returned to its state as of Tue Sep 08 13:23:35 2009.
       Discarded approximately 29 seconds of transactions.

     If the pool configuration was not cached, use  zpool  import
     with the recovery mode flag:

       # zpool import -F data
       Pool data returned to its state as of Tue Sep 08 13:23:35 2009.
       Discarded approximately 29 seconds of transactions.
---

Ответить | Правка | Наверх | Cообщить модератору

200. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 13:42 
И что в этой копипасте предлагается увидеть? То что реализован аж целый один метод рекавери для целой одной ситуации когда что-то пошло не так в самых последних транзакциях? Дык это не аналог fsck, это костылик для одной конкретной ситуации. Те же бэдсектора вовсе не давали обязательств попадать только в последние транзакции, а не куда-то в середину. А откатывать полтома в вид каким оно было 2 месяца назад - как-то уже не то.
Ответить | Правка | Наверх | Cообщить модератору

201. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  –1 +/
Сообщение от iZEN (ok), 25-Июн-11, 17:16 
> И что в этой копипасте предлагается увидеть? То что реализован аж целый
> один метод рекавери для целой одной ситуации когда что-то пошло не
> так в самых последних транзакциях?

Не поможет — zdb в зубы и вперёд.

Ответить | Правка | Наверх | Cообщить модератору

210. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Аноним (-), 25-Июн-11, 23:13 
> Не поможет — zdb в зубы и вперёд.

Лучше уж fsck, имхо. Он большую часть типовых проблем чинит автоматически, а там где это невозможно - запрашивает пользователя что ему сделать.  

Ответить | Правка | Наверх | Cообщить модератору

215. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от iZEN (ok), 26-Июн-11, 07:58 
> запрашивает пользователя что ему сделать.

У него вопрос один: "Чинить или не чинить?" — и то, файловую систему, а не файлы (файлы ему как-то похеру).

Ответить | Правка | Наверх | Cообщить модератору

238. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Anon Y Mous (?), 27-Июн-11, 17:20 
>> Не поможет — zdb в зубы и вперёд.
> Лучше уж fsck, имхо. Он большую часть типовых проблем чинит автоматически, а

Список типовых проблем, которые btrfsck чинит можно в студию? А то как бы не оказалось, что все что он делает - это аналог 'zpool import -F'..

> там где это невозможно - запрашивает пользователя что ему сделать.

Ну-ну - вы уж определитесь, толи fsck для пользователя, толи пользователь для fsck :)

Ответить | Правка | К родителю #210 | Наверх | Cообщить модератору

150. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  –1 +/
Сообщение от Anon Y Mous (?), 24-Июн-11, 09:29 
> А у btrfs он пока попросту бесполезный т.к. сырой еще напрочь - его только сделали.

Да-да, ZFS нет никакой zfsc, а у btrfs есть. А то, что этот чинящий что-то там btrfsck никто еще толком не видел, и что он там умеет чинить никто не знает - это фигня, главное команда такая есть :)

У btrfs был шанс - ровно до тех пор, пока не начали делать fsck. Теперь вместо тестирования файловой системы чуваки занимаются тестированием fsck: https://fedorahosted.org/fesco/ticket/594#comment:2

> Recovery strategy - A fsck tool is almost ready, part of the reason it is taking so long is it is being very well
> tested, so when it does ship it will have been run through several hundred broken fs's to make sure it works
> properly.

Теперь ее участь - корневая ФС на крохотных раздельчиках, не более :)

Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

175. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +1 +/
Сообщение от Аноним (-), 24-Июн-11, 12:53 
> что он там умеет чинить никто не знает - это фигня,
> главное команда такая есть :)

Ну так научат, фигли. Быстро только языком на форуме тарахтеть.

> У btrfs был шанс - ровно до тех пор, пока не начали делать fsck.

До тех пор никто ее на серверах и десктопах всерьез рассматривать даже не стал бы.

> Теперь вместо тестирования файловой системы чуваки занимаются тестированием
> fsck: https://fedorahosted.org/fesco/ticket/594#comment:2

Жирно слишком. Ченжлоги к кернелу не подтверждают ваш тезис. А fsck тоже тестировать надо - мы хотим возможность отремонтировать ФС даже если оно все-таки каким-то чудом навернется.

> Теперь ее участь - корневая ФС на крохотных раздельчиках, не более :)

Я бы сказал, "она будет работать в том числе и на крохотных раздельчиках". Спасибо Шишкину и Ко..

Ответить | Правка | Наверх | Cообщить модератору

236. "Изучение изменения размера кодовой базы Ext4, Btrfs и XFS"  +/
Сообщение от Anon Y Mous (?), 27-Июн-11, 15:56 
> До тех пор никто ее на серверах и десктопах всерьез рассматривать даже не стал бы.

Странно. Мне вот  вот все равно, есть fsck или нет, ибо ее наличие дает разве что возможность бездарно потерять еще кучу времени с непредсказуемым результатом, вместо того начать восстанавливаться из бэкапа.

Вот отсутствие аналога ztest для btrfs - это гораздо хуже. Хотя может я отстал от жизни и аналог таки уже есть.

> Жирно слишком. Ченжлоги к кернелу не подтверждают ваш тезис.

Жирно слишком у тебя в черепной коробке, все мозги жиром заплыли :)

>> Теперь ее участь - корневая ФС на крохотных раздельчиках, не более :)
> Я бы сказал, "она будет работать в том числе и на крохотных раздельчиках". Спасибо Шишкину и Ко..

Речь о том, что для ФС размером в сотни терабайт и больше время fsck становится неприлично большим, так что есть она или нет - не так важно. Важно то, что вместо нормального тестирования самой ФС ребята занимаются ерундой и тестируют fsck. А наличие fsck развращает - всегда есть воcпользоваться fsck чтобы "восстановить хоть что-то", вместо того, чтобы разобраться, что же собственно не так. И при ее наличии устоять против этого соблазна будет ой как непросто. Поэтому я и говорю, у btrfs  был шанс стать системой для ФС любых объемов - от крохотных до огромных. А так остаются только крохотные, где fsck сможет отработать за разумное время, да и там, как показал Шишкин, есть проблемы :)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру