The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"В ядро Linux 6.2 войдут улучшения RAID5/6 в Btrfs"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"В ядро Linux 6.2 войдут улучшения RAID5/6 в Btrfs"  +/
Сообщение от opennews (??), 18-Дек-22, 20:34 
Для включения ядро Linux 6.2 предложены улучшения Btrfs, касающиеся исправления проблемы "write hole" в реализации RAID 5/6. Суть проблемы сводится к тому, что если крах случился во время записи, изначально невозможно понять какой блок на каком из устройств RAID записался корректно, а в каком запись не была завершена. В случае попытки восстановления RAID в подобной ситуации может произойти разрушение блоков, соответствующих недозаписанным блокам, поскольку состояние блоков RAID рассинхронизиорвано. Эта проблема возникает в любых массивах RAID1/5/6, где не принято специальных мер для борьбы с подобным эффектом...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58352

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от zog (??), 18-Дек-22, 20:34   +8 +/
Скажите, а Btrfs уже готова для продакшена и для десктопа?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #4, #13, #15, #24, #27, #30, #38, #59, #96, #120, #154

2. Сообщение от Аноним (2), 18-Дек-22, 20:34   +2 +/
А на самом деле:
- fix destructive RMW for raid5 data (raid6 still needs work)

Т.е. великим трудом поправлен один частный случай да и то для raid5.

Дополнительно можно отметить рекомендации по использованию RAID5/6 от разработчиков, суть которых сводится к тому, что использовать btrfs не рекомендуется там, где данные имеют ненулевую ценность.

Поправил, не благодарите.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17, #77, #82

3. Сообщение от Kuromi (ok), 18-Дек-22, 20:41   –1 +/
"Также можно отметить, что для SSD в Btrfs в ядре 6.2 будет активировано по умолчанию асинхронное выполнение операции "discard" (пометка освобождённых блоков, которые уже можно не хранить физически). Достоинством этого режима является высокая производительность из-за эффективной группировки операций "discard" в очереди и далее обработки очереди фоновым обработчиком, из-за чего нормальные операции ФС не замедляются, как в случае с синхронным "discard" по мере освобождения блоков, а SSD может принимать более удачные решения."

Целиком срисовано с F2FS, там именно так оно и работает.

Ответить | Правка | Наверх | Cообщить модератору

4. Сообщение от Аноним (4), 18-Дек-22, 20:44   +8 +/
У меня часто сыпиться на внешних устройствах, которые я выдерагиваю после записи. Теперь я делаю sync до выдергивания флешки и вроде они перестали глючить. Для встроенных дисков - проблем небыло уже пол года, возможно они были связаны с btrfs-convert (там были фиксы). Вообщем я бы не назвал ее 100% надежной.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #16, #33, #101, #113, #176

5. Сообщение от Аноним (5), 18-Дек-22, 20:45   +2 +/
Мне кажется я скорее ZFS в ядре дождусь, чем BTRFS станет продакшн реди
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #9, #10, #14, #50, #102

6. Сообщение от Alladin (?), 18-Дек-22, 20:54   +1 +/
discard не работает на многих ssd самсунга, зря активировали.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #12, #124, #184

7. Сообщение от Аноним (7), 18-Дек-22, 20:54   –2 +/
Спасибо, но я лучше reiser5 подожду.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20

9. Сообщение от Аноним (9), 18-Дек-22, 20:54   –1 +/
Я использую btrfs на системном ссд с данными, всё норм. Мне нужны сжатие текстовых данных и дедупликация, что в ext4 не удобно так это необходимость регулярно прогонять hardlink и отсутствие сжатия. Зачем тебе btrfs, mdadm не хватит?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #11, #75, #81

10. Сообщение от Аноним (11), 18-Дек-22, 20:55   +2 +/
zfs модулем отлично работает
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

11. Сообщение от Аноним (11), 18-Дек-22, 20:58   +1 +/
хватит конечно! вы бы еще бекапы не компашки предложили
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

12. Сообщение от Аноним (9), 18-Дек-22, 21:00   –7 +/
Проблема дешёвых ссд. в следующий раз не будешь вестись на рекламу и проплаченные отзывы и возьмёшь качественные adata (поспеши пока островной китай на плаву).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #58

13. Сообщение от Ананимист (?), 18-Дек-22, 21:13   +/
На этот нелепый вопрос давно ответила Fedora, openSUSE, SUSE и Oracle.
Спойлер : давно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #19

14. Сообщение от Ананимист (?), 18-Дек-22, 21:15   +1 +/
> BTRFS не продакш реди
> Oracle, SUSE, openSUSE : ну да, ну да, пошли мы нафiг
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

15. Сообщение от Аноним (15), 18-Дек-22, 21:17   +/
Нет
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

16. Сообщение от Ананимист (?), 18-Дек-22, 21:17   –17 +/
100 пудов юзается что-то архаичное. BTRFS уже давно считается стабильной фс. И если какие-то с ней проблемы, то время грешить на аппаратуру/дистр.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #47, #125

17. Сообщение от Аноним (15), 18-Дек-22, 21:18   +3 +/
Да скорость внедрения фич уровня раст.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

18. Сообщение от ma3x one (?), 18-Дек-22, 21:18   +/
> Скажите, а Btrfs уже готова для продакшена и для десктопа?

openSUSE Leap 15.x:

Коневой раздел - Btrfs
Домашний раздел - Xfs

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #21, #39, #69

19. Сообщение от An onymous (?), 18-Дек-22, 21:18   –1 +/
А красная шляпа что ответила?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #22, #36, #199

20. Сообщение от Аноним (15), 18-Дек-22, 21:19   +3 +/
Его не будет. Ты как те психи, который ждали автобус на остановке где автобусы не останавливаются.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #29

21. Сообщение от Аноним (15), 18-Дек-22, 21:19   –3 +/
Суся это экспериментальный дистр. Никто суши даже платные на боевой сервер ставить не будет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #23, #32

22. Сообщение от Ананимист (?), 18-Дек-22, 21:20   +/
Послали нафiг, сказав, что у нас есть свои велосипеды.
Ну вот теперь в своих Stratisах реализуют то, что уже давно готово в BTRFS.

А на самом деле, они бы уже сейчас перешли.
Но, признаются, что тупо нет спроса у клиентов. На их сабреддите можешь почитать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #37

23. Сообщение от Ананимист (?), 18-Дек-22, 21:21   –2 +/
Рекомендую иногда выбираться в Европу, а не сидеть на диване где-то в Ростове.
Очень много стереотипов развеются.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #28, #44, #56, #72

24. Сообщение от НяшМяш (ok), 18-Дек-22, 21:23   +/
Второй SSD на 2TB у меня на ней полгода крутится. Но там всего лишь файлопомойка да каталог стима. Другой SSD с корнем и хомяком пока страшно переводить )
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #52, #114

27. Сообщение от DEF (?), 18-Дек-22, 21:42   +/
Юзаю 7 лет, не потерял ни одного бита. Надо курить мануалы и следовать рекомендациям.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #70

28. Сообщение от Аноним (7), 18-Дек-22, 21:43   –1 +/
> Очень много стереотипов развеются.

Давно уже.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #45

29. Сообщение от Аноним (7), 18-Дек-22, 21:44   –2 +/
Я тебе не верю.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #41

30. Сообщение от SubGun (ok), 18-Дек-22, 21:48   –1 +/
Ну, у меня регулярно(1-2 раза в год) с ней проблемы. Но может я его готовить не умею?!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #34, #94

31. Сообщение от pavlinux (ok), 18-Дек-22, 21:48   –1 +/
BTRFS это отладочная версия с халявным кодом, для тестирования алгоритмов ZFS.

Ответить | Правка | Наверх | Cообщить модератору

32. Сообщение от pavlinux (ok), 18-Дек-22, 21:50   +/
> Никто суши даже платные на боевой сервер ставить не будет.

В ИТ отделе лондонской бирже сидят д0л6oящеры, не слушали омнонимов с опеннета?

https://www.cnews.ru/news/line/londonskaya_birzha_zavershila...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #43

33. Сообщение от Аноним (33), 18-Дек-22, 21:54   –1 +/
В линуксе даже фат 32 портится если не размонтировать.
А в sync режиме тормозит.
Нет какого-то среднего режима как в винде.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #61, #67, #150

34. Сообщение от Олег (??), 18-Дек-22, 21:54   +1 +/
Ёжики кололись, плакали, но продолжали жрать кактус
Непонятно зачем, когда zfs есть
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #80

36. Сообщение от DEF (?), 18-Дек-22, 21:57   +/
>А красная шляпа что ответила?

Тебе написали: Fedora.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #200

37. Сообщение от penetrator (?), 18-Дек-22, 21:57   +/
я бы хотел BTRFS в шапке, а еще чтобы они кеды вернули и LXQt

но я не плачу за шапку, я пользуюсь клонами

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #42

38. Сообщение от penetrator (?), 18-Дек-22, 21:59   –1 +/
у меня есть большой массив, чексумы на данные - это киллер фича, уже нашел 2 битых файла за несколько лет эксплуатации (глюканул рейд контроллер), восстановил их из архивов
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

39. Сообщение от penetrator (?), 18-Дек-22, 22:02   –1 +/
зачем такой изврат? сюся нормально полностью крутится на бтрфс
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

41. Сообщение от Аноним (15), 18-Дек-22, 22:03   +1 +/
Поверь в Анонима как в самого себя. Главная заповедь опеннета.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #103

42. Сообщение от Ананимист (?), 18-Дек-22, 22:05   +/
Вряд ли будет. Как кеды, так и другое.
А если всё такое надо, лучше юзать Fedora.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #98, #145

43. Сообщение от Аноним (15), 18-Дек-22, 22:06   –1 +/
Новости 33 миллиона лет ты так жестко рофлишь над самим собой?  И то в те времена то что менеджеры получили больше откатов конкретно в этой фирме говорит ровно ни о чём.  

После этого никто, подчеркиваю никто из тех кто дружит с головой ни в какие серьёзные вещи суши не пихал.  

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #48

44. Сообщение от Аноним (15), 18-Дек-22, 22:07   –2 +/
Чтобы убедить что суши никто не использует? Ты бы сам сначала для начала выбрался из своего манямирка.  
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #46

45. Сообщение от Ананимист (?), 18-Дек-22, 22:08   –1 +/
Не, или starздишь, или мало гуляешь.
Нужно больше.

openSUSE и в госпиталях юзают (у них на сайте есть инфа, не падай ток в обморок).
И в учебных заведениях (можешь погуглить, только держи себя в руках).

Давай, как погуляешь, дай знать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28

46. Сообщение от Ананимист (?), 18-Дек-22, 22:09   +/
https://www.opennet.ru/openforum/vsluhforumID3/129298.html#45
+ залети в метрику к ним и узри, сколько активных качалок с их серваков за ноябрь.
Упадёшь с дивана, уверяю.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44 Ответы: #54

47. Сообщение от Аноним (4), 18-Дек-22, 22:10   +8 +/
У меня глючила очень долго. Сейчас последние полгода-год нормально работает - никаких крешей. Но похоже все равно еще дыры есть. Например если записать 20 гигов на флешку и размнотировать - она размнотируется мгновенно. И если выдернуть - она может не просто потерять новые файлы, а сломаться полностью. Вообщем есть какие-то косяки.

1) Кроме того btrfs  не поддерживает badblocks. 2) Нужно запускать 'btrfs balance start -dusage=90 /' раз в неделю. 3) grub-32 не грузится со сжатой файловой системы. 4) нет поддержки zerofree, что очень плохо когда архивируешь или используешь виртуалку 5) нет хорошей поддержки fsck. у меня много раз было когда btrfs fsck проходит - а файловая система не грузиться или валиться. 6) плохая поддержка для deduping

Вообщем не 100%

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #68, #126

48. Сообщение от pavlinux (ok), 18-Дек-22, 22:13   +/
> жестко рофлишь

Йопт, малолетнее дебилушко. иди гугле HPE GreenLake, Kubernetes

И свои высеры про "откаты" и "никто" ссылками подтверждай. А то выглядишь де6илом

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #53

50. Сообщение от Анонус (?), 18-Дек-22, 22:30   +/
А чего не bcachefs? По слухам оно почти готово.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

52. Сообщение от держи (?), 18-Дек-22, 22:37   –2 +/
держи нас в курсе, и бойся дальше
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

53. Сообщение от Аноним (15), 18-Дек-22, 22:44   +/
Йопт, старый маразматушка. Нет там никакого суши забудь. Суши есть у мелких отщипенцев типа тебя, с ограниченными умственными способностями. Твои нелепые попытки гуглить это просто смех. Ты смешном по жизни.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

54. Сообщение от Аноним (15), 18-Дек-22, 22:45   –3 +/
Опять ссылку на свой манямирок дал? Ты мозгов вообще обучен пользоваться? Тебе явно к психиатору прими таблетки.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

56. Сообщение от Аноним (56), 18-Дек-22, 22:49   +4 +/
А Ростов, что, не в Европе?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

58. Сообщение от Аноним (15), 18-Дек-22, 22:53   +3 +/
Адата и есть дешевый ссд.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #60

59. Сообщение от eugener (ok), 18-Дек-22, 23:10   +/
У меня на работе произошла забавная история.
Как-то я прочёл эту статью - https://habr.com/ru/post/559014/ - там про болячку btrfs с исчерпанием свободного места на диске.
Буквально через неделю коллега жалуется что у него убунта не грузится. Говорит что нет места на /. Я такой "а там у тебя случайно не btrfs??" - коллега "ага, оно самое".
Посмотрел, действительно, занято всего ничего - а свободного места ноль. Никакие команды не отрабатывают, в том числе и rm и fsck, ругаются что "недостаточно свободного места, действие не может быть завершено" - что-то в этом роде.
Мне было интересно можно ли оживить, но коллега просто форматнул / и переставил убунту, благо /home был отдельным разделом.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #78, #83

60. Сообщение от Аноним (9), 18-Дек-22, 23:17   +/
Да, сарказм был силён. Но, при этом он собирается на нормальном контроллере и поддерживает discard.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58 Ответы: #89

61. Сообщение от FlashUser (?), 18-Дек-22, 23:27   +/
Как-раз таки средний режим есть: dirsync
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

62. Сообщение от Kirikekeksemail (ok), 18-Дек-22, 23:31   +/
Упрощаете товащи!
Здесь про рэйд5 новость. Использовать саму btrfs можно, кому нужно. А вот райд5 btrfs - кому нужно? Я бы послушал. Вот lvm к примеру срачей отмены ни у кого не вызывает, а хоть кто-то, ну то нибудь пользуется lvm raid5?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #169

64. Сообщение от Аноним (64), 19-Дек-22, 00:17   +3 +/
Вообщем понятно, с такими детскими проблемами на btrfs в ближайшие 10 лет смотреть не стоит
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #92, #104

67. Сообщение от Аноним (68), 19-Дек-22, 00:55   +1 +/
Есть, просто надо ставить dirty_bytes/ratio поменьше
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

68. Сообщение от Аноним (68), 19-Дек-22, 00:56   +/
> balance

Пользоваться фс которая посыпется если не сделать во время балансинг это как сидеть на пороховой бочке. Возможно конечно она уже не сыпется от этого с тех пор как я последний раз её пробовал (и поскользнулся именно на этом), но учитывая что речь идет о самой штабильной фс (тм) я бы не стал на это надеяться

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #167, #116, #134

69. Сообщение от Аноним (68), 19-Дек-22, 00:59   +/
Там (в зюзе) уже сто лет дефолты такие, они были еще когда бтрфс сыпалась во много раз чаще чем сейчас, так что это нулевой аргумент
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

70. Сообщение от Аноним (68), 19-Дек-22, 01:16   +5 +/
Zfs как-то умудряется работать без рекомендаций: поставил и поехал, ничего не сыпется. А с этим чудом нужно обращаться как с фарфоровой куклой
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #79, #123, #129

71. Сообщение от YetAnotherOnanym (ok), 19-Дек-22, 01:58   +1 +/
> блок чётности можно воссоздать из данных

Хммм... в самом деле... Зачем его вообще хранить, действительно?

Ответить | Правка | Наверх | Cообщить модератору

72. Сообщение от YetAnotherOnanym (ok), 19-Дек-22, 02:06   +/
> Рекомендую иногда выбираться в Европу

Пффф... тоже мне, эталон.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #74

74. Сообщение от Прохожий (??), 19-Дек-22, 03:24   +/
Ну конечно, куда какой-то Европе до Г-нодонска или Задрыщинска из российской глубинки.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72 Ответы: #111

75. Сообщение от V1 (ok), 19-Дек-22, 03:26   +1 +/
Используешь btrfs, а не удобна ext4?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #86

77. Сообщение от Андрейemail (??), 19-Дек-22, 03:56   +/
А чего это благо что хоум на отдельном разделе? Я не использую хоум вообще для хранения чего либо, там у меня только конфиги и всё которые скопированы дополнительно в другое место, поэтому хоум никогда не делаю отдельно, а для помойки использую том примонтированый в медиа
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

78. Сообщение от Самый умный из вас (?), 19-Дек-22, 04:13   +2 +/
Эдик, ты зачем под чужим акком комментишь?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #59

79. Сообщение от EULA (?), 19-Дек-22, 05:22   –2 +/
Умудряется работать ровно до обновления ядра. Потом нужно ждать от трех дней до недели, чтобы вначале в апстриме сделали возможной сборку модуля для нового ядра, затем в дистрибутиве ждать обновлений.
На LQO насчитали более 50 случаев, когда бэкпорт патчей из нового ядра ломал возможность сборки или функционирования модуля ZFS в старом ядре.
Именно поэтому ZFS нельзя для проды использовать
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70 Ответы: #90, #99

80. Сообщение от EULA (?), 19-Дек-22, 05:25   +/
Ежики, которые не в курсе, что ZFS нет в ядре, и никогда скорее всего, не будет, не знают, что бывает, когда модуль на собирается с новой версией ядра.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #100

81. Сообщение от EULA (?), 19-Дек-22, 05:27   +/
mdadm снапшоты не умеет.
mdadm сжатие не умеет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #88

82. Сообщение от EULA (?), 19-Дек-22, 05:30   –1 +/
Знаю как красиво убить ZFS.
Надо во время записи на диск вызвать ошибку загрузки любого модуля ядра. Например, BT или WIFI.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #122

83. Сообщение от Аноним (83), 19-Дек-22, 05:52   +/
Tarpipe на другой диск, форматнуть и обратно?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #59

85. Сообщение от Аноним (85), 19-Дек-22, 06:25   +/
Btrfs слишком глючно и ненадёжно. Лучше ext4 на сегодня нет, разве что zfs.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #110, #128

86. Сообщение от Аноним (9), 19-Дек-22, 06:47   +/
И?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

88. Сообщение от Аноним (9), 19-Дек-22, 07:00   –1 +/
Сжатие умеет tar. Снапшоты тоже. Именно так бэкапятся изменения за неделю и в конце недели полноценный бэкап. Рейд это не бэкап, ему не нужны снапшоты или сжатие.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #81 Ответы: #97, #109, #165

89. Сообщение от leap42 (ok), 19-Дек-22, 07:01   +/
> ...Но, при этом он собирается на нормальном контроллере...

Ну как нормальным. У меня штук 7-8 ssd было, проблемный был один - Adata XPG. После поверхностного гугления ошибок из dmesg понял, что проблема с контроллером.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60 Ответы: #133

90. Сообщение от rinat85 (ok), 19-Дек-22, 07:18   +1 +/
"Потом нужно ждать от трех дней до недели, чтобы вначале в апстриме сделали возможной сборку модуля для нового ядра" "Именно поэтому ZFS нельзя для проды использовать"

Зато на прод можно ставить btrfs, который даже для загрузочного диска гипервизора не поставить в зеркало из 2х, т.к. он при деградации массива тупо отказывается работать пока не починят, вместо того, чтобы админ получил авто уведомление о проблеме и думал, когда и как ею заняться, а не бежал чинить, т.к. тюкают по голове звонками и чатами пользователи, оставшиеся без возможности работать :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79 Ответы: #93

92. Сообщение от Конь (?), 19-Дек-22, 07:52   +2 +/
10 лет назад было тоже самое. Подождем ещё 2 раза по 10 может взлетит
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64

93. Сообщение от EULA (?), 19-Дек-22, 08:02   –1 +/
Так не надо делать из BTRFS зеркало RAID0.
Ну или не надо ставить GRUB в Legacy на этот же раздел.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90 Ответы: #140

94. Сообщение от Аноним (94), 19-Дек-22, 08:28   +/
Пользую btrfs около 8 лет как основную и намерен продолжать использовать.

Использую её на домашнем ПК/ноутбуке.
Поначалу были факапы примерно раз в год.
Последние пару лет использую нормальное оборудование и последние версии ядра - проблем не было ни одной.

Пользовал btrfs на SMR-дисках при интенсивной записи: да, была СТАБИЛЬНО РЕГУЛЯРНАЯ беда раз в пол года примерно год назад (если игнорить тот факт, что SMR и интенсивная запись несовместимы).


У кого btrfs сыпется регулярно - ищите проблемы либо в аппаратной части, либо в своих навыках пользования имеющимися инструментами.

btrfs - конфетка, золотая середина для локального использования.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #108, #119

96. Сообщение от Аноним (96), 19-Дек-22, 08:50   +/
Фиг знает.
Для десктопа сойдёт.
Для продакшна - зависит от нагрузки. Если много мелкой записи и критичны IOPS - лучше не трогать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

97. Сообщение от i_use_btrfs (ok), 19-Дек-22, 08:52   +/
> Сжатие умеет tar. Снапшоты тоже.

Отлично конечно но в файловой системе недоступно и скорость доступа совсем другая.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88

98. Сообщение от Аноним (98), 19-Дек-22, 09:17   +/
В Альме уже сегодня есть кеды. В Евролинуксе тоже скоро обещали.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

99. Сообщение от Аноним (98), 19-Дек-22, 09:20   +/
Юзою ЗФС на продах ещё с 19-го года. Но в бубунте её модуль идёт сразу с ведром, потому проблем с модулем нет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79 Ответы: #106, #180

100. Сообщение от Аноним (98), 19-Дек-22, 09:22   +/
В бубунце модуль ЗФС идёт вместе с ведром. Чтобы этого добиться, там даже лояры прорабатывали этот вопрос. Полёт нормальный, с 19-20 годов пофиксили кучу багов и гонок c read-locks.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80 Ответы: #107

101. Сообщение от Lost Inside (ok), 19-Дек-22, 09:24   –2 +/
На внешних устройствах лучше держать NTFS или exFAT, для совместимости с.
ИМХО, конечно же.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #118

102. Сообщение от Аноним (98), 19-Дек-22, 09:26   +/
В бубунце модуль ЗФС поставляется в комплекте с ведром. Это вполне себе хороший компромисс.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

103. Сообщение от Аноним (98), 19-Дек-22, 09:28   +/
Это рекурсивная вера.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

104. Сообщение от Аноним (104), 19-Дек-22, 09:43   +1 +/
Ага, по этой логике и sqlite использовать не стоит, нигде и никогда. У неё как были проблемы с множественной записью так и остались.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64

106. Сообщение от EULA (?), 19-Дек-22, 10:02   +/
Поэтому в бубунте ядро в репы добавляют не в день релиза, а в день, когда все модули соберут. Иногда на это уходит неделя, если модульдел неделю думает, как модуль сделать для ядра.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #99

107. Сообщение от EULA (?), 19-Дек-22, 10:06   –1 +/
> В бубунце модуль ЗФС идёт вместе с ведром. Чтобы этого добиться, там
> даже лояры прорабатывали этот вопрос. Полёт нормальный, с 19-20 годов пофиксили
> кучу багов и гонок c read-locks.

Выше уже писал. Попадание свежего ядра в реп из--за этого может на неделю зависнуть.
Несколько версий ядер с бэкпортироваными фичами просто в реп не попали, так как модуль с этими ядрами не собрался.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #100 Ответы: #127

108. Сообщение от EULA (?), 19-Дек-22, 10:09   +1 +/
> У кого btrfs сыпется регулярно - ищите проблемы либо в аппаратной части,
> либо в своих навыках пользования имеющимися инструментами.

Вы просто не пробовали размещать btrfs на умирающих дисках, как это делают все недовольные этой ФС.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94

109. Сообщение от EULA (?), 19-Дек-22, 10:23   –1 +/
> Сжатие умеет tar.

Это когда tar стал уметь сжатие? То, что утилита tar может вызывать внешние утилиты для для сжатия, не означает, что tar умеет сжатие. Не зря многие виндовые ФМ архивов видят вначале архив gzip/bz2/xz/lz/zstd с одним файлом, а потом архив tar.

> Именно так бэкапятся изменения за неделю и в конце недели полноценный бэкап.

Да? А если данные в момент бэкапа активно изменяются, как будете бэкапить без остановки процесса, изменения данных?

> Рейд это не бэкап, ему не нужны снапшоты или сжатие.

Рейд, снапшоты и сжатие - это три вещи, как билет на поезд, сидение и скорость.
И на рейде можно держать раздел с сжатием, на котором можно использовать снапшоты.
Copy-on-Write позволяет избежать случайного повреждения нужных данных.
А сжатие позволит на одном разделе разместить


И как я могу архив tar смонтировать как раздел ФС?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88 Ответы: #132

110. Сообщение от Аноним (110), 19-Дек-22, 10:34   +/
xfs. zfs - такой же комбайн, как и btrfs.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #85

111. Сообщение от YetAnotherOnanym (ok), 19-Дек-22, 11:10   –2 +/
> Ну конечно, куда какой-то Европе до Г-нодонска или Задрыщинска из российской глубинки.

Дооо, уязвил сарказмом, ага. Куда ж нам, сиволапым, до Шайзенштадта и Фартборо - это ж столицы мирового IT, на них равняются в Беркли, Тайбэе, Москве, Токио и вообще во всём мире.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74

112. Сообщение от Аноним (112), 19-Дек-22, 12:27   +/
Какой смысл использовать RAID5/6, когда диски стали большими и дешевыми? Время восстановления после сбойного диска будет куда больше чем у RAID1/10, а по стоимости выйгрыш минимальный.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #121, #136, #157

113. Сообщение от Трианон (ok), 19-Дек-22, 12:53   +2 +/
Т.е., выдергиваешь внешний носитель, не размонтировав ФС на нём, ну ССЗБ. Так-то любая ФС порушится.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #117

114. Сообщение от Вы забыли заполнить поле Name (?), 19-Дек-22, 13:37   +/
Понятно все с тобой: порнушку в хомяке держит.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

116. Сообщение от Аноним (4), 19-Дек-22, 14:07   +/
она не сыпиться - просто заканчивается место и ты не можешь удалить файлы. правда сейчас это исправлено - добавлен reserve в несколько гигов (зарезервированная память, которая использууется исключительно когда заканчивается место). сейчас она более менее. и много полезных и крутых штук.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68 Ответы: #148, #151

117. Сообщение от Аноним (4), 19-Дек-22, 14:08   +/
после размонтированя конечно. посмотри как btrfs себя ведет если залить 20 гигов и размонтировать - она размонтируется мгновенно. похоже какие то журналы еще не записаны на уровне ядра.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #113 Ответы: #149, #177

118. Сообщение от Аноним (4), 19-Дек-22, 14:09   +/
btrfs лучше всего для совместимости. для нее есть хорошие дрова для винды.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101

119. Сообщение от 1 (??), 19-Дек-22, 14:11   +/
> У кого btrfs сыпется регулярно - ищите проблемы . . ., либо в своих навыках пользования имеющимися инструментами.

Это как ? Компилировать ядро только по субботам ? А не в любой момент, когда захотелось ?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94

120. Сообщение от Аноним (131), 19-Дек-22, 14:14   +/
Готова, при наличии бэкапа. Но все равно медленнее zfs, которую можно гибко настроить. Чего не скажешь о btrfs.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

121. Сообщение от Аноним (7), 19-Дек-22, 14:14   +/
Это справедливо лишь по отношению к потребительским накопителям (если говорить об ssd), модели серверного/промышленного класса нифига не стали дешевле.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #112

122. Сообщение от Аноним (131), 19-Дек-22, 14:21   +1 +/
Подобным zfs не убить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #82

123. Сообщение от Заноним (?), 19-Дек-22, 14:28   +1 +/
C ZFS было пару раз (в версии 0.6.x и 0.7.x), не монтировалась/не импортировалась штатно, приходилось импортировать принудительно для восстановления, вникать/искать в то какая там последняя рабочая транзакция, затем с неё сливать в новый пул на другом накопителе. Причём сбойный пул был на двух накопителях в mirror (сбоило на обоих накопителях). Но надо учитывать, что это был ПК без ECC с CPU и RAM в экспериментальном разгоне и сбой на FS возник после кучи ошибок и многократных зависаний системы. Однако если-бы был raidz, возможно восстановление было-бы ещё более заморочным, хотя я вряд-ли с raidz стал-бы сильно разгонять проц и память.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

124. Сообщение от Аноним (131), 19-Дек-22, 14:30   +/
Работает, но не поддерживает корректно queued trim. Этим существенно замедляя операции во время собственно trim'а. fstrim даже лучше discard - после выполнения по расписанию trim'а, не вызывает падение производительности.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #185

125. Сообщение от анон (?), 19-Дек-22, 14:31   –1 +/
Тем временем, у людей zpool в коньках на домашнем пк все чаше встречается. Ага.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

126. Сообщение от crypt (ok), 19-Дек-22, 14:34   +3 +/
тем временем на FreeBSD ZFS используется на корю с перманентными снапшотами.

bectl create BeforeUpdateFromOfficialRepo

обновился, не понравилось

bectl activate BeforeUpdateFromOfficialRepo

перезагрузился и вот он тебе rollback. снапшот никуда не делся. хочешь, можно обратно на апдейты.

как тебе такое илон маск?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

127. Сообщение от Заноним (?), 19-Дек-22, 14:38   +1 +/
Ничего, подождёшь недельку, ухле ныть - оно даже если не обновится, ничего страшного, старое же ядро работает и собранный под него модуль работает же.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107 Ответы: #173

128. Сообщение от Аноним (131), 19-Дек-22, 14:42   +/
Однозначно zfs, если вам нужна btrfs. Минусов два - не в ядре и необходимость в тюнинге.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #85 Ответы: #137

129. Сообщение от DEF (?), 19-Дек-22, 14:47   –1 +/
ZFS сыпется и теряет данные не реже, чем Btrfs. Вообще удивляет, как пипл верит ничем неподтвержденным мифам о супер-надежности ZFS. Где конкретные критерии стабильности и надежности ФС? Я лично более 1000 раз во время записи делал холодный ресет и Btrfs ни разу не рассыпалась.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70 Ответы: #130, #131, #135

130. Сообщение от Заноним (?), 19-Дек-22, 15:03   +1 +/
> ZFS сыпется и теряет данные не реже, чем Btrfs

Вот это миф, т.к. ничем не доказать.

> Вообще удивляет, как пипл верит ничем неподтвержденным мифам о супер-надежности ZFS.

Пипл не верит, пипл разбирается в технических деталях и знает, что сама ZFS не крошится и данные если и потеряются, то лишь нескольких последних параллельных транзакций. И даже без ECC, и даже если выключить ZIL.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #129 Ответы: #181

131. Сообщение от Аноним (131), 19-Дек-22, 15:06   +/
Ресет убивает btrfs только в одном случае - с no barrier. Проблемы с данной фс намного глубже. Можно просто после перезагрузки получить сообщение о ошибках связанных с деревом. Лично я, встречался с этим дважды - разумеется, третьего не будет. Благо, с zfs данных никогда не терял.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #129

132. Сообщение от Аноним (9), 19-Дек-22, 15:23   +/
GNU tar имеет встроенную поддержку для компрессоров и может напрямую их вызывать (даже zstd добавили, хоть и ограничено -- было например не перечислить дополнительные параметры в переменной, как с xz). Ни одна программа на свете не реализует эти алгоритмы сама, это не мешает им уметь в поддержку различных форматов сжатия. И да, твоё "один файл" не проблема, тарбол можно проиндексировать для получения произвольного доступа. Я использовал индексированные gz и есть даже для тарболов сжатых zstd. Что до "смонтировать", то ratarmount это видимо позволяет. Архиватора лучше и универсальнее tar ещё не придумали, зачем могу понадобиться снапшоты я до сих пор не понимаю. Некоторые безграмотные товарищи применяют их как альтернативу бэкапам, но это абсолютно некорректное использование.

Зы
>если данные в момент бэкапа активно изменяются

Конечно, остановить и сделать снапшот может быть на пару секунд быстрее, чем затарить, но что если что-то пойдёт не так из-за вмешательства в метаданные фс, сколько даунтайма это принесёт? Снапшот же изменяющихся данных будет равноценен хардресету и это очень не понравится софту, толку от таких снапшотов? И что будет, когда прошлые полноценные снапшоты без повреждений окажутся удалены и повреждённый окажется единственным в бэкапе? С тарболами всё шанс поиметь проблем ниже и если что-то не так, это можно обнаружить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #109 Ответы: #146, #174

133. Сообщение от Аноним (9), 19-Дек-22, 15:26   +/
У них фишка в том, что они собираются на рандомном контроллере, в лучших китайских традициях.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #89 Ответы: #186

134. Сообщение от Андрей (??), 19-Дек-22, 16:52   +/
2 года использую btrfs как корень с системой, работает. Ломается если я чтото эксперементирую.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

135. Сообщение от Аноним (68), 19-Дек-22, 17:09   +/
Опыт штука такая, бтрфс в моем случае потерял два раздела, а зфс на тех же винтах после (которые я смог собрать в рейд уже без мдадма, вау) - ноль раз. Еще и балансить её не нужно и вообще прикасаться без необходимости, вот это чудеса. Конечно после такого опыта снова трогать бтрфс не хочется, и ничего подтверждать не надо
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #129

136. Сообщение от пох. (?), 19-Дек-22, 17:29   +/
Именно в том что они стали слишком большими (и слишком дешевыми).

Время восстановления после сбоя любимого тобой raid10 тождественно равно нулю.
Потому что он не восстановится с непомерно высокой вероятностью.

Выкрасить и выбросить можно сразу.

А 3way mirror все еще немного дороговат.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #112

137. Сообщение от пох. (?), 19-Дек-22, 17:32   +1 +/
минусов гораздо больше. Начиная от отсутствия средств восстановления, продолжая невозможностью менять конфигурации сложившиеся исторически, и заканчивая все тем же смешным неумением без перезагрузки увеличить существующий раздел (только у л@п4тых, но беда в том что другой zfs для вас у меня уже нет)

Про абсолютно неэффективную работу с памятью уже и не стоит...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #128

138. Сообщение от Аноним (138), 19-Дек-22, 18:52   +4 +/
Ребята, не стоит использовать RAID 5/6. Никогда. Вы молодые, шутливые, вам все легко. Это не то. Это не RAID1 и даже не JBOD. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте, что тут писалось. Я вполне понимаю, что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых – стоп. Остальных просто не найдут.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #139

139. Сообщение от пох. (?), 19-Дек-22, 19:57   –1 +/
программировать, а не использовать. Использовать-то можно, если данные не нужны.

Поправил, не благодари.

А в остальном все верно. Со времен Левенталя не осталось достаточно грамотных людей, способных в эту математику (и одновременно в код, но это неточно).

ВСЕ современные попытки почему-то (мы знаем почему) оборачиваются г-ном.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #138 Ответы: #141

140. Сообщение от rinat85 (ok), 19-Дек-22, 20:57   +/
> Так не надо делать из BTRFS зеркало RAID0.
> Ну или не надо ставить GRUB в Legacy на этот же раздел.

Я написал зеркало, очевидно имея ввиду аналог RAID1, иначе написал бы stripe :) Да, именно на массиве типа зеркало btrfs так себя ведет (год-полтора назад как минимум таковым точно было его поведение согласно дизайну, сам в шоке и не поверил сначала своим глазам:)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

141. Сообщение от Аноним (68), 19-Дек-22, 20:59   –1 +/
> в эту математику

В xor то? Таблетки прими

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #139 Ответы: #142, #143

142. Сообщение от пох. (?), 19-Дек-22, 21:36   +/
угу, в xor. Вот в твоем лин00ps'е - с первого раза - нишмагли, в mdraid.
И его реализация raid6 просто превращала данные в мусор.

Нет, не потому что перепутали байтики в xor. Она вообще не работала. А почему - в твоей, лапоть, церковноприходской школе, тебя не учат не то что понимать, а хотя бы осознать глубину своей безграмотности.

Лет пять назад ситуация повторилась в lizardfs. Там интереснее - там, видимо, именно перепутали, но за пять лет НИКТО не смог исправить. Ну не хватает им тебя, эксперта, чтоб показать, что там не так в ихнем xor.

А тех кто мог бы - Организация видимо убила и съела. Или как Левенталя... уж лучше б - съела.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #141

143. Сообщение от Аноним (96), 19-Дек-22, 22:13   +/
В какой xor?
RAID6 - RS
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #141 Ответы: #144

144. Сообщение от пох. (?), 19-Дек-22, 22:21   +/
Не, ну реализуется-то оно в основном и правда на xor и сдвигах, как любое умножение двоичных  полиномов.
Только местному эксперту (к счастью для него) никогде не разобраться, почему иногда при этом получаются обратно данные, а иногда - фигня какая-то.

А с теми кто могли - всякое странное происходило. Так что да, не советую в этом копаться. Просто не найдут. Или найдут разработчиком в оракле.


Ответить | Правка | Наверх | Cообщить модератору
Родитель: #143 Ответы: #152

145. Сообщение от penetrator (?), 19-Дек-22, 22:52   +/
Fedora не годится для прода, а вот сервер с гуи часто встречается. И вместо LXQt приходится ставить кеды, в Роки есть. Но LXQt нет... и BTRFS тоже к сожалению.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #196

146. Сообщение от Анончик (?), 20-Дек-22, 00:22   +/
>Я использовал индексированные gz и есть даже для тарболов сжатых zstd.

можно по подробно

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #132 Ответы: #147

147. Сообщение от Аноним (9), 20-Дек-22, 02:19   +/
>>Я использовал индексированные gz и есть даже для тарболов сжатых zstd.
> можно по подробно

Такое пойдёт? Что-то вроде того и было https://github.com/devsnd/tarindexer/blob/master/tarindexer.py

Для zstd видимо придётся отказаться от стандартных утилит в пользу https://github.com/martinellimarco/t2sz/ из-за проблем с навигацией.

Упомянутый ratarmount всё это умеет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #146

148. Сообщение от Аноним (148), 20-Дек-22, 05:38   +/
Каким дистрибутивом ты пользуешся ?
У меня ВСЕ кроме boot на 3 машинах на btrfs. И флешки в том числе. Ща ежедневно еще и свет гаснет, никаких проблем. Вообще никаких. Ubuntu LTS 22.04.
До убунты пользовался gentoo сидел на LTS ядре. Все так же никаких проблем.
И нет я НЕ делал btrfs balance как устаномил систему (9 месяцев).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #116

149. Сообщение от Аноним (148), 20-Дек-22, 05:40   +/
Это зависит от параметра ядра.

добавь это в /etc/sysctl.conf

#let only 64 mb of pages in ram before writing to disk on background
vm.dirty_bytes = 67108864
#let only 256 mb of pages in ram before blocking i/o to write to disk
vm.dirty_background_bytes = 268435456

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #117 Ответы: #178

150. Сообщение от Аноним (148), 20-Дек-22, 05:42   +/
/etc/sysctl.conf

# This fix enoumous big diry bytes (16 gb system vm.dirty_background_bytes 3.2 Gb ??? )
# 64  mb - when system starts writing to disk  64*1024*1024
# 256 mb - when system limits io to device speed 256*1024*1024
# Guys from SUSE recommends keep this in proportion 1:2 - 1:4
# Ubuntu guys recommends to set this even lower 16 and 42 Mb but well...
# This emulates near 1 gb ram default behaviour

#let only 64 mb of pages in ram before writing to disk on background
vm.dirty_bytes = 67108864
#let only 256 mb of pages in ram before blocking i/o to write to disk
vm.dirty_background_bytes = 268435456

## use this on low ram machile (32 and 64 mb)
#vm.dirty_bytes = 33554432
#vm.dirty_background_bytes = 67108864

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

151. Сообщение от Аноним (151), 20-Дек-22, 06:51   –1 +/
Невозможность именно что удалить файлы, если кончилось место -- это что-то новое. Такое вряд ли (сам не пользовался) было даже на ФС для пятидюймовых дискет Спектрума, где не было фрагментации и нужно было файлы специальной командой перемещать, чтобы высвободить свободное место.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #116 Ответы: #155

152. Сообщение от Аноним (-), 20-Дек-22, 09:31   –1 +/
О да, лекцию по полям галуа давай заодно, если сам что-то смыслишь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #144

154. Сообщение от Antoha (?), 20-Дек-22, 10:08   +/
Софтовый рейд в продакшене это колхоз.
А вот для десктопа - отличное универсальное решение.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

155. Сообщение от Аноним (155), 20-Дек-22, 18:43   +/
> Невозможность именно что удалить файлы, если кончилось место -- это что-то новое.

Чтобы атомарно провести операцию удаления файла требуется свободное место на диске. Иди учи матчасть.

> Такое вряд ли (сам не пользовался) было даже на ФС для
> пятидюймовых дискет Спектрума, где не было фрагментации и нужно было файлы
> специальной командой перемещать, чтобы высвободить свободное место.

Всё правильно. Тупым файлухам это зачем?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #151

156. Сообщение от аНОНИМ (?), 20-Дек-22, 22:37   +/
я как-то тестировал openzfs raidz1 (ихнее название для raid5) btrfs raid5. Создавал fs, писал данные, размонтировал. Потом один из 3 разделов перезаписывал /dev/urandomом. Монтировал обратно. После этого zfs ругалась, тормозила, но все данные возвращала (а resilver фиксил ситуацию к тому что было до). btrfs же вообще ничего не читала, ну может случайно 1 короткий файл из 10. Это цена отсутствия чексуммы на блок чётности.

Из аналогичного упражнения для mirror/raid1 обе фс выбирались без потерь.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #159

157. Сообщение от Аноним (96), 20-Дек-22, 22:48   +/
Это смотря сколько у тебя дисков.
Предлагаешь загнать 15 8Tб дисков с данными под тройную чётность, купив 45?
Не, я лучше куплю ещё два и обойдусь RAID6.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #112 Ответы: #158, #161

158. Сообщение от Аноним (96), 20-Дек-22, 22:49   +/
Тьфу блин под тройную чётность. Под тройную дупликацию, конечно же.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #157

159. Сообщение от Аноним (96), 20-Дек-22, 22:50   +/
mirror/raid1/raidz1/raid5
Всё - выкрасить и выбросить.

Либо 3-way mirror, либо raid6.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #156 Ответы: #162

161. Сообщение от пох. (?), 21-Дек-22, 00:21   +/
А ты - смелый!

(/me немного подозрительно косится на свою конструкцию 9+2)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #157

162. Сообщение от пох. (?), 21-Дек-22, 00:26   +/
при отсутствии контроля четности второе ничем не лучше. Ну есть у тебя теперь второй блок контрольных данных. А какой поврежден - по прежнему неизвестно. Может этот самый второй. Может первый. А может сами данные. raid делали для защиты от отказов носителя, не от silent corruption или отказа управления.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #159 Ответы: #163, #164

163. Сообщение от аНОНИМ (?), 21-Дек-22, 11:52   +/
Чисто формально, в случае порчи *одного* любого блока из страйпа raid6 данные можно восстановить. Но это существенно большие вычисления чем в случае, если известно, какие блоки пропали. И mdraid так не умеет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #162 Ответы: #170, #171

164. Сообщение от аНОНИМ (?), 21-Дек-22, 11:53   +/
Ну и да, в случае зеркал с >2 копиями тоже такто можно задетектить порченный блок и восстановить. И опять mdraid не умеет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #162 Ответы: #172

165. Сообщение от Аноним (-), 21-Дек-22, 14:39   +/
> Сжатие умеет tar.

Это все отлично конечно, но по времени операций и удобству рядом не стояло.

> Снапшоты тоже. Именно так бэкапятся изменения за неделю и в конце недели полноценный бэкап.

Сделать снапшот терабайтной ФС в сабже моментально. А таром так можно? То-то и оно :). Снапшот не бэкап но откатить систему после неудачного обновления или смены настроек удобно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88

167. Сообщение от Аноним (-), 21-Дек-22, 18:53   +/
> Пользоваться фс которая посыпется если не сделать во время балансинг это как
> сидеть на пороховой бочке. Возможно конечно она уже не сыпется от
> этого с тех пор как я последний раз её пробовал

Это когда было? Сейчас оно глобальный резерв заводит и таких проблем не имеет. Фйэсбука это тоже видите ли кусало. Они и починили.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

169. Сообщение от edo (ok), 21-Дек-22, 18:56   +/
Ну я активно использую raid 5 в фс (zfs). Ибо оно имеет свои плюсы (как и минусы, разумеется).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62

170. Сообщение от edo (ok), 21-Дек-22, 19:05   +/
> Но это существенно большие вычисления

Не только, это ещё и больше i/o, поэтому сомневаюсь, что оно где-то используется при штатной работе для контроля целостности данных

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #163

171. Сообщение от пох. (?), 21-Дек-22, 21:45   +/
> Чисто формально, в случае порчи *одного* любого блока из страйпа raid6 данные можно
> восстановить.

э... как? Если мы не знаем, какой именно это блок? Если у страйпа хотя бы был бы общий контрольный, не ec, код - то да, можно собирать его всеми способами выкидывая все блоки поочереди, пока контролька не совпадет. Ну или ты предлагаешь мажоритарным методом - каких больше, тот и прав? Так и xor можно. Правда, необязательно это будет правильный ответ ;-)

> mdraid так не умеет.

мне кажется, так никто из EC-based не умеет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #163

172. Сообщение от пох. (?), 21-Дек-22, 21:51   +/
Ну то же самое - либо контрольный код, и просто прочитать тот где совпало, либо те где больше одинаковых, те и правы.
Но опять же сомневаюсь что хоть что-то так работает.

В synology mdraid вроде умеет в какой-то self-healing, "но это неточно" и исходников нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #164 Ответы: #187

173. Сообщение от EULA (?), 22-Дек-22, 09:15   +/
> Ничего, подождёшь недельку, ухле ныть - оно даже если не обновится, ничего
> страшного, старое же ядро работает и собранный под него модуль работает
> же.

Недельку с незакрытой CVE жить?

А потом удивляются, почему нет сертифицированных PVE с ZFSoverFC...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #127 Ответы: #175

174. Сообщение от EULA (?), 22-Дек-22, 09:38   +/
> ratarmount это видимо позволяет

1. fusermount. Корень не смонтировать.
2. RO, как и SquashFS.

> зачем могу понадобиться снапшоты я до сих пор не понимаю

1. Загрузка ОС из снапшота, если в основной ветке ОС решила умереть из-за настроек.
2. Тестирование изменений в продакшине, дабы не тратить время на даунтайм при создании бэкапа и восстановлении из бэкапа. Регулярно используется в гипервизиорах от MS и VMWare только на уровне ВМ или их дисков.

> Конечно, остановить и сделать снапшот может быть на пару секунд быстрее, чем затарить

Точно. 50 ГБ СУБД тарятся около часа. Снапшот делается 0,3 секунды. 3600 секунд всего на пару секунд быстрее, чем 1/3 секунды.

>  но что если что-то пойдёт не так из-за вмешательства в метаданные фс.

Что может пойти не так, если средствами самой ФС в метаданные вносятся изменения?
Какой будет даунтайм, если на другой ФС из-за вмешательства в метаданные средствами ФС, она навернется?

> Снапшот же изменяющихся данных будет равноценен хардресету и это очень не понравится софту

Какому софту это не нравится, если даже процедура бэкапов штатными средствами софта делает снапшот?

> И что будет, когда прошлые полноценные снапшоты без повреждений окажутся удалены

То же самое, что и при удалении неповрежденных бэкапов. Покажите, как восстановить инкрементный бэкап, если последний полный бэкап удален?

Всего-то полгода назад один крупнейший вендер бэкапов узнал, что создавал битые архивы из-за софтовых воин. Кто-то в системные либы внес правки, которые ломали бэкапы. А ФС работает не с либами, а чисто в пространстве ядра.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #132 Ответы: #183

175. Сообщение от Заноним (?), 22-Дек-22, 22:52   +/
Что ты как маленький? Пропатч текущее ядро сам.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #173 Ответы: #182, #193

176. Сообщение от Аноним (-), 24-Дек-22, 19:35   +/
> У меня часто сыпиться на внешних устройствах,

Эти с любой ФС сыпятся. Иногда даже настолько что совсем умирают. Там надо не только размонтировать но и EJECT делать, как безопасное извлечение в винде.

В этом случае оно еще более-менее остановит фоновые операции. Иначе - возможно все что угодно. Вплоть до слета транслятора - и горе вам если у вас бэкапов нет, это вообще не определяется как устройство, или определяется в сервисном режиме контроллера - но что вы с ним таким делать будете? Btrfs если dup включить, с его 3 копиями суперблоков даже зачастую выживает, гораздо чаще чем многие другие.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

177. Сообщение от Аноним (-), 24-Дек-22, 19:45   +/
> после размонтированя конечно. посмотри как btrfs себя ведет если залить 20 гигов
> и размонтировать - она размонтируется мгновенно. похоже какие то журналы еще
> не записаны на уровне ядра.

Во первых у нее нет журналов в привычном понимании. Запись и является сама себе журналом, вся площадь фс - как большой журнал. За счет этого наглого чита избегают записи данных дважды.

К сожалению это не совсем бесплатный фокус, придает ФС специфичные свойства, приколы с сводобным местом частично проистекают отсюда, ведь к метаданным это тоже применяется. Но с аварийным резервом на подобные случаи с этим справились более-менее.

Во вторых, если dirty был, при размонтировании он прекрасно скидывается, что btrfs что осталдьных. Но начиная с некоторых ядер, размер бэклога сильно уменьшили для медленных устройств, от фс не зависит. Вообще-то это фикс того что тут как 12309 известно был и прилетел уже довольно давно... а если кто хотел махровый энтерпрайз с старым керенелом, так там как раз на сервере всем пофигу было на интерактивность, время размонтирования и прочие глупости, в древнее энтерпрайзное могли и не бэкпортнуть такое. И тут желающие энтерпрайзной крути сами себя обделили на нормальный юзер экспериенс, кто им виноват?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #117

178. Сообщение от Аноним (-), 24-Дек-22, 19:48   +/
С более-менее новыми ядрами это уже не надо: они сами замечают что накопитель медленный и урезают ему dirty по своей инициативе, чтобы размонтирование, отбор памяти у кэша и проч занимали бы человеческое время.

А на быстром накопителе это только немного просадит производительность без особых положительных эффектов. Лучше ядра использовать не сильно древние, а на десктопе еще и low latency варианты к тому же. Для общей интерактивности системы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #149

180. Сообщение от Аноним (-), 24-Дек-22, 19:54   +/
> Юзою ЗФС на продах ещё с 19-го года. Но в бубунте её
> модуль идёт сразу с ведром, потому проблем с модулем нет.

Кроме того момента когда вон там фикс на уязвимость выкатывают, а ты еще пару неделек уязвимый походи. С общеизвестной уязвимостью. Вот блин радость.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #99

181. Сообщение от Аноним (-), 24-Дек-22, 19:58   +/
> Вот это миф, т.к. ничем не доказать.

Поискари в интернете найдут вопли по любой ФС, а если вы хотите это конденсировано - придите в тусовку разработчиков, туда приходят те кому больше идти уже некуда.

> Пипл не верит, пипл разбирается в технических деталях и знает, что сама
> ZFS не крошится и данные если и потеряются, то лишь нескольких
> последних параллельных транзакций. И даже без ECC, и даже если выключить ZIL.

Свежо предание.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #130 Ответы: #192

182. Сообщение от Аноним (-), 24-Дек-22, 19:59   +/
> Что ты как маленький? Пропатч текущее ядро сам.

Сколько анонимов с опеннета смогут обставить хотя-бы убунтовский кернел тим. Делаем ставки? :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #175

183. Сообщение от Аноним (-), 24-Дек-22, 20:09   +1 +/
> 1. fusermount. Корень не смонтировать.
> 2. RO, как и SquashFS.

3. Времена операций сильно более другие. Одно дело вернуть систему в вид как было за 2 минуты после кривого апдейта, откатив как виртуалку. Совсем другое - с таром вон тем заниматься.

А еще - с таром можно промахнуться да не тот бэкап раскатать. И вот это бывает очень весело. В общем монтирование снапшотов и файловые операции с ними - сильно более другой уровень.

> бэкапы. А ФС работает не с либами, а чисто в пространстве ядра.

Ну да. Меньше всего по пути. А какой-нибудь send еще может быть достаточно эффективным дифференциальным бэкапом, если понимать как это делать правильно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #174 Ответы: #194

184. Сообщение от Аноним (-), 24-Дек-22, 20:13   +/
> discard не работает на многих ssd самсунга, зря активировали.

Ядро само отключает для проблемных накопителей, там список вредин и плохих версий фирмварей ведется. Для таких ядро будет просто игнорить дискард, не повод из-за кривых железок обламывать всех остальных. Сделали так что пролетать будут только владельцы (некоторых) самсунгов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

185. Сообщение от Аноним (-), 24-Дек-22, 20:16   +/
> Работает, но не поддерживает корректно queued trim. Этим существенно замедляя операции
> во время собственно trim'а.

В вон том случае оно асинхронно относительно операций ФС случается и это уже не важно, ФС более не ждет завершение этих операций чтобы продолжить.

> fstrim даже лучше discard - после выполнения по расписанию trim'а, не вызывает
> падение производительности.

Вон тот дискард в очереди - от этого не страдает. Там отдельная очередь, куда наливаются пожелания фс к очистке места. При возможности это группируется, а иногда оказывается так чт о туда вообще что-то новое записывают и смысла дискард делать уже нет, тогда он совсем отменяется. И единственное реальное отличие - больше не надо какие-то левые программы по таймеру запускать, прекрасно все в фоне само разбирается. Минус дурной системный сервис и побочная периодическая активность.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #124

186. Сообщение от Аноним (-), 24-Дек-22, 20:20   +/
> У них фишка в том, что они собираются на рандомном контроллере, в
> лучших китайских традициях.

И еще и из рандомного флеша, который удалось как можно дешевле где-то ухватить. Мало ли, скидывал нормальный производитель брак, допустим, и выбор был между совсем под пресс, или вон тем дешевым, без претензий, с кучей бэдов это отдать? В первом случае еще за утилизацию платить надо, во втором - даже профит какой-то. Ничего личного, это бизнес.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #133 Ответы: #188

187. Сообщение от Аноним (-), 24-Дек-22, 20:28   +/
Btrfs прекрасно чинит себя с второй копии, csum error, corrected и дальше поехал. Даже на однодисковых нечто с DUP прокатывает, хоть это и слкгка изврат, конечно.

А с вон той механикой были проблемы если частичная запись потерялась и точно не известно какие блоки насколько записались при отвале RAID. Делать "журнал записи/RMW в RAID56" в btrfs принципиально не хотели из-за характерных проблем перфоманса. А тут вот некий компромисс нащупали, оверхеда добавить может, но не столько, в паре с хранением метаданных RAID1/RAID1C3 это уже начинает смотреться достаточно осмысленно и уже не имеет таких откровенных проблем для осыпания.

На самом деле если понимать суть проблемы, с RAID56 в сабже можно было жить давно. Просто после такого краха для предотвращения вон тех блоков надо scrub было делать. Чтобы их найти и нейтрализовать ДО того как что-то развалилось. Но это достаточно ресурсоемко большой хранилке, хоть и фоновое и вообще не вредно периодически для понимания не сыпется ли что-то уже понемногу в железе.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #172

188. Сообщение от Аноним (9), 24-Дек-22, 20:37   +/
Тут такое дело, продукция "нормальных" производителей у меня живёт стабильно меньше этой китайщины. А такими вещами с впариванием некондиции занимаются и вполне именитые фирмы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #186 Ответы: #191

191. Сообщение от Аноним (-), 26-Дек-22, 22:25   +/
> Тут такое дело, продукция "нормальных" производителей у меня живёт стабильно меньше этой
> китайщины. А такими вещами с впариванием некондиции занимаются и вполне именитые фирмы.

Стабильно? :) А как это проверялось, если при каждой покупке оно из разных чипов понабрано и заранее не известно как это комбо вообще будет? Ну да, может сегодня и не брак сливали а склад разгружали от лежака, там как раз сейчас на радостях перепроизводство случилось после нехватки чипов, а тут еще китай от ковида встрял и чипы не исползует в ожидаемых объемах. Ну вот откуда б знать что впарят? На нормальные фирменные штуки гарантию дают, если случится фэйл - им же хуже, их попадение на деньги.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #188

192. Сообщение от Заноним (?), 26-Дек-22, 22:49   +/
Утверждение раз пять перечитайте, что-бы понять на что я возразил.

> придите в тусовку разработчиков, туда приходят те кому больше идти уже некуда.

Давно там, по другим причинам. А вот вы сходите, и когда наскребёте статистику по потере данных в zfs и btrfs, тогда и приходите с доказательствами.

> Свежо предание

Ну можете обпроверяться.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #181

193. Сообщение от EULA (?), 28-Дек-22, 06:50   +/
> Что ты как маленький? Пропатч текущее ядро сам.

А что, от самопатча ядра модуль ZFS, который не собирается с патчем, сам соберется?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #175

194. Сообщение от EULA (?), 16-Янв-23, 14:04   +/
>[оверквотинг удален]
>> 2. RO, как и SquashFS.
> 3. Времена операций сильно более другие. Одно дело вернуть систему в вид
> как было за 2 минуты после кривого апдейта, откатив как виртуалку.
> Совсем другое - с таром вон тем заниматься.
> А еще - с таром можно промахнуться да не тот бэкап раскатать.
> И вот это бывает очень весело. В общем монтирование снапшотов и
> файловые операции с ними - сильно более другой уровень.
>> бэкапы. А ФС работает не с либами, а чисто в пространстве ядра.
> Ну да. Меньше всего по пути. А какой-нибудь send еще может быть
> достаточно эффективным дифференциальным бэкапом, если понимать как это делать правильно.

Точно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #183

196. Сообщение от Аноним (196), 17-Фев-23, 13:43   +/
Прод в РФ? Если да, то чем тебе Альт не прод? Платная поддержка, бумажная лицензия.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #145 Ответы: #197, #198

197. Сообщение от Аноним (196), 17-Фев-23, 13:46   +/
PS Не подумайте чего, мне Миша копеечку не платит :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #196

198. Сообщение от penetrator (?), 22-Фев-23, 00:04   +/
> Прод в РФ? Если да, то чем тебе Альт не прод? Платная
> поддержка, бумажная лицензия.

прод в РФ и альт - это какой-то лютый мазохизм )))

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #196

199. Сообщение от Аноним (200), 27-Фев-23, 17:15   +/
шляпа ответила, что платных кастомеров btrfs не интересует.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

200. Сообщение от Аноним (200), 27-Фев-23, 17:16   +/
федору на хлеб не намажешь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру