The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз OpenZFS 2.1 с поддержкой dRAID, opennews (??), 03-Июл-21, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


15. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –2 +/
Сообщение от Ivan_83 (ok), 03-Июл-21, 02:57 
Кто то использует для себя или в проде?
Ответить | Правка | Наверх | Cообщить модератору

17. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноним (18), 03-Июл-21, 03:01 
Поставили на нее постгрес, выжрало 200 гигов оперативки (не считая стандартного кэша, который reclaimable). Норм.
Ответить | Правка | Наверх | Cообщить модератору

49. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –1 +/
Сообщение от bOOster (ok), 03-Июл-21, 06:37 
Ты наглядно показал свой уровень администратора. Ниже плинтуса. Руководитель этого чудика есть тут? Гоните его в шею...
Ответить | Правка | Наверх | Cообщить модератору

52. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +1 +/
Сообщение от Аноним (7), 03-Июл-21, 06:48 
Речь об использовании своего кеша и перевода primarycache в metadata?
Ответить | Правка | Наверх | Cообщить модератору

54. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –1 +/
Сообщение от bOOster (ok), 03-Июл-21, 06:50 
> Речь об использовании своего кеша и перевода primarycache в metadata?

А теперь давай перевод сего перла в терминах именно ZFS.

Ответить | Правка | Наверх | Cообщить модератору

57. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноним (7), 03-Июл-21, 07:00 
primarycache=all - это кеширование arc'ом буквально всего, а metadata - тут все и так понятно. Проще говоря, используем родной высокоэффективный кеш постгреса и запрещаем кешировать данные базы arc'ом. Или вы имели в виду что-то другое?
Ответить | Правка | Наверх | Cообщить модератору

63. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –3 +/
Сообщение от bOOster (ok), 03-Июл-21, 07:27 
> primarycache=all - это кеширование arc'ом буквально всего, а metadata - тут все
> и так понятно. Проще говоря, используем родной высокоэффективный кеш постгреса и
> запрещаем кешировать данные базы arc'ом. Или вы имели в виду что-то
> другое?

Кэширование кэшей бд и т.п. ZFSом даже звучит глупо. Эти вещи надо выделять на отдельные SSD и т.п.

Ответить | Правка | Наверх | Cообщить модератору

72. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +1 +/
Сообщение от Аноним (7), 03-Июл-21, 07:57 
Сдаюсь.
Ответить | Правка | Наверх | Cообщить модератору

65. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –1 +/
Сообщение от bOOster (ok), 03-Июл-21, 07:32 
> primarycache=all - это кеширование arc'ом буквально всего, а metadata - тут все
> и так понятно. Проще говоря, используем родной высокоэффективный кеш постгреса и
> запрещаем кешировать данные базы arc'ом. Или вы имели в виду что-то
> другое?

Да, чтобы система была эффективна ВСЕГДА необходимо ручками поработать и головой. Создатель системы и файло-системы не знает о твоих задачах.

Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

106. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –1 +/
Сообщение от Аноним (106), 03-Июл-21, 10:53 
В винде ты просто форматируешь в NTFS и оно просто работает. И под базу и под игры и под софт и под 3дмакс и под фотошоп и под торренты. И даже под виртуалку с убунтой.
Ответить | Правка | Наверх | Cообщить модератору

117. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноним (-), 03-Июл-21, 12:23 
>> Поставили на нее постгрес
> В винде ты просто форматируешь в NTFS и оно просто работает. И под базу и под игры и под софт и под 3дмакс и под фотошоп и под торренты. И даже под виртуалку с убунтой.

А в огороде бузина ...

Ответить | Правка | Наверх | Cообщить модератору

137. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноньимъ (ok), 03-Июл-21, 13:52 
>В винде ты просто форматируешь в NTFS и оно просто работает. И под базу и под игры и под софт и под 3дмакс и под фотошоп и под торренты

Эм, нет. Высоконагруженой базе всегда нужен тюнинг ФС в том или ином виде.

А на домашнем ПК любая ФС просто работает, и под базу и под игры и под софт.

Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

145. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –2 +/
Сообщение от Аноним (128), 03-Июл-21, 14:02 
> Эм, нет. Высоконагруженой базе всегда нужен тюнинг ФС в том или ином виде.

Эм да, в данном случае это особенность ЗФС. Приходится иногда тюнить настройки кеширования и ARC. То, что она сама не может определиться с оптимальными на лету - это техническая недоработка, хоть и не критичная.

Ответить | Правка | Наверх | Cообщить модератору

151. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноньимъ (ok), 03-Июл-21, 14:18 
А другие ФС могут? У них внутри ИИ-гномик сидит который волшебным образом понимает характер нагрузки?
Хорош прикалываться.
Ответить | Правка | Наверх | Cообщить модератору

139. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от iZENemail (ok), 03-Июл-21, 13:54 
> В винде ты просто форматируешь в NTFS и оно просто работает.

Получить возможность создать программный RAID-5 можно, начиная только с Windows Pro. На Windows Home никаких программных RAID средствами ОС создать не получится — только средствами драйверов чипсета сторонних производителей (AMD или Intel).
Лицензия на использование Windows 10 Pro стоит $289.00 с официального сайта microsoft.com или ~12 000 руб. по рыночной цене в российской рознице.

Да, работает просто. Но за это придётся заплатить.

Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

165. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –5 +/
Сообщение от Пикапика (?), 03-Июл-21, 16:42 
Windows 10 Pro
500 рублей цена вопроса на авито, ну или 400 на ибей.
Ответить | Правка | Наверх | Cообщить модератору

253. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Juha (ok), 05-Июл-21, 10:41 
Речь идет как обычно о газификации лужи.
-- "Что бы работало хорошо надо все сделать верно, но тебе я не скажу как верно, ты там сам разрули и догадайся. И вообще ты ****".
От таких советчиков лучше держатся подальше.
А так да, жрет zfs как не в себя.
Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

20. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноним (20), 03-Июл-21, 03:15 
Для виртуализации дома - шикарная вещь!
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

22. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноним (18), 03-Июл-21, 03:18 
Дома - сойдет. А вот при продовой нагрузке никакой памяти не напасешься.
Ответить | Правка | Наверх | Cообщить модератору

29. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноним (20), 03-Июл-21, 03:24 
Аппетит arc легко унять с помощью zfs_arc_max, но правильный подход состоит в том, чтобы определить необходимый размер для ваших типичных нагрузок по попаданиям в кеш.
Ответить | Правка | Наверх | Cообщить модератору

75. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Амоним (?), 03-Июл-21, 08:08 
Размер то можно еще как-то контролировать, а вот распределение нет. Поэтому получается что спустя какое-то время памяти вроде еще предостаточно, только на физическом уровне она фрагментирована безбожно. Запрашиваешь мегабайт - получаешь мегабайт, логически цельным куском, физически из ошметков памяти.  
Ответить | Правка | Наверх | Cообщить модератору

281. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от xss (?), 14-Окт-21, 16:43 
А давно ли оперативка является линейным хранилищем?
Можно расшифровать RAM?
Ответить | Правка | Наверх | Cообщить модератору

254. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Juha (ok), 05-Июл-21, 10:49 
Как только ограничиваем память, тут же скорость падает, причем да же ниже чем старый mdadm на ext4. Никак не лечится, увы и ах. Нужна скорость, Вам не в ZFS, какая бы она не была классная.
Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

34. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –1 +/
Сообщение от iCat (ok), 03-Июл-21, 04:53 
И дома, и на производстве.
Но не в качестве одной-единственной-универсальной файловой системе.
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

192. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Ivan_83 (ok), 04-Июл-21, 03:40 
А как у вас с рекавери?
Ну те при каких обстоятельствах теряли данные?
Ответить | Правка | Наверх | Cообщить модератору

194. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от iCat (ok), 04-Июл-21, 06:20 
> А как у вас с рекавери?
> Ну те при каких обстоятельствах теряли данные?

Я ж написал: тогда жёсткий диск кирдыкнулся. Напрочь.
Хорошо - у беня бэкапы всегда 3-2-1:
- минимум 3 копии
- минимум на 2 независимых носителях
- минимум 1 копия в другом здании

Ответить | Правка | Наверх | Cообщить модератору

196. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Ivan_83 (ok), 04-Июл-21, 06:56 
А без бэкапов на ZFS жить совсем никак?
Ну типа как у меня сейчас зеркало геомом а поверх юфс2 и потерю одного диска я переживу.
Ответить | Правка | Наверх | Cообщить модератору

198. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от iCat (ok), 04-Июл-21, 08:07 
> А без бэкапов на ZFS жить совсем никак?

Да легко!
Делаем пул из двух дисков, назначаем избыточность=2 и только в путь!
Можно слепить пул из трёх дисков, и назначить избыточность=3...
Простецкий RAID-Z из четырёх дисков...
Там много чего можно "нарисовать"...


Ответить | Правка | Наверх | Cообщить модератору

217. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +1 +/
Сообщение от iZENemail (ok), 04-Июл-21, 13:03 
> А без бэкапов на ZFS жить совсем никак?

Бэкапы и RAID — две ортогональные технологии хранения данных.
Одна отвечает за сохранность (даже в оффлайн), другая — за бесперебойность работы.

Ответить | Правка | К родителю #196 | Наверх | Cообщить модератору

48. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от bOOster (ok), 03-Июл-21, 06:34 
"Ты у мамы дурачек?"

https://www.qnap.com/en/product/series/enterprise

Да еще и на FreeBSD по совместительству.

Какая трагедия для Линуксоидов.
QNAP все расставила по своим местам
QTS - Entry and Mid level Linux based system.
QES - Enterprise level FreeBSD based system

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

133. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +1 +/
Сообщение от Аноним (128), 03-Июл-21, 13:39 
А в чём трагедия-то? Кончай бухать.
Ответить | Правка | Наверх | Cообщить модератору

191. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +1 +/
Сообщение от Ivan_83 (ok), 04-Июл-21, 03:36 
Я поинтересовался как у людей которые её юзают дела.
И я не линуксойд, у меня фря даже на том десктопе с которого я вам это пишу, и я по немногу коммитю в порты и даже в базовую систему (в основном ядро).


И мотивации для вопроса у меня две:

1. У меня дома хранилка собрана на geom mirror+eli+concat и UFS2.
Нагрузка примитивна: скачать торренты/раздать торренты, посмотреть торренты.
На тазике райзен 2700 + 64гб с ецц, которые не очень то заняты тем что там крутится, минимум половину можно было бы чем занять без проблем.
Те я как бы могу позволить себе свалить на zfs, но данные потерять не хочу и бэкапить мне это некуда.
При этом фичи в виде кеша и *как её там, когда оно пишет каждый раз в новое место при измении файла* мне не интересны, а вот крипта интересна.
Идея в том, чтобы повысить надёжность и упростить менеджмент.


2. У нас на работе юзается фря и зфс, но нам не хватает спеца по зфс который хотя бы мог консультировать. Пока оно тупо работает в дефолтах. И у меня есть подозрения что феолты не очень, особенно в том месте где используется geom mirror для зеркалирования на второй диск вместо средств самой zfs.

Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

201. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от bOOster (ok), 04-Июл-21, 11:01 
>[оверквотинг удален]
> потерять не хочу и бэкапить мне это некуда.
> При этом фичи в виде кеша и *как её там, когда оно
> пишет каждый раз в новое место при измении файла* мне не
> интересны, а вот крипта интересна.
> Идея в том, чтобы повысить надёжность и упростить менеджмент.
> 2. У нас на работе юзается фря и зфс, но нам не
> хватает спеца по зфс который хотя бы мог консультировать. Пока оно
> тупо работает в дефолтах. И у меня есть подозрения что феолты
> не очень, особенно в том месте где используется geom mirror для
> зеркалирования на второй диск вместо средств самой zfs.

Geom/mirror Geom/Geli swap тут развлекаюсь. А если и ELI, не даели с флешкой, которая загрузочная

Ответить | Правка | Наверх | Cообщить модератору

213. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от iZENemail (ok), 04-Июл-21, 12:26 
> 2. У нас на работе юзается фря и зфс, но нам не
> хватает спеца по зфс который хотя бы мог консультировать. Пока оно
> тупо работает в дефолтах. И у меня есть подозрения что феолты
> не очень, особенно в том месте где используется geom mirror для
> зеркалирования на второй диск вместо средств самой zfs.

:facepalm:

Я уже перестал удивляться той среде, в которой ты существуешь. Найти проблемы в перегреве VRM Gigabyte в дросселях с лого (и ничем другим) — это нужно иметь особенные мозги.

Ответить | Правка | К родителю #191 | Наверх | Cообщить модератору

247. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Минона (ok), 05-Июл-21, 09:12 
забавно что в TrueNAS решили сделать наоборот =)
Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

51. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –1 +/
Сообщение от bOOster (ok), 03-Июл-21, 06:40 
https://www.qnap.com/en/product/series/enterprise

Да еще и на FreeBSD по совместительству.

ПыСы. Для удаляющих - кому адресовано предыдущее удаленное сообщение было - он его получил.

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

69. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +2 +/
Сообщение от Аноньимъ (ok), 03-Июл-21, 07:43 
Дома норм, пару сгнивших блоков данных отловил.
Каши не просит. Кеширование работает очень неплохо.
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

91. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –3 +/
Сообщение от Онаним (?), 03-Июл-21, 09:17 
Что за дерьмо, простите, вы юзаете на подложке, что у вас родной ECC накопителя "сгнившие блоки" не отлавливает? Какие-нибудь доисторические б/у WD, на авито купленные?
Ответить | Правка | Наверх | Cообщить модератору

98. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноньимъ (ok), 03-Июл-21, 09:54 
Контролируйте свой пожар.

Биты могут флипаться где угодно.

На больших объёмах и временных промежутках неисправимые ошибки неизбежны.

Накопитель же, если и отловит, то не скажет какой файл повреждён.

Ответить | Правка | Наверх | Cообщить модератору

99. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –2 +/
Сообщение от Онаним (?), 03-Июл-21, 10:03 
Чувак. Эти сказочки о битфлипах на накопителях и волшебной ZFS - со времён царя Гороха - только сказочки.

Битфлип на собственно хранимых данных ловится ECC диска, который очень многобитовый. И не вызывает никаких "повреждений файла".

Если ECC не осиляет скорректировать - будет "битый сектор". Чтобы поймать при чтении лажу - надо этот битый сектор вычитывать 100500 раз, тогда, может быть, звёзды сойдутся, и флипнутся уже 100500 бит "как надо" - но это эксклюзив для мазохистов.

Битфлипы могут на шине возникнуть при передаче данных, но в случае допустим SATA/SAS - это тоже уже практически не актуально, во-первых битфлип на дифференциальной паре - это редкость редкая, во-вторых, на шине есть CRC.

Основная же масса реальных битфлипов возникает в (условно) битой RAM с авиты и прочем битом железе, и остаётся незамеченной, потому что все контрольные суммы при записи посчитаются уже с битых данных.

Ответить | Правка | Наверх | Cообщить модератору

101. "Релиз OpenZFS 2.1 с поддержкой dRAID"  –1 +/
Сообщение от Онаним (?), 03-Июл-21, 10:07 
Современная архитектура систем хранения такова, что ECC/CRC покрыто всё.
И если ещё память покрыть ECC (что по сути давно должно было стать нормой, процесс тормозил только штеуд, не запиливавший ECC в десктопы) - единственным местом, где что-то может совсем уж бесконтрольно флипнуть, остаётся сам CPU. Такие дела.
Ответить | Правка | Наверх | Cообщить модератору

104. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +1 +/
Сообщение от пох. (?), 03-Июл-21, 10:50 
> Чувак. Эти сказочки о битфлипах на накопителях и волшебной ZFS - со времён царя Гороха - только
> сказочки.

угу, главное ж свято веровать.

В волшебную ECC, например.

И ни разу не прочитать ни одного учебника по теории кодирования.
После чего "сказочки" внезапно превращаются в банальную статистику, а к людям, сующим свой "CRC" куда надо и куда не надо - возникают очень интересные вопросы. Например - какой длины был исходный полином и почему НИГДЕ этой информации нет. И, отдельно - а почему у нас ДВА crc (на самом деле их пять но про остальные успели забыть вчерарожденные).

А если еще немножко знать о том, как prml диски читают 'данные' методом угадава, то жизнь станет совсем непрекрасной, зато удивительной.

Ответить | Правка | К родителю #99 | Наверх | Cообщить модератору

107. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Битфлип (?), 03-Июл-21, 11:06 
Чувак, о моём отсутствии расскажи вон тем четырём торрентам хозяина этого компа, стоящим на 99.9%
Один блок не находится в сети, хоть ты тресни.
При этом, видеоряд без глюков, jpeg без глюков.
А это потому, что у автора торрент при хэшировании словил меня :)
Ответить | Правка | К родителю #99 | Наверх | Cообщить модератору

152. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +1 +/
Сообщение от Аноним (4), 03-Июл-21, 14:22 
>99.9%

Похоже на давний баг некоторых клиентов, например, у меня на transmisson такая ерунда была. Вроде исправили уже несколько раз.

Ответить | Правка | Наверх | Cообщить модератору

143. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от edo (ok), 03-Июл-21, 13:59 
> Что за дерьмо, простите, вы юзаете на подложке, что у вас родной ECC накопителя "сгнившие блоки" не отлавливает? Какие-нибудь доисторические б/у WD, на авито купленные?

Гелиевые 16ТБ от сигейта, например.
Сначала zfs поругался на чексуммы, через несколько дней и релокейты/ошибки чтения появились.

Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

132. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Аноним (128), 03-Июл-21, 13:35 
Используем ту версию ZFS, что идёт в бубунте 20.04. Полёт нопмальный, лямы OIPS.
Всё что было раньше - спотыкалось на read-range locks. Так исторически сложилось, что б-жэственная ЗФС изначально не предназначена была для нагрузок, типа СУБД. Но где-то в 2019 году это подправили. Я доволен.
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

156. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от iZENemail (ok), 03-Июл-21, 15:00 
> Кто то использует для себя или в проде?

OpenZFS стала менее предсказуемой в режиме восстановления. Поэтому постепенно перевожу единичные носители на проверенную годами UFS2+SU.


Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

250. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от 1 (??), 05-Июл-21, 09:30 
FreeNAS используем в роли файлопомойки ...
Вполне себе ничего ... пару дисков отправились в цифровой рай - без проблем.

На новых дисках не пробовали - стоят 6Тб от сигейта и хитачи.

Работает и работает.

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

264. "Релиз OpenZFS 2.1 с поддержкой dRAID"  +/
Сообщение от Tualua (?), 05-Июл-21, 19:31 
Ну я использую. 30Тб данных (SSD), striped raidz1. 50 вм, нагрузка на дисковую не очень большая, но постоянные send/recv, клоны, снапшоты, откаты. Все отлично работает
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру