> И без прочих чексум, хренли. EXT4 вообще плевать хотел на участь юзеровских
> данных и ничкому нишиша не гарантирует.А с этим живут по таким причинам:
- Без ECC-оперативки данные всё равно могут побиться в памяти. Data checksumming заделает дырочку в надёжности хранения, но у пользователей не-ECC-оперативки останется дырища рядом.
- Диски жёсткие и твердотельные имеют ECC. Его хватает, чтобы сказать "тут bad block", а не молча вернуть прочитанный из нужного места мусор. Использовать софтовый data checksumming - значит не доверять end-to-end protection внутри диска (если он есть) или заменять его, расширять его на остальные звенья (SATA-контроллер). То есть это мера против потенциального отсутствия ECC в прочих видах памяти (где лежит/исполняется прошивка, где различные буферы/кэши), против ошибок и недоработок в прошивке, вызывающих в том числе phantom writes, misdirected reads/writes. Впрочем, если SSD перестарался с попытками коррекции и вместо ошибки выдал ложноположительный результат - это и недоработка в прошивке, и молчаливое возвращение прочитанного мусора...
Тут кто первым надел халат, тот и доктор.
15 лет назад одни надели халат и похоронили RAID5. Из-за одного загадочного числа в спеках жёстких дисков - URE/UBER (RAID6 дали отсрочку). Не сбылся их прогноз о дисках, которые сложно прочитать целиком без единой ошибки (12+ ТБ, URE=10^-14), халат отняли.
Другие халат не снимают, потому что у них ext4/XFS или винда без ReFS или макось. И работает. И тихое повреждение данных кажется слишком мифологизированным. Мол, data checksumming необходим там, где обитают хранилки с 520/528 байтами на сектор, но не везде.
Ты халат надел, а базу данных и виртуалки допустил положить в nodatacow. Приравнял к торрентам и сохранениям в играх в аспекте контрольных сумм. Пожертвовать контрольными-суммами-для-данных ради скорости? Вот так остальные файловые системы и работают.
> Даже с RAIDами блин, там как я понимаю вообще
> нет плана если диск в RAID отдаст левак в секторе.
Не находил упоминаний такого софта/железа, которое бы занималось сверкой зеркал/чётности при чтении (а не только при ручном запуске проверки).
Как я понимаю, эта же проблема будет в btrfs+nodatacow и её не будет* с dm-integrity, о котором писал ниже.
* защита от misdirected reads/writes должна требовать дополнительной настройки.
> Меня больше всего смущает что вон те хотельщики с такими ФС смеют
> что-то предъявлять на тему целостности данных.
> Им бы определиться чтоли с хотелками.
Почему бы и не хотеть, у всех свои приоритеты. Некоторые вообще считают, что люди вокруг не используют ZFS, потому что им не важны их данные. Тоже отказывают в иной расстановке приоритетов и отмахнутся от твоих слов про "не general purpose", достанут очередной свежий баг в btrfs и станут размахивать им: https://bugzilla.redhat.com/show_bug.cgi?id=2169947.
Чем холоднее данные, тем больше вариантов открывается, вплоть до par2.
> И почему EXT4 это же самое не предъявляется, интересно? :)
Так речь о хотелках по новым ФС, как некоторые фичи накостыливаются-наслаивается к старым ФС - понятно. Дарю убийственный аргумент: "нечего тут на опеннете рассуждать, иди и сделай свою правильную ФС, делом займись".
> Ну как бы btrfs при несовпадении чексум в RAID1 или даже DUP
> (мало ли, бэдсектор вылез) - просто утащит данные из 2 копии.
> Восстановив в фоне порушеный кус. Наружу софту это вообще не видно.
> А у вас на такой случай какой хитрый план?
Если он рутинно вылез, то диск сам о нём скажет, чексумму от ошибки не посчитаешь. Если прочитался мусор без ошибок, то загадочное тихое повреждение данных не стоит бэдсектором называть.
> md: read-error will instead cause md to attempt a recovery by overwriting the bad block. i.e. it will find the correct data from elsewhere, write it over the block that failed, and then try to read it back again.
> dm-integrity: dm-integrity target can be used to detect silent data corruption on the disk or in the I/O path.
По-хорошему, все сетапы надо проверить через внедрение ошибок. Есть dm-dust (бэды, исправляемые перезаписью) и есть error (неисправляемые?), zero (использовать как мгновенное тихое повреждение?) в таблице в dmsetup.
PS: в предпредыдущем комменте отступы сломал, там везде "цитата - ответ":
> [Если что-то такое попытаться LVM и проч с сравнимыми возможностями -] получится вообще кошмар
У близости к земле бывают свои плюсы [- там, где посконные "LVM и проч", там и MergerFS со SnapRAID].
