Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Для Linux предложена новая ФС NOVA, спроектированная для [BR..."	+/–
Сообщение от opennews on 06-Авг-17, 12:00
В списке рассылки ядра Linux представлена (https://lkml.org/lkml/2017/8/3/85) новая файловая система NOVA (https://github.com/Andiry/nova) (NOn-Volatile memory Accelerated file system), созданная для обеспечения максимальной эффективности и надёжности работы на чипах энергонезависимой памяти (NVM, non-volatile memory, например NVDIMM и Intel 3DXpoint DIMM), сочетающих производительность ОЗУ с возможностью постоянного хранения содержимого, не теряющегося после прекращения подачи энергии. Отмечается, что представленная реализация NOVA уже достаточно стабильна при выполнении сложных приложений, но до доведения до готовности к широкомасштабному внедрению ещё необходимо проделать много работы. Традиционные ФС недостаточно эффективны для NVM-памяти, так как не рассчитаны на байтовую адресацию (https://en.wikipedia.org/wiki/Byte_addressing), применяемую в энергонезависимой памяти, которая для обработчиков выглядит как обычное ОЗУ. В частности, чтение с обычных накопителей обеспечивает атомарность операции на уровне чтения/записи сектора, в то время как NVM-память обеспечивает доступ на уровне отдельных байтов. Кроме того, традиционные ФС пытаются снизить интенсивность обращения к носителю, который рассматривается как заведомо медленнее оперативной памяти, а также пытаются группировать операции для обеспечения последовательного чтения при применении НЖМД, обрабатывать очереди запросов, разделять приоритеты выполнения разных операций. Для NVM-хранилищ подобные усложнения излишни, так как скорость обращения к данным сопоставима с оперативной памятью и порядок доступа не имеет значения. ФС NOVA использует интерфейса ядра DAX для прямого доступа к устройствам постоянной памяти в обход страничного кэша - содержимое накопителя отражается в адресное пространство ядра, без применения традиционного уровня блочных устройств. Поддерживается система снапшотов, позволяющих зафиксировать состояние ФС на текущий момент времени, которую можно использовать для создания целостных резервных копий. Для обеспечения непротиворечивости и целостности применяется похожая на RAID4 схема избыточного хранения метаданных, а также проверка по контрольным суммам. Система основана на структурах данных, отражающих изменения в форме лога (log-structured FS), но вместо поддержания одного глобального лога для всей ФС, в NOVA создаются отдельные логи для каждого файла (по логу на каждый inode). Лог разбивается на 4-килобайтовые страницы, которые могут произвольно размещаться в памяти (не обязательно по порядку). В логах хранятся только метаданные, а данные вынесены в отдельные страницы памяти. При выполнении операций записи в лог помещается указатель на блок изменяемых данных. Сами изменения в хранимые данные вносятся с применением механизма copy-on-write (COW) для обеспечения атомарности обновления. Для файловых операций в которые вовлечено несколько inode в NOVA применяется небольшие логи отката изменений (redo logs), имеющие фиксированный размер, которые атомарно прикрепляются к элементам в логе каждого задействованного в операции inode. В случае невозможности завершить операцию из-за сбоя изменения откатываются в прошлое состояние по находящемуся в логе журналу изменений. Подтверждение успешного завершения операции осуществляется путём удаления redo-лога. Подобный подход позволяет добиться достаточно компактного размера логов, операции сборки мусора для которых выполняются очень быстро.  Также появляется возможность параллельной обработки логов в процессе восстановления целостности ФС, например после отключения носителя без логического отмонтирования. Все таблицы inode и связанные с ними журналы разбиваются на несколько частей, каждая из которых привязывается к своему ядру CPU, что позволяет распараллелить операции с таблицей. Сами inode хранятся в связанных списках (по одному на CPU), блоками по 2 Мб. Последние 8 байт в каждом блоке ссылаются на следующий блок. Выделение новых блоков для inode осуществляется динамически. Каждый блок обрабатывается только тем ядром CPU, за которым закреплён. URL: https://lkml.org/lkml/2017/8/3/85 Новость: https://www.opennet.ru/opennews/art.shtml?num=46977
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+9 +/–
Сообщение от Нннн on 06-Авг-17, 12:00
Похоже скоро SSD диски тоже в прошлое уйдут
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–3 +/–
	Сообщение от deadfood (ok) on 06-Авг-17, 12:19
	нет
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+37 +/–
	Сообщение от A.Stahl (ok) on 06-Авг-17, 12:25
	Всё когда-то уйдёт в прошлое. Даже будущее.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	14. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Xasd (ok) on 06-Авг-17, 13:56
	скоро?
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	22. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+8 +/–
	Сообщение от A.Stahl (ok) on 06-Авг-17, 14:40
	В будущем:)
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	28. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Дегенератор on 06-Авг-17, 14:58
	Будущего не существует. Смиритесь.
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	29. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+4 +/–
	Сообщение от A.Stahl (ok) on 06-Авг-17, 15:04
	Да, будущего не существует сейчас. Нет его и в прошлом. Но в будущем будет будущее! Это как ∞ в математике.
	Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

	91. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–12 +/–
	Сообщение от Аноним (??) on 07-Авг-17, 00:09
	Почитайте The Langoliers, может тогда поймете про что речь, это лучше чем строить из себя философа.
	Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

	104. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 07-Авг-17, 09:49
	> строить из себя философа. Всё относительно.
	Ответить | Правка | ^ к родителю #91 | Наверх | Cообщить модератору

	105. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+1 +/–
	Сообщение от Moomintroll (ok) on 07-Авг-17, 10:24
	> The Langoliers С каких это пор художественный вымысел стал истиной?
	Ответить | Правка | ^ к родителю #91 | Наверх | Cообщить модератору

	107. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+1 +/–
	Сообщение от Аноним (??) on 07-Авг-17, 10:57
	Примерно со времен написания "архипелаг гулаг"
	Ответить | Правка | ^ к родителю #105 | Наверх | Cообщить модератору

	111. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Lain_13 (ok) on 07-Авг-17, 11:40
	Тогда я могу ссылаясь на MLP Time Loops утверждать, что заранее предопределён строго фиксированный отрезок континуума от сюжета которого в большинстве случаев можно отклоняться, но этого практически невозможно сделать не зная оного. До и после этого отрезка не существует ничего так-как наша вселенная эмулируется во вне-временном «супер-компьютере» Иггдрасиль, одна из множества, и однажды мы все просто бесследно исчезнем лишь для того, чтобы снова появиться в новом цикле и повторить все те же действия. Отклонения возможны только если наш мир смешает с каким-нибудь ещё в течение нового цикла или сущности, существующие вне циклов, решат отклониться от основного сюжета так-как они его знают и знают что можно изменить, а что приведёт к краху процесса. Обычно это основные персонажи сюжета данного мира или другого мира/миров, попавшие в данный. Кстати, квантовая физика очень даже напоминает последствия неточной симуляции мира.
	Ответить | Правка | ^ к родителю #91 | Наверх | Cообщить модератору

	122. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 07-Авг-17, 13:10
	> Кстати, квантовая физика очень даже напоминает последствия неточной симуляции мира. А дискретность времени подозрительно напоминает отдельные "тики".
	Ответить | Правка | ^ к родителю #111 | Наверх | Cообщить модератору

	214. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 01-Окт-17, 00:37
	Откуда дровишки? Публикации ффстудию.
	Ответить | Правка | ^ к родителю #122 | Наверх | Cообщить модератору

	191. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
	Сообщение от _ (??) on 08-Авг-17, 17:10
	Хммм ... я попал на соревнования поставщиков ширева? Чемпиону - пожизненное, ибо нех*!
	Ответить | Правка | ^ к родителю #111 | Наверх | Cообщить модератору

	209. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
	Сообщение от pavlinux (ok) on 18-Авг-17, 00:14
	Философов бесконечностей, хотя бы скажи какой завтра, после 11:00 будет курс фунта ст. по ЦБ.
	Ответить | Правка | ^ к родителю #111 | Наверх | Cообщить модератору

4. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
Сообщение от Аноним (??) on 06-Авг-17, 12:33
Это получается я могу создать раздел типа tmpfs с этой файловой системой и класть файлики для быстрой работы приложения с ними? :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	6. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от A.Stahl (ok) on 06-Авг-17, 12:35
	>для быстрой работы А скорость-то откуда возьмётся?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	112. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+1 +/–
	Сообщение от Lain_13 (ok) on 07-Авг-17, 11:52
	Строго говоря может даже и взяться так-как в описание чётко указывалось, что в NOVA отсутствуют некоторые техники оптимизации ФС, характерные для HDD, но совершенно лишние и только замедляющие работу ФС при работе с RAM-подобными накопителями (нет не нужной очереди чтения, есть побайтовая адресация). Естественно только если он создаст этот раздел в памяти. Довольно традиционная схема ускорения работы некоторых приложений, выгружающих всё в кэш даже если не очень-то и нужно было. Естественно в системах с NVM в качестве основного накопителя это будет довольно странным и бесполезным решением.
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	9. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
	Сообщение от Старый одмин on 06-Авг-17, 12:55
	NVMDIMM NVM Non-volatile DIMM Dual In-line Memory Module Не забудь купить модуль энергонезависимой памяти в формате планки оперативной памяти.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

5. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+2 +/–
Сообщение от Аноним (??) on 06-Авг-17, 12:35
Несколько смущает последний абзац. Что происходит, если количество ядер в системе меняется в большую или меньшую сторону?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	24. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
	Сообщение от я on 06-Авг-17, 14:46
	Видать придется монтировать. Судя из последнего обзатца
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	8. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+1 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 12:42
	Вроде стало понятнее после оригинального описания. Всё "per-CPU" распределятся равномерно во время инициализации, а не фиксируется в момент создания ФС.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	25. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+2 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 14:47
	Ничего подобного, в контексте NOVA инициализация это запуск в режиме "-o init", т.е. по сути форматирование нового раздела с нуля. https://github.com/NVSL/linux-nova/blob/master/Documentation... After the OS has booted, you can initialize a NOVA instance with the following commands: # modprobe nova # mount -t NOVA -o init /dev/pmem0 /mnt/ramdisk ... Nova uses per-CPU allocators to manage free PMEM blocks.  On initialization, NOVA divides the range of blocks in the PMEM device among the CPUs, and those blocks are managed solely by that CPU.  We call these ranges of "allocation regions".
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	30. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+4 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 15:05
	В документации сказано обратное: following items are currently missing: ... Moving NOVA file systems between machines with different numbers of CPUs does not work.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–6 +/–
Сообщение от Аноним (??) on 06-Авг-17, 13:16
Доколе мы будем влачить существование в прокрустовом ложе файлов и файловых систем?!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	20. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+3 +/–
	Сообщение от Какаянахренразница (ok) on 06-Авг-17, 14:23
	Каковы Ваши предложения, мой анонимный друг?
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	57. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+2 +/–
	Сообщение от Вася1970 on 06-Авг-17, 18:47
	он хочет ОС Фантом.
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	65. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 20:30
	Фантом слишком фантом, а мне надо ИРЛ, так что и ibm i не очень подходит
	Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

	83. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 23:08
	Действительно. Даже если не упоминать всякие модные нынче нейросети, то реализация концепции файла очень устарела по сравнению с тем же plan b.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	89. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Crazy Alex (ok) on 06-Авг-17, 23:49
	Чепуха. Всё это не зря осталось академической игрушкой - на практике очень быстро оказывается, что оторвав от "универсального" интерфейса его универсальность можно получить выигрыш в эффективности, надёжности и понятности. Ну некуда деваться - есть принципиальные различия между доступом к засунутому внутрь корпуса диску, внешнему USB-диску, процессу, крутящемуся в соседней стойке, аналогичному процессу, крутящемуся в другом датацентре и доступному по оптике, к нему же - но по 3G из движущегося поезда и так далее. Как минимум - надо разрабатывать какой-то набор характеристик, систему их присвоения, политики работы и так далее.
	Ответить | Правка | ^ к родителю #83 | Наверх | Cообщить модератору

	92. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 07-Авг-17, 00:13
	Мало того коллега, доступ к ОЗУ тоже не однороден и приходиться плясать с бубном попадая во всякие кэши и тд.
	Ответить | Правка | ^ к родителю #89 | Наверх | Cообщить модератору

	98. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Crazy Alex (ok) on 07-Авг-17, 03:05
	Да, но одно дело отладить это на критичных участках, другое - вообще ничего не знать о надёжности и задержках хранилища в самых обычных приложениях.
	Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

	127. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 07-Авг-17, 14:32
	Это о иерархии памяти вообще.
	Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

	106. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+1 +/–
	Сообщение от Аноним (??) on 07-Авг-17, 10:40
	>Доколе мы будем влачить существование в прокрустовом ложе файлов и файловых систем?! Хотите хранить объекты? Шишкин с начальником Рейзером изначально в Reiser4 планировали такую возможность.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	192. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от _ (??) on 08-Авг-17, 17:18
	Да тьфу на вас! AWS S3 и "наслаждайтесь" ... Только вот они тоже "прокрустово ложе файлов и файловых систем" поверх обжект стора _эмулируют_ :-))) Потому как хуже водки - лучше нет! (С) До сих пор.
	Ответить | Правка | ^ к родителю #106 | Наверх | Cообщить модератору

26. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
Сообщение от Kuromi on 06-Авг-17, 14:54
Круто. F2FS никак до полностью рабочего состояния довести не могут, GRUB2 тормозит с поддержкой, а они новую уже придумали. Напоминает Jabber, где разработчики штампуют XEP (расширения протокола), а реализовывать поддержку в клиентах никто не спешит.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	42. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+5 +/–
	Сообщение от A.Stahl (ok) on 06-Авг-17, 16:14
	>разработчики штампуют XEP Кладут. Судя по удобству того что они натворили, то не штампуют, а кладут.
	Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

45. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–3 +/–
Сообщение от Аноним (??) on 06-Авг-17, 16:40
Инновационная btrfs тормозит в большинстве тестов. Новая виндовая refs, убийца ntfs, медленнее в большинстве тестов. Понаделали инновационных файловых система со всякими cow и снапшотами, а для hdd так и нет простой, быстрой фс со сжатием.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	51. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–5 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 17:38
	А, как ранее MS пиарщики и незалежнi-тестировщики/обзорщиками пиарили что NTFS быстрее FAT... Ага, "быстрее", когда в каталоге(и то как выясняеся только одного уровня из-за внутренней организации NTFS) - более сотен тысяч файлов (и притом нужна именно скорость открытия/создания ф-лов, а не просто чтения). И то, как опять же выясняется давно ОСи используют дерево поиска и для ...FAT уже чисто в RAM, но о том сказать всеголишь "забыли"... Или что NTFS в отличие от FAT - не создаёт фрагментации файлов (ну если после преобразования фрагментирвоанного FAT диска - в NTFS, теперь менее фрагментированно...) Но, на самом деле NTFS и (даже)nativ'ным дефрагментатором - предположительно-специально (надо же прогресс толкать, в виде upgrade и перехода на SSD и/или M2, вы же любите Прогресс... аммериканский и натовский правда...) - даже сильней фрагментирует файлы...        (была как то статья и о таком анализе)
	Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

	54. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
	Сообщение от Michael Shigorin (ok) on 06-Авг-17, 18:34
	> простой, быстрой фс со сжатием. Выберите два.
	Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

	59. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 06-Авг-17, 19:17
	Можно тогда пример хорошей фс быстрой со сжатием?
	Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

	60. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+1 +/–
	Сообщение от Led (ok) on 06-Авг-17, 19:49
	> Можно тогда пример хорошей фс быстрой со сжатием? reiser4. Но там свои "тараканы". В частности, образы виртуалок на неё лучше не класть (и не ложить), или ложить специальным образом.
	Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

	96. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 07-Авг-17, 01:22
	> образы виртуалок на неё лучше не класть Кстати, много где такое слышал. Вроде вызвано тем, что при восстановлении файловая система не понимает, какая "часть" файловых секторов относится к файловой системе хоста, а какая - к файловой системе виртуалки? Как другие файловые системы от таких проблем защищаются?
	Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

	97. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Led (ok) on 07-Авг-17, 01:37
	>> образы виртуалок на неё лучше не класть > Кстати, много где такое слышал. Вроде вызвано тем, что при восстановлении файловая > система не понимает, какая "часть" файловых секторов относится к файловой системе > хоста, а какая - к файловой системе виртуалки? Как другие файловые > системы от таких проблем защищаются? Нет, там всё намного прозаичнее и проявляется только когда включена компрессия: просто всё жутко начинает тормозить при старте виртуалки и IO упирается "в потолок". При этом ничего не портится и после "прожёвывания" образа через несколько минут виртуалка стартует и работает. Для reiser4 нет возможности явно сказать: "этот файл не сжимай". В рассылках был хак от Шишкина как это обойти, но это всего лишь не очень удобный хак.
	Ответить | Правка | ^ к родителю #96 | Наверх | Cообщить модератору

	202. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от me (??) on 12-Авг-17, 00:14
	> Для reiser4 нет возможности явно сказать: "этот файл не сжимай". В рассылках > был хак от Шишкина как это обойти, но это всего лишь не очень удобный хак. Ну напишите уже кто-нить ioctl, чтобы помечать файлы как несжимаемые. Попросите Шишкина - он подробно объяснит как это сделать. Делов-то на пару часов.
	Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

	203. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Led (ok) on 12-Авг-17, 00:17
	>> Для reiser4 нет возможности явно сказать: "этот файл не сжимай". В рассылках >> был хак от Шишкина как это обойти, но это всего лишь не очень удобный хак. > Ну напишите уже кто-нить ioctl, чтобы помечать файлы как несжимаемые. Попросите Шишкина > - он подробно объяснит как это сделать. Делов-то на пару часов. Костыдь - за пару часов. А по-хорошему - xattrs (с поддержкой 'c').
	Ответить | Правка | ^ к родителю #202 | Наверх | Cообщить модератору

	204. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от me (??) on 12-Авг-17, 00:51
	> Костыдь - за пару часов. > А по-хорошему - xattrs (с поддержкой 'c'). А почему xattrs (с поддержкой 'c') тогда не костыль, а всё остальное - костыль?
	Ответить | Правка | ^ к родителю #203 | Наверх | Cообщить модератору

	205. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Led (ok) on 12-Авг-17, 00:58
	> А почему xattrs (с поддержкой 'c') тогда не костыль, а всё остальное - костыль? Потому что xattrs уже есть в vfs и реализовано в ext234/btrfs/xfs (может ещё где) и никого дополнительно ioctl не требуется - он уже есть, как и lsattr и chattr "из коробки".
	Ответить | Правка | ^ к родителю #204 | Наверх | Cообщить модератору

	200. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
	Сообщение от XoRe (ok) on 08-Авг-17, 19:06
	> Можно тогда пример хорошей фс быстрой со сжатием? ZFS
	Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

	201. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
	Сообщение от Led (ok) on 08-Авг-17, 23:43
	>> Можно тогда пример хорошей фс быстрой со сжатием? > ZFS Спрашивали же хорошую и быструю, а не просто объект поклонения pussy.exe'шников.
	Ответить | Правка | ^ к родителю #200 | Наверх | Cообщить модератору

	212. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
	Сообщение от XoRe (ok) on 27-Авг-17, 16:36
	>>> Можно тогда пример хорошей фс быстрой со сжатием? >> ZFS > Спрашивали же хорошую и быструю, а не просто объект поклонения pussy.exe'шников. А я и не про BSD
	Ответить | Правка | ^ к родителю #201 | Наверх | Cообщить модератору

	61. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–3 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 19:59
	NTFS и ZFS?
	Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

55. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
Сообщение от Вася1970 on 06-Авг-17, 18:43
NVM это по идее отказ от концепции файла, отход от принципа unix и новая ОС, а не костыль в виде ФС
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	58. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Crazy Alex (ok) on 06-Авг-17, 18:48
	Чего, блин? И чем ты собрался заменить файл как именнованную сущность на постоянном носителе? Они, если что, не для софта, а для людей - так всю эту гору байт можно хоть как-то организовать. И то, что в идеале оперативная и долговременная память объединятся - это вообще никак не поменяет.
	Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

	69. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
	Сообщение от анононк on 06-Авг-17, 20:49
	вообще-то может и поменяет, все будет в сжатых бинарниках(приложения), а даныe в базах которая при исполнение тоже, мать его бинарник, вместо фалов будут сжатые человеконепонятные байткоды.
	Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

	71. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Crazy Alex (ok) on 06-Авг-17, 21:12
	И что поменяется? Какая-нибудь XFS или Ext4 охренеть какая человекопонятная, если тупо бинарный формат смотреть. Встроенное хранилище в каком-то виде - хоть контейнерные форматы, хоть sqlite - на каждом шагу. А главное - это всё вполне неплохо свои задачи выолняет. Поэтому никаких изменений не будет.
	Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

	75. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–3 +/–
	Сообщение от анононк on 06-Авг-17, 21:43
	вместо данных в "базах данных фс" не будет файлов в виде байткодов, а будут адресса(в ввиде бфйткода которые хранят ссылки на части базы данных в которой хранится инфа в ввиде бинарников) и метаданные(и адресса на метаданные) для распаковки(инфы из сжатых бинарников) понятных для человека данных. Самого понятия "файловая система" не будет, будет что-то типа "система хранения информации в режимах ввод/вывод/временно/заблокированно/"вышло за пределы адрессного пространства"/..."
	Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

	79. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+3 +/–
	Сообщение от Аноним (??) on 06-Авг-17, 22:23
	> Самого понятия "файловая система" не будет, будет что-то типа "система хранения информации в режимах ввод/вывод/временно/заблокированно/"вышло за пределы адрессного пространства"/..." Такое - существует давно и называется просто: своп-файл (или же ROM-образ/прошивка, а более широко: и ISO Образ). Даже в один файл на всё - всёравно даже при отсутствии возможности создания подфайлов - вынужденно запихнут 100-5000-100000 подфайлов в какомнибудь незапаконном ZIP формате как это было в .PAK ф-лах, даже и без поддержки самих ф-лв ОСью - прямо в исходном коде. Людей не надурить ноухау перделками. > вместо данных в "базах данных фс" не будет файлов в виде байткодов, а будут адресса(в ввиде бфйткода которые хранят ссылки на части базы данных в которой хранится инфа в ввиде бинарников) и метаданные(и адресса на метаданные) для распаковки(инфы из сжатых бинарников) понятных для человека данных. Это и называется файловая система....
	Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

	76. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
	Сообщение от Отражение луны (ok) on 06-Авг-17, 21:50
	Гораздо удобнее и удачнее хранить это дело таблицей с блобами, например, выделив контейнер с "файлами" в отдельный процесс. Тебе попросту не нужна бесполезная сущность в виде фс. Но говорить об этом еще рано, т.к. действительно - все это требует радикально другого подхода в программировании и построении ОС. Скорее всего будем тянуть легаси еще лет 20 после повсеместного распространения технологии.
	Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

	197. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Ordu (ok) on 08-Авг-17, 18:12
	> И то, что в идеале оперативная и долговременная память объединятся - это вообще никак не поменяет. Мне кажется, что это чересчур сильное утверждение. Существуют примеры софта, который инкапсулирует фс и файлы, и общается с пользователем в иных терминах. Взять тот же calibre. Общение с calibre идёт в терминах отдельных книг, но не файлов. calibre где-то там хранит у себя книги, и делает это в виде файлов, но те файлики где-то лежат, и в каком виде они лежат, где именно -- это уже не те вопросы, которые волнуют пользователя. Если бы адресное пространство Calibre целиком бы мапилось на NVRAM, то он бы мог не создавать никаких файлов, а непосредственно хранить все книги в ОЗУ в представлении заточенном на RAM. Можно ещё для примера взять браузерный кеш. Там, с точки зрения человека, очень неудобно используется fs, куча файликов с непонятными именами, и маппинг url -> имя файла выполняется через sql. Тут опять же fs полностью инкапсулирована, и весь этот кеш можно было бы хранить в RAM формате в адресном пространстве, не заморачиваясь на обеспечение способности скидывать содержимое RAM на диск в виде sql и кучи файлов. Это лишь два примера, которые пришли мне в голову. И оба этих примера, в сегодняшнем исполнении, имеют как RAM представление хранилища, так и дисковое представление заточенное на хранение в файлах на блочном устройстве. В обоих этих примерах можно было бы выкинуть кучу кода связанного с реализацией обратимого отображения RAM представления в дисковое представление. То есть, файловая система как хранилище данных легко может уйти в прошлое. Проблемы с избавлением системы от файлов начнутся в тех случаях, когда файлы используются как своего рода IPC. Скажем, /usr/src/linux хранит кучу файлов, которые используются не только как хранилище информации, но и способ передачи этой информации от одного приложения другому. make, gcc, git, текстовый редактор -- они посредством файлов передают информацию друг-другу. И вот такое использование файлов будет сложно заменить чем-то ещё. Можно, но это потребует изобретения какого-то нового способа прокидывать информацию между приложениями, и может быть этот способ даже будет лучше чем фс, но зато он будет менее универсальным. А это значит что либо придётся изобретать не просто так способ, но универсальный способ, либо для каждого подобного случая изобретать новый велосипед. С другой стороны, есть же fuse... Да! Глянь. Фантазируя чисто гипотетически. Возьмём git, перепишем его под использование nvram, так чтобы для каждого git-репозитория мы бы запускали отдельный процесс, и всё содержимое этого репозитория хранилось бы в адресном пространстве этого процесса. Там всё равно всплывёт понятие файла, но оно не будет привязано к ограничениям блочных устройств и при этом оно будет заточено под задачи git. Теперь, git регистрирует fuse файловую систему как чистой воды IPC, и всякие там текстовые редакторы, make, gcc и прочие бизоны общаются с git через fuse-интерфейс. А если ещё каким-нибудь образом научить этот fuse интерфейс переключать контексты при вызовах open/read/write не через ядро, а непосредственно между процессами, чтобы каждый такой "сисколл" приводил бы к _двум_ переключениям контекста -- туда и обратно, -- а не к четырём: клиентский процесс -> ядро -> fuse-процесс -> ядро -> клиентский процесс... Если как-то извернуться таким образом, то это будет даже не медленнее чем при использовании ядерной фс, а скорее всего даже быстрее, потому что данные организованы не в фс, которая заточена на общий случай, а специальным образом заточенным именно на данный класс use-case'ов. Ядерная фс прекращает существовать. Вместо /etc мы запускаем etcd. Вместо /bin, /sbin/ /lib и прочих, мы запускаем ldd. Вместо /home/user мы запускаем DE и разнообразные софтины на разные случаи жизни. Правда напрашиваются проблемы с бекапами. Если плазма упадёт, то будут утеряно всё то, что пришло на замену /home/user.
	Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

	207. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от rex (??) on 15-Авг-17, 23:54
	Идеи красивые. К тому всё и идет, но: Реальный софт личит, бакапится, и главное апгрейдится. Поэтому всё равно нужны 2 представления невременных данных: для рантайма и для переноса в следующий рантайма. Соответственно выкинуть кучу кода для преобразования между представлениям не выйдет. Выкинуть можно маленькую кучку, завязанную именно на фс. Прикладной софт уже в основном работает через базу/библотеку, т. к. хочет транзакции и индексы. Соответственно эта кучка расположена в глубине системных библотек. Авторы этих системных библотек смогут что-то выкинуть и как-то соптимизировать рантайм. Но с точки зрения остальных -- сильных изменений не видно.
	Ответить | Правка | ^ к родителю #197 | Наверх | Cообщить модератору

	138. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–2 +/–
	Сообщение от Kodir (ok) on 07-Авг-17, 18:29
	"Концепция файла" вечна, не трогайте святое, дабы не позориться. А если очередной бред вам вступит в голову, посетите туалет, а потом напишите слово "флешка" и разъясните самому себе, как очередная концепция будет с ней работать.
	Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

	211. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от pavlinux (ok) on 18-Авг-17, 00:41
	> "Концепция файла" вечна, не трогайте святое, дабы не позориться. Файлов не существует, смирись. > а потом напишите слово "флешка" и разъясните самому себе, как очередная концепция будет с ней работать. Тебе, человеку-шаблону, надо всё разъяснять. Есть read(), write() и lseek() - это всё что нужно, чтоб порвать твой шаблон.
	Ответить | Правка | ^ к родителю #138 | Наверх | Cообщить модератору

	213. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 01-Окт-17, 00:34
	Тронули давно https://lsub.org/ls/export/box.html https://lsub.org/ls/export/2kblocks/
	Ответить | Правка | ^ к родителю #138 | Наверх | Cообщить модератору

62. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
Сообщение от Baz on 06-Авг-17, 20:12
интересно, а есть ли уже комп и OS для него где функция ПЗУ и ОЗУ объединена в NVM?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	78. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Elly on 06-Авг-17, 22:06
	The machine (HP)
	Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

	99. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от A.Stahl (ok) on 07-Авг-17, 05:19
	Разве проект ещё жив? Вроде сворачивали же...
	Ответить | Правка | ^ к родителю #78 | Наверх | Cообщить модератору

85. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	–1 +/–
Сообщение от Аноним (??) on 06-Авг-17, 23:15
А старые приложения смогут и дальше работать?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

102. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
Сообщение от 111 (??) on 07-Авг-17, 08:11
Похоже EMC DSSD её уже давно использует (хотя может что-то и своё, но подход схож)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

108. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
Сообщение от Аноним (??) on 07-Авг-17, 11:03
жесткие диски гарантируют атомарность записи сектора (либо полностью запишется либо вообще не запишется) для этого у них есть конденсаторы и соответствующий алгоритм поведения. Это крайне важно для работы различных журналов, например журнала базы данных. Как быть тут? Может оно все же умеет писать более байта в случае отключения питания?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	117. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним (??) on 07-Авг-17, 12:25
	Оно то может и может, раз энерго-независимое, а вот куча [ЦПУ] кэшей... Ну я писал уже о них - ранее выше, сейчас перепосчу ниже.
	Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

	139. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Crazy Alex (ok) on 07-Авг-17, 20:22
	Не знаю, как насчёт "этого" (то, что пока продаётся - честно говоря, даже на опытные о,разцы едва тянет), а в ССД конденсаторы пихают. Не во все, конечно, вероятно, с NVRAM то же самое будет. А вообще - интересно, что с архитектурой тех же БД будет, когда понятие сектора отвалится.
	Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

	190. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от Аноним84701 (ok) on 08-Авг-17, 16:56
	> жесткие диски гарантируют атомарность записи сектора Либо подтвердит запись, а на самом деле все оставит в кэше. Или тупо поменяет очередность записи. Ведь так можно в бенчмарках обогнать конкурентов и попиариться на этом. Ну а то, что ФС на такое не расчитаны и могут полететь очень основательно (т.к. при проектировании барьеров/синхронизации метаданных/журналов и прочих механизмов, никто как-то не принимал в расчет, что исправная железка будет врать, да и проверить, в принципе, сложновато) - маркетолухов не волнует, т.к. для простого пользователя это уже проблема "падучей винды/бубунты/вставитьнужное". http://brad.livejournal.com/2116715.html https://github.com/lackrp/lackrp-public/blob/master/eBooks/O'Reilly.High.Performance.MySQL.3rd.Edition.Mar.2012.pdf > A final consideration is that many hard drives have write caches of their own, which > can “fake” fsync() operations by lying to the controller that the data has been written > to physical media. Hard drives that are attached directly (as opposed to being attached > to a RAID controller) can sometimes let their caches be managed by the operating > system, but this doesn’t always work either. These caches are typically flushed for an > fsync() and bypassed for synchronous I/O, but again, the hard drive can lie. You should > either ensure that these caches are flushed on fsync() or disable them, >
	Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

	206. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+2 +/–
	Сообщение от xv (??) on 14-Авг-17, 13:22
	HDD при отключении питания пишут за счёт энергии, генерируемой постепенно останавливающимся шпинделем и пакетом пластин. Enterprise SSD для этого имеют распаянные на плате конденсаторы. NVDIMM либо питаются через спецразъём от выносного ионистора, либо через контакты DIMM берут +12 В от конденсаторов на матплате.
	Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

	208. "Для Linux предложена новая ФС NOVA, спроектированная для NVM..."	+/–
	Сообщение от ishida (ok) on 16-Авг-17, 16:29
	Очень интересно, тоже хотелось бы ответ знать
	Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

210. "Для Linux предложена новая ФС NOVA, спроектированная для [BR..."	+/–
Сообщение от pavlinux (ok) on 18-Авг-17, 00:21
Прекрасно, нам пиво поставляют ящиками, а мы их открываем и разливаем по рюмкам. А когда захочется пивка, то переливаем рюмки в бутыли и пакуем в ящик. Ну не работает официант,  если на подносе меньше 4096 рюмок.   Оптимизаторы, йотп.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема