Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Доклад Google о файловых системах Linux, opennews (??), 06-Май-11, (0) [смотреть все] Вполне ожидаемые, если не очевидные, результаты , Phoenix (??), 23:09 , 06-Май-11, (1) +9 Разве не готов вроде в убунте, в федоре со следующего релиза хотели уже на нее , jameson (?), 23:12 , 06-Май-11, (2) –4 // Так промышленное и поиграться в системах, на которых тестируют все новое, нео, achekalin (ok), 23:24 , 06-Май-11, (3) +8 // Абсолютно уверен в том, что Гуглу наплевать на мнение этих тысяч юзеров btrfs , myhand (ok), 14:36 , 16-Янв-12, (159) Ну так потестируйте на себе, чем больше тех кто тестирует, тем быстрее обезглюча, Аноним (-), 01:07 , 07-Май-11, (19) +2 // Не все данные одинаково полезны Можно например на разделе для торрентов потести, rshadow (ok), 11:44 , 07-Май-11, (71) +2 // в бинарных дистрах можно и для usr юзать - какая разница, если всё можно быстро, Пиу (?), 19:45 , 07-Май-11, (94) Юзал я месяц назад этот btrfs в продакшене нужно было том с компрессией сгороди, Аноним (-), 07:29 , 08-Май-11, (99) не так давно ставил дебиан тестинг и попробовал btrfs, показались тормоза, а п, sam (??), 18:32 , 08-Май-11, (111) +1 В btrfs до сих пор нет fsck Если что нибудь произойдет то данным кранты С учет, anonymous (??), 20:04 , 08-Май-11, (116) Анадысь рассматривал линуксовые ФС на предмет возможности использования в след , metallic (ok), 23:54 , 06-Май-11, (5) +1 // Если у Вас не будет миллионов мелких файлов, то лучше использовать XFS -- не нов, vadiml (ok), 00:00 , 07-Май-11, (7) // Не поверите, но у меня как раз таки миллионы мелких файлов по 5-30Мб А в XF, metallic (ok), 00:04 , 07-Май-11, (10) +1   // Я под мелкими имел в виду размер в 5-30 кб, XFS не умеет с такими оптимально раб, vadiml (ok), 00:16 , 07-Май-11, (14)   Ну вы домашний комп и промышленный файловый сервер с iowait 90 почти всегда не, metallic (ok), 00:24 , 07-Май-11, (15)   а я вот не путаю - xfs отличный вариант зыжпро мелкие файлы - xfs отлично развил, ананим (?), 01:19 , 07-Май-11, (27) –2   Ну вот на таком сервере я бы с удовольствием попробовал XFS , Аноним (-), 01:42 , 07-Май-11, (36)   Я и попробую, скорее всего именно XFS и будет, ибо вариантов особо больше нету , metallic (ok), 10:46 , 07-Май-11, (63) +1   Это называется начальника жаба душит дать денег на апгрейд железа, которое можн, Анон (?), 02:23 , 07-Май-11, (47)   С другой стороны, если у вас железо не полностью загружено - вы зря заплатили за, Аноним (-), 16:18 , 07-Май-11, (89)   Бедность не порок одни устанавливают железо под пиковые нагрузки, другие мирятс, umbr (ok), 13:44 , 08-Май-11, (104) +1   Это вы, батенька, как то скромно живете на XFS xfs_db -r -c frag dev sdd1actua, Аноним (-), 12:15 , 10-Май-11, (142)   Смотрите, дети, этот сказочный раздолбай качал торенты без преаллокации , Аноним (-), 15:23 , 23-Май-11, (150)   а меня пугают такие спецы зыжскоко дашь за настройку экст4 на 100Тб и больше , ананим (?), 01:17 , 07-Май-11, (26) –2   Мне вот интересно, а на сервере с 100Тб - неужели с оперативкой какие-то проблем, КО. (?), 01:53 , 07-Май-11, (42)   1 приведите мне сервер с 100Tб винтами и сколько таких винтов нужно в сторону -, ананим (?), 02:49 , 07-Май-11, (50)   Как связаны скорость канала и fsck , mine (ok), 10:04 , 07-Май-11, (62)   никак , ананим (?), 11:48 , 07-Май-11, (72)   Мы заказали IBM V7000 на 192 дисках по 600ГБ 2 5 10000rpm Ну ты понял, да Не , metallic (ok), 11:24 , 07-Май-11, (67) +1   а фс не выбрали оригенально с каких пор на ты ну не понял, так не понял , ананим (?), 11:57 , 07-Май-11, (74) –1   А как выбирать ФС без железа Будет железо - буду тестить, что шустрее бегает, metallic (ok), 12:02 , 07-Май-11, (75)   железо как железо с выбором то его уже определились фс надо выбирать под задачи, ананим (?), 15:36 , 07-Май-11, (87)   Задача - хранилка под не жатое видео покадрово, каждый кадр по слоям Файлый -, metallic (ok), 17:23 , 07-Май-11, (91)   ZFS же, DarkAGeS (ok), 17:32 , 07-Май-11, (92)   На чем , metallic (ok), 13:30 , 08-Май-11, (102)   http www opennet ru openforum vsluhforumID3 76968 html 93, DarkAGeS (ok), 16:26 , 08-Май-11, (107)   6-й рейд IOPS взаимоисключающие параграфы детектед , Anoni (?), 22:32 , 07-Май-11, (96)   А какой рейд надо , metallic (ok), 13:30 , 08-Май-11, (103)   Только RAID-10, он по записи не пролетает так жутко как все остальные Ну и конт, anonymous (??), 20:11 , 08-Май-11, (117)   Во-первых, у 10-го рейда избыточность 50 , в курсе, да И стоимость СХД от этого, metallic (ok), 20:21 , 08-Май-11, (118)   Все правильно, не слушай дураков 640 килобайт всем хватит c избытком А уж подо, anonymous (??), 23:46 , 09-Май-11, (138)   Еще раз есть бюджет, в который внатяг протолкнули 192 диска, после долгих дебат, metallic (ok), 10:43 , 10-Май-11, (141)   На сервере, который будет подключен к хранилке, будет 8Гб памяти xfs_check с деф, metallic (ok), 11:37 , 07-Май-11, (69)   Где такие волшебные требования , pavlinux (ok), 13:03 , 07-Май-11, (78) –1   В документации к XFS, причем эти требования подтверждены практикой, у меня один , metallic (ok), 14:55 , 07-Май-11, (85)   то что память может закончится при xfs_check - да, указано, но именно про по 2Г, ананим (?), 16:14 , 07-Май-11, (88)   Какой ей памяти надо RAM или VM , pavlinux (ok), 01:15 , 08-Май-11, (98)   Свап прокатывает, когда 22Тб раздел проверял , metallic (ok), 20:22 , 08-Май-11, (119)   Когда пытался 22ТБ раздел в екст4 форматнуть - гуглил но решения не нашел В вик, metallic (ok), 10:51 , 07-Май-11, (64)   Судя по этому То есть максимальный размер раздела один _эксабайт_, максимальный , Lampus (ok), 11:39 , 07-Май-11, (70)   Так я об этом и писал, поддержка в ядре большой ФС есть, а вот утилит для создан, metallic (ok), 12:40 , 07-Май-11, (76)   Вот патчи e2fsprogs https github com tytso e2fsprogs-64bit, Lampus (ok), 11:53 , 07-Май-11, (73) +1   Че-та я очкую, Славик С Хрен знает каким боком этот костыль потом выйдет Кро, metallic (ok), 12:41 , 07-Май-11, (77)   у меня был хард с потерей информации графика главным образом, видео, пдф, немно, аывава (?), 01:34 , 25-Авг-11, (157)   Под мелкие файлы XFS великолепно тюнится Гуглится с первого раза С 2000-х год, AMD Man (?), 01:37 , 07-Май-11, (33) +1 // Раньше XFS тормозил если метаданных много, что как раз и есть в случае мелочи Н, Аноним (-), 01:46 , 07-Май-11, (37) В новых - это каких Я планирую использовать дебиан 6, там в репах 2 6 32, metallic (ok), 10:52 , 07-Май-11, (65) Фи, в 2 6 32, ещё delaylog нету , pavlinux (ok), 13:05 , 07-Май-11, (79) Ну придется собрать ядро, metallic (ok), 13:11 , 07-Май-11, (81) У меня с мелкими файлами только небольшой раздел 200 гиг под home, тут меня б, vadiml (ok), 01:46 , 07-Май-11, (38) Только почему-то в интернете попадается много случаев когда fsck диск убил Одна, Аноним (-), 01:54 , 07-Май-11, (43) У меня где-то в 2007 была глючная МВ, глухо вешала систему на голом месте, 2 раз, vadiml (ok), 02:10 , 07-Май-11, (45) всё тоже самое, только фс нужно поменять местами оракель, 300 гб база, корень с , ананим (?), 02:58 , 07-Май-11, (51) reiserfs для баз данных противопоказан -- постоянный sync базы убивает его преим, vadiml (ok), 14:55 , 08-Май-11, (105) 100Тб чего, если не секрет , Anonymousapiens (ok), 00:07 , 07-Май-11, (11) // В каком смысле чего Содержимое Не жатое видео по слоям и кадрам, metallic (ok), 00:11 , 07-Май-11, (12) –1 // Спасибо, ясно , Anonymousapiens (ok), 00:16 , 07-Май-11, (13) это он выше про мелкие файлы говорил D, ананим (?), 01:21 , 07-Май-11, (28) XFS с ним неплохо справится Особенно в свежих ядрах, где работу с метаданными у, Аноним (-), 01:32 , 07-Май-11, (30) yt поверишь, но правильные параметры она подбирает сейчас сама проверял я кон, ананим (?), 01:35 , 07-Май-11, (31) XFS по вашему видео плачет Разложить на страйп с грамотными параметрами Взлети, Аноним (-), 01:09 , 07-Май-11, (20) // У меня аппаратный рейд будет, зачем еще какой страйп , metallic (ok), 10:54 , 07-Май-11, (66) // Вот это интересный вопрос, далеко не каждый hw-рейд может потягаться с полноценн, fi (ok), 16:56 , 08-Май-11, (110) Попробуем, но V7000 покупаем как раз потому, что DS3512 не умеет рейды в логичес, metallic (ok), 22:48 , 08-Май-11, (123) Я большинство разделов перевёл на XFS пару лет назад и до сих пор не жалею, а по, vadiml (ok), 23:56 , 06-Май-11, (6) // XFS хороша для больших файлов, типа торентов всяких, видео, даже нежатого и проч, Аноним (-), 01:29 , 07-Май-11, (29) // сразу ясно - человек не понимает о чём говорит , ананим (?), 01:36 , 07-Май-11, (32) –1 // Слишком толсто Конкретнее, Склифосовский , Аноним (-), 01:47 , 07-Май-11, (39) конкретнее торент юзает мелкие фрагменты файлов и пишит ими же в фс преалокаци, ананим (?), 03:11 , 07-Май-11, (52) –1 зыжи тем не менее он в одном прав - xfs отличный выбор и для торрентов почему по, ананим (?), 03:36 , 07-Май-11, (55) –1 А как там на счет файлов, забитых полностью нулями Приходилось читать про эту о, Drist (ok), 19:44 , 08-Май-11, (113) Дочинивалось в 28 ядре, чтоли Более свежие этим особенно не страдают вроде , Аноним (-), 16:36 , 23-Май-11, (151) вам ехать или шашечки На пост о том как отформатировать и юзать 100TB - это тоже, Аноним (-), 00:01 , 07-Май-11, (8) –1 // Это мне про ZFS А на чем ее крутить На бзде Спасибо - идите мимо Особенно в с, metallic (ok), 00:02 , 07-Май-11, (9) // Лол Ну юзайте 16гиговый ext4, профессианал , Аноним (-), 00:36 , 07-Май-11, (16) –3 // Во первых, 16Тб 16Гб, дилетант Во вторых, для 100Гб файлов есть хоть тот же , Аноним (-), 01:11 , 07-Май-11, (21) У вас диск на 16 Терабит PS С формулой 16Тб 16 Гб согласен , Аноним (-), 02:17 , 07-Май-11, (46) 16 Терабод , pavlinux (ok), 13:10 , 07-Май-11, (80) +3 Не вижу никаких проблем набрать составной том на 16Тб Всего 8 HDD по 2Гб и гото, Аноним (-), 18:12 , 23-Май-11, (152) курите на дебиане kfreebsd ну или на opensolaris nexentaps но лучше на freebs, DarkAGeS (ok), 17:40 , 07-Май-11, (93) // Опенсолярис мертв, всякие гибриды как-то не очень доверие вызывают, хотя можно б, metallic (ok), 19:23 , 08-Май-11, (112) да не так уж она отстает во фре v15 сейчас в следующем релизе будет v28 с деду, DarkAGeS (ok), 19:53 , 08-Май-11, (114) А зачем ZFS вообще Что в ней такого Она хороша для реализации программных СХД , metallic (ok), 20:29 , 08-Май-11, (120) У ZFS много полезных плюшек, но при таком соотношении disk ram 100Tb 8Gb она ск, vle (ok), 00:13 , 09-Май-11, (127) что ей мешает работать при таком соотношении непонятноне могу не согласиться д, DarkAGeS (ok), 04:33 , 09-Май-11, (130) это даа на чем у вас железные снапшоты и дедубликация ну в общем то снапшоты, , DarkAGeS (ok), 04:47 , 09-Май-11, (131) Писал же уже IBM Storwize V7000Из этого мне ничего не надо, я имею ввиду именно , metallic (ok), 12:44 , 09-Май-11, (136) Может быть вы и не догоняете, но сервер состоит не только из файловой системы К, Аноним (-), 01:16 , 07-Май-11, (25) –1 // ZFS чуть проще XFS, исходный код лучше откомментирован и оттестирован Утилиты в, iZEN (ok), 16:50 , 08-Май-11, (109) ZFS требует 1Г памяти на каждый 1Т данных , Anoni (?), 22:38 , 07-Май-11, (97) // Это откуда такие требования Быстрому кэшу ARC нужно минимум 1ГБ RAM, а L2ARC им, iZEN (ok), 16:47 , 08-Май-11, (108) Эх Рейзер 8230 Как же мне нравилась эта ФС Я думал, намного будет 8230 Н, Аноним (-), 00:50 , 07-Май-11, (17) +1 Что они там не осилили в ней , Анон (?), 02:24 , 07-Май-11, (48) // выбирали 2 года назад xfs изменилась с тех пор как и экст с 3 до 4 , ананим (?), 03:18 , 07-Май-11, (54) –1 Всякой задаче - свой инструмент с ЛюдиУ меня даже на домашней машинке нескольк, iCat (ok), 07:58 , 07-Май-11, (57) –1 // А теперь попробуем со всем этим взлететь , djo (??), 08:57 , 07-Май-11, (58) +2 // Уже который год Полёт нормальный - reiserfs множество мелких файлов, необх, iCat (ok), 09:04 , 07-Май-11, (59) // gt оверквотинг удален В общем согласен, кроме boot под ext3, максимум ext2, и, pavlinux (ok), 13:15 , 07-Май-11, (82) А вот некоторые другие с рейзером почему-то ругаются, когда им fsck превращает т, Аноним (-), 18:39 , 23-Май-11, (154) А вот у меня этот самый fsck отрабатывает нормально да ещё и битый диск смо, iCat (ok), 04:16 , 24-Май-11, (156) а я вот я выбираю единственный NTFS, и не разбираюсь в этой кучке непонятных ФС , anonym12qw (?), 09:07 , 07-Май-11, (60) –7 // ну это-то понятно но тут пишут те, кто разбирается хотя бы чуть чуть , ананим (?), 09:14 , 07-Май-11, (61) +2 Надеюсь она у Вас используется как корневая ФС, причём на том же разделе где и W, pavlinux (ok), 13:18 , 07-Май-11, (83) А я вот с недавних пор NTFS-у доверяю только саму Windows, а все данные храню на, iCat (ok), 13:28 , 07-Май-11, (84) А в чем смысл ext3 Почему не выбрать обычную ext2 , ffirefox (?), 22:36 , 08-Май-11, (122) // а в чем смысл отдельного boot , анонимоус (?), 15:36 , 10-Май-11, (143) // Корень на ФС, которой не умеет бутлоадер , Andrey Mitrofanov (?), 15:40 , 10-Май-11, (144) у меня reiserfs,ext2,ext3,ext4,fat запилены в ядро и думаю не только у меня рань, анонимоус (?), 16:43 , 10-Май-11, (145) Закрузчик, как то lilo, grub Читать научитьсь, яколка , Andrey Mitrofanov (?), 17:14 , 10-Май-11, (146) дыг этот самый grub отлично все понимает просто некоторые использующие отдельный, анонимоус (?), 18:11 , 10-Май-11, (147) Мдэ Ладно люди home не жалеют, у большинства там ничего полезного нет Но систе, vle (ok), 00:20 , 09-Май-11, (128) // net_storage - понятие сильно растяжимое, чтоб делать какие-то выводы о пригодно, iCat (ok), 12:40 , 09-Май-11, (135) // OpenSolaris для дома для семьи Или zfs на линуксе , vle (ok), 00:02 , 10-Май-11, (139) NexentaStor CE В общем - да, OpenSolaris в какой-то степени Для дома, для се, iCat (ok), 03:20 , 10-Май-11, (140) Какой я счастливый человек Использую ReiserFS в корне, на внешнем usb HDD изна, yantux (??), 15:25 , 07-Май-11, (86) // У вас с Гуглом разные сценарии применения ФС К О , Аноним (-), 16:28 , 07-Май-11, (90) Тут ведь как оно можно всё кушать ложкой И не париться Да вот только мясо вил, iCat (ok), 13:03 , 08-Май-11, (101) ну, ReiserFS понятно а JFS каким боком по мне - неплохая фсистема , nobody (??), 21:00 , 07-Май-11, (95) // Есть у jfs проблемы с большими размерами томов И не факт, что они будут когда-л, Drist (ok), 20:04 , 08-Май-11, (115) ext4 с опциями по умолчанию все еще тормозит при использовании ее на разделе с о, анон (?), 10:48 , 08-Май-11, (100) // Образы разные бывают И файловая система ни причем, тут важно как отрабатываются, anonymous (??), 20:32 , 08-Май-11, (121) тема nilfs2 не раскрыта , Аноним (-), 15:28 , 08-Май-11, (106) // А что там раскрывать, первые минуты после свежего форматирования все эти COW-под, anonymous (??), 23:27 , 08-Май-11, (124) // Не надо обобщать ZFS не страдает от такой фигни как заполненность диска , iZEN (ok), 23:54 , 08-Май-11, (126) // Врать-то зачем Сходу пример http groups google com group fido7 ru unix bsd tr, nuclight (ok), 14:07 , 23-Май-11, (149) А я и не вру zpool list storeNAME SIZE USED AVAIL CAP HEALTH ALTROO, iZEN (ok), 21:25 , 23-Май-11, (155) интересно, а почему google не инвестирует в разработку reiser4 лично считаю, ч, gni (?), 23:46 , 08-Май-11, (125) // разработчиков мало заинтересованных проект сам по себе бурно бы развивался, будь, nobody (??), 10:33 , 09-Май-11, (132) // ев , nobody (??), 10:35 , 09-Май-11, (133) // асно тогда ворпос, просто сам напрашивающийся, а почему их мало т е нужна р, gni (?), 12:23 , 09-Май-11, (134) Со стороны Ганса было достаточно антирекламы в LKML, когда он забил болт на reis, Я (??), 12:34 , 16-Янв-12, (158) а зачем гуглю инвестировать в сомнительную коммерческую затею человека, который , пох (?), 22:41 , 09-Май-11, (137) Собственно моё IMHO не сколько инное чем у остальных участников флейма ext4 отли, sic (?), 20:55 , 16-Май-11, (148) +1 // Аналогично Все стандартные системы - на ext4, ибо мейнстрим Городить зоопарк р, AlexAT (ok), 16:27 , 16-Янв-12, (160) ВНЕЗАПНО, Аноним (-), 01:21 , 17-Янв-12, (161) 1,2,5,6,8,17,48,57,86,95,100,106,125,148,161

Сообщения

[Сортировка по времени | RSS]

	10. "Доклад Google о файловых системах Linux"	+1 +/–
	Сообщение от metallic (ok), 07-Май-11, 00:04
	> Если у Вас не будет миллионов мелких файлов, то лучше использовать XFS > -- не новая, отлаженная, быстрая, многопоточные чтение-запись (по потоку на каждый > экстент), есть дефрагментатор, утилиты восстановления. Не поверите, но у меня как раз таки миллионы мелких файлов :) (по 5-30Мб). А в XFS меня пугает требования к объему памяти для чекдиска, хотя, вроде, можно указать сколько памяти максимум использовать. Вообще да, скорее всего XFS и буду использовать, JFS уже не развивается.
	Ответить | Правка | Наверх | Cообщить модератору

	14. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от vadiml (ok), 07-Май-11, 00:16
	> Не поверите, но у меня как раз таки миллионы мелких файлов :) > (по 5-30Мб). Я под мелкими имел в виду размер в 5-30 кб, XFS не умеет с такими оптимально работать. > А в XFS меня пугает требования к объему памяти для чекдиска, хотя, > вроде, можно указать сколько памяти максимум использовать. Да, это можно задать и лучше заранее посмотреть как :) Хотя за всё время использования у меня проблем с XFS разделами не было, хотя около полугода с ней просидел без UPS, а зимой иногда во всём доме эл-во выбивает. Дефрагментация тоже не пригодилась -- файловая система сама справляется даже на разделах с торрентами (на разделе свободно около 5%): # xfs_db -r -c frag /dev/sdc1 actual 76712, ideal 73345, fragmentation factor 4,39%
	Ответить | Правка | Наверх | Cообщить модератору

	15. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 00:24
	> Да, это можно задать и лучше заранее посмотреть как :) > Хотя за всё время использования у меня проблем с XFS разделами не > было, хотя около полугода с ней просидел без UPS, а зимой > иногда во всём доме эл-во выбивает. > Дефрагментация тоже не пригодилась -- файловая система сама справляется даже на разделах > с торрентами (на разделе свободно около 5%): > # xfs_db -r -c frag /dev/sdc1 > actual 76712, ideal 73345, fragmentation factor 4,39% Ну вы домашний комп и промышленный файловый сервер с iowait >90% почти всегда не путайте :)
	Ответить | Правка | Наверх | Cообщить модератору

	27. "Доклад Google о файловых системах Linux"	–2 +/–
	Сообщение от ананим (?), 07-Май-11, 01:19
	а я вот не путаю - xfs отличный вариант. зыж про мелкие файлы - xfs отлично развилась за последние 2-а года... но кому я это говорю?!!!
	Ответить | Правка | Наверх | Cообщить модератору

	36. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Аноним (-), 07-Май-11, 01:42
	> Ну вы домашний комп и промышленный файловый сервер с iowait >90% почти > всегда не путайте :) Ну вот на таком сервере я бы с удовольствием попробовал XFS... :)
	Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

	63. "Доклад Google о файловых системах Linux"	+1 +/–
	Сообщение от metallic (ok), 07-Май-11, 10:46
	Я и попробую, скорее всего именно XFS и будет, ибо вариантов особо больше нету.
	Ответить | Правка | Наверх | Cообщить модератору

	47. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Анон (?), 07-Май-11, 02:23
	> промышленный файловый сервер с iowait >90% почти всегда Это называется начальника жаба душит  дать денег на апгрейд железа, которое можно сказать прогнулось по полной.  С таким "iowait >90% почти всегда" сервер на промышленный как-то не тянет:)
	Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

	89. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Аноним (-), 07-Май-11, 16:18
	> С таким "iowait >90% почти всегда" сервер на промышленный как-то не тянет:) С другой стороны, если у вас железо не полностью загружено - вы зря заплатили за него деньги.
	Ответить | Правка | Наверх | Cообщить модератору

	104. "Доклад Google о файловых системах Linux"	+1 +/–
	Сообщение от umbr (ok), 08-Май-11, 13:44
	Бедность не порок: одни устанавливают железо под пиковые нагрузки, другие мирятся с лагами при пиковых нагрузках.
	Ответить | Правка | Наверх | Cообщить модератору

	142. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Аноним (-), 10-Май-11, 12:15
	> Дефрагментация тоже не пригодилась -- файловая система сама справляется даже на разделах > с торрентами (на разделе свободно около 5%): > # xfs_db -r -c frag /dev/sdc1 > actual 76712, ideal 73345, fragmentation factor 4,39% Это вы, батенька, как то скромно живете на XFS # xfs_db -r -c frag /dev/sdd1 actual 297119, ideal 1911, fragmentation factor 99.36% Весь раздел - одна большая файлопомойка под торренты.
	Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

	150. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Аноним (-), 23-Май-11, 15:23
	> actual 297119, ideal 1911, fragmentation factor 99.36% > Весь раздел - одна большая файлопомойка под торренты. Смотрите, дети, этот сказочный раздолбай качал торенты без преаллокации :)
	Ответить | Правка | Наверх | Cообщить модератору

	26. "Доклад Google о файловых системах Linux"	–2 +/–
	Сообщение от ананим (?), 07-Май-11, 01:17
	>Не поверите, но у меня как раз таки миллионы мелких файлов :) (по 5-30Мб). >А в XFS меня пугает требования а меня пугают такие "спецы". зыж скоко дашь за настройку экст4 на 100Тб и больше? :D а, потрындеть! :D понимаю.
	Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

	42. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от КО. (?), 07-Май-11, 01:53
	>>А в XFS меня пугает требования > а меня пугают такие "спецы". Мне вот интересно, а на сервере с 100Тб - неужели с оперативкой какие-то проблемы? Или большому диску большой буфер - не его принцип?
	Ответить | Правка | Наверх | Cообщить модератору

	50. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от ананим (?), 07-Май-11, 02:49
	1. приведите мне сервер с 100Tб винтами и сколько таких винтов нужно. в сторону - реально и сейчас какие винты есть? по 2Тб? 3? 5? так вот, если "вчера" и по 5, то таких нужно 20 штук. но сегодня таких винтов нет. вот пруф на яндексмарките http://market.yandex.ru/guru.xml?CMD=-RR=0,0,0,0-PF=2142356600~GT~sel~6000-VIS=160-CAT_ID=686672-EXC=1-PG=10&hid=91033 только в сборе хранилища. итак, сейчас есть только по 3Тб их нужно - 100/3~=33,(3) - т.е. 34 штуки. сервер говорите? нюню, видать по дешёвке по интернет магазину заказал :D но это всё было в сторону. для размышлений о "качестве" местных тролей. про оперативку - если раздаём по 1Гб/с каналу, то 4Гб ОЗУ хватит и на этот объём с лихвой. зыж могу и про эту цифру привести аналогичные очевидные рассуждения. вот только зачем? :D
	Ответить | Правка | Наверх | Cообщить модератору

	62. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от mine (ok), 07-Май-11, 10:04
	Как связаны скорость канала и fsck?
	Ответить | Правка | Наверх | Cообщить модератору

	72. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от ананим (?), 07-Май-11, 11:48
	никак.
	Ответить | Правка | Наверх | Cообщить модератору

	67. "Доклад Google о файловых системах Linux"	+1 +/–
	Сообщение от metallic (ok), 07-Май-11, 11:24
	> 1. приведите мне сервер с 100Tб винтами и сколько таких винтов нужно. Мы заказали IBM V7000 на 192 дисках по 600ГБ (2.5" 10000rpm) > но это всё было в сторону. для размышлений о "качестве" местных тролей. Ну ты понял, да? > про оперативку - если раздаём по 1Гб/с каналу, то 4Гб ОЗУ хватит > и на этот объём с лихвой. Не понял к чему тут про канал было написано, но он будет 10Гбит, если что
	Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

	74. "Доклад Google о файловых системах Linux"	–1 +/–
	Сообщение от ананим (?), 07-Май-11, 11:57
	>Мы заказали IBM V7000 на 192 дисках по 600ГБ (2.5" 10000rpm) а фс не выбрали? оригенально. >Ну ты понял, да? с каких пор на ты? >Не понял к чему тут про канал было написано, но он будет 10Гбит, если что ну не понял, так не понял.
	Ответить | Правка | Наверх | Cообщить модератору

	75. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 12:02
	А как выбирать ФС без железа? Будет железо - буду тестить, что шустрее бегает
	Ответить | Правка | Наверх | Cообщить модератору

	87. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от ананим (?), 07-Май-11, 15:36
	железо как железо. с выбором то его уже определились. фс надо выбирать под задачи. а вот их то вы как раз и не описали, как и то будут ли рэйды, лвм и т.д. и даже такой вопрос - а зачем вам всё нужно иметь именно таким большим куском? его обслуживание - простой всей конструкции. и почему не рассматривали кластерные распределённые фс?
	Ответить | Правка | Наверх | Cообщить модератору

	91. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 17:23
	Задача - хранилка под не жатое видео (покадрово, каждый кадр по слоям). Файлый - изображения размером 5-30Мб, раздаваться будут по самбе или нфс, не суть. Эти файлики будут собирать в видео несколько человек, т.е. один человек может одновременно работать с парой сотней гигов, раскиданных по всех хранилки. Почему одним разделом? Да так удобнее просто, можно и на 2-3 побить в принципе, только что это даст? По поводу аппаратной реализации. Как уже говорил будет 192 диска по 600гб. Они будут объединены в 6-ые рейды, например по 24 диска, т.е. 8 рейдов. Эти рейды хранилкой будут соединены с логический "агрегат", ОС будет видеть все это дело как один 100ТБ хард. Зачем все 192 диска соединять? Чтобы получить как можно большее кол-во iops на выходе, т.к. этот параметр для нас крайне важен. Про кластерные ФС: зачем она в этой задаче?
	Ответить | Правка | Наверх | Cообщить модератору

	92. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от DarkAGeS (ok), 07-Май-11, 17:32
	> По поводу аппаратной реализации. Как уже говорил будет 192 диска по 600гб. > Они будут объединены в 6-ые рейды, например по 24 диска, т.е. > 8 рейдов. Эти рейды хранилкой будут соединены с логический "агрегат", ОС > будет видеть все это дело как один 100ТБ хард. Зачем все > 192 диска соединять? Чтобы получить как можно большее кол-во iops на > выходе, т.к. этот параметр для нас крайне важен. ZFS же
	Ответить | Правка | Наверх | Cообщить модератору

	102. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 08-Май-11, 13:30
	>ZFS же На чем?
	Ответить | Правка | Наверх | Cообщить модератору

	107. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от DarkAGeS (ok), 08-Май-11, 16:26
	>>ZFS же > На чем? https://www.opennet.ru/openforum/vsluhforumID3/76968.html#93
	Ответить | Правка | К родителю #102 | Наверх | Cообщить модератору

	96. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Anoni (?), 07-Май-11, 22:32
	> По поводу аппаратной реализации. Как уже говорил будет 192 диска по 600гб. > Они будут объединены в 6-ые рейды, например по 24 диска, т.е. > 8 рейдов. Эти рейды хранилкой будут соединены с логический "агрегат", ОС > будет видеть все это дело как один 100ТБ хард. Зачем все > 192 диска соединять? Чтобы получить как можно большее кол-во iops на > выходе, т.к. этот параметр для нас крайне важен. 6-й рейд? IOPS? "взаимоисключающие параграфы детектед".
	Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

	103. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 08-Май-11, 13:30
	> 6-й рейд? IOPS? "взаимоисключающие параграфы детектед". А какой рейд надо?
	Ответить | Правка | Наверх | Cообщить модератору

	117. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от anonymous (??), 08-Май-11, 20:11
	Только RAID-10, он по записи не пролетает так жутко как все остальные. Ну и контроллеры подороже, с батарейкой, хотя это очевидно.
	Ответить | Правка | К родителю #103 | Наверх | Cообщить модератору

	118. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 08-Май-11, 20:21
	Во-первых, у 10-го рейда избыточность 50%, в курсе, да? И стоимость СХД от этого увеличивается почти в два раза. Во-вторых, в моей задаче 98% операция чтения, судя по мониторингу.
	Ответить | Правка | К родителю #117 | Наверх | Cообщить модератору

	138. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от anonymous (??), 09-Май-11, 23:46
	Все правильно, не слушай дураков. 640 килобайт всем хватит c избытком. А уж подождать пару недель пока рейд6 поелозит головками чтения записи и повосстанавливает разбросаные по всем дискам куски файлов при сбое - святое дело! Дались им эти несчастные несколько лишних дней. Монтажеры фильма опять же, вместо дурацкой лихорадочной работы за 2-3 дня до окончания срока смогут поехать в лес на шашлыки. Во всем выгода!
	Ответить | Правка | К родителю #118 | Наверх | Cообщить модератору

	141. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 10-Май-11, 10:43
	Еще раз: есть бюджет, в который внатяг протолкнули 192 диска, после долгих дебатов, собраний и т.д. Чтобы сделать 10-ый рейд - железа надо в два раза больше (дисков и полок). Про пару недель не понял, это речь идет о ребилде? Так ребилд 600Гб диска 10000rpm в шестом рейде идет пару часов, боевые серваки, которые сейчас есть (на 24шт 1ТБ 7200rpm дисках) ребилдятся за сутки-полтора, при этом работать-то можно, тормозит, но работает. Откуда дровишки про пару недель - не понятно.
	Ответить | Правка | К родителю #138 | Наверх | Cообщить модератору

	69. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 11:37
	> Мне вот интересно, а на сервере с 100Тб - неужели с оперативкой > какие-то проблемы? Или большому диску большой буфер - не его принцип? На сервере, который будет подключен к хранилке, будет 8Гб памяти. xfs_check с дефолтными параметрами требует по 2Гб на каждый 1Тб. Т.е. мне надо 200Гб оперативки XD Но там есть опции, которые задают, сколько максимально памяти использовать, но я еще не пробовал.
	Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

	78. "Доклад Google о файловых системах Linux"	–1 +/–
	Сообщение от pavlinux (ok), 07-Май-11, 13:03
	> xfs_check с дефолтными параметрами требует по 2Гб на каждый 1Тб. Где такие волшебные требования?
	Ответить | Правка | Наверх | Cообщить модератору

	85. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 14:55
	В документации к XFS, причем эти требования подтверждены практикой, у меня один серв. уже есть на XFS 20ТБ, там 8Гб памяти, так вот чекдиск в сег файлт падал, пока своп огромный не сделал.
	Ответить | Правка | Наверх | Cообщить модератору

	88. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от ананим (?), 07-Май-11, 16:14
	то что память может закончится при xfs_check - да, указано, но именно про "по 2Гб на каждый 1Тб" - не видел. к тому же xfs действительно быстро развивается - http://xfs.org/index.php/XFS_Status_Updates >XFS status update for January 2010 >... >The biggest changes in xfsprogs 3.1.0 were optimizations in xfs_repair that lead to a much lower memory usage, and optional use of the blkid library for filesystem detection and retrieving storage topology information. и на одной конференции ещё в 2008 утверждалось следующее • Memory usage reductions – allow larger filesystems to be checked in small RAM configs – Introduce more efficient indexing structures – Use extents for indexing free space вот пруф http://xfs.org/index.php/XFS_Status_Updates зыж а как себя ведёт xfs_repair? у него другой апи, а xfs_check - скрипт-оболочка вокруг xfs_db. такую проблему не замечал ни разу - но у нас и памяти всегда хватает. не выставлять же?
	Ответить | Правка | Наверх | Cообщить модератору

	98. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от pavlinux (ok), 08-Май-11, 01:15
	> В документации к XFS, причем эти требования подтверждены практикой, у меня один > серв. уже есть на XFS 20ТБ, там 8Гб памяти, так вот > чекдиск в сег файлт падал, пока своп огромный не сделал. Какой ей памяти надо RAM или VM ?
	Ответить | Правка | К родителю #85 | Наверх | Cообщить модератору

	119. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 08-Май-11, 20:22
	> Какой ей памяти надо RAM или VM ? Свап прокатывает, когда 22Тб раздел проверял.
	Ответить | Правка | Наверх | Cообщить модератору

	64. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 10:51
	> а меня пугают такие "спецы". > зыж > скоко дашь за настройку экст4 на 100Тб и больше? :D > а, потрындеть! :D > понимаю. Когда пытался 22ТБ раздел в екст4 форматнуть - гуглил но решения не нашел. В вики екст4 написано следующее: Currently, Ext3 support 16 TB of maximum file system size and 2 TB of maximum file size. Ext4 adds 48-bit block addressing, so it will have 1 EB1 of maximum file system size and 16 TB of maximum file size .... The code to create file systems bigger than 16 TB is, at the time of writing this article, not in any stable release of e2fsprogs. It will be in future releases. Так вот, если есть какое-то реальное решение - написал бы, а не умничал.
	Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

	70. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Lampus (ok), 07-Май-11, 11:39
	Судя по этому: > Ext4 adds 48-bit block addressing, so it will have 1 EB1 of maximum file system size and 16 TB of maximum file size То есть максимальный размер раздела один _эксабайт_, максимальный размер одного _файла_ 16 Тб. А вообще да, проблема в e2fsprogs такая имеется, видимо тянут для совместимости с ext3, в котором ограничение 16 Тб. Насколько я понял из списка рассылки разрабов, придётся ломать ABI чтобы сделать форматирование разделов более 16 Тб. Вот тут есть древние патчи для поддержки 64-битного режима в ext4dev http://www.bullopensource.org/ext4/ Но это всё голяк, стоит посмотреть в сторону git-версии, там валяются всякие вкусности типа дефрагментатора для ext4.
	Ответить | Правка | Наверх | Cообщить модератору

	76. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 12:40
	Так я об этом и писал, поддержка в ядре большой ФС есть, а вот утилит для создания такой ФС нет.
	Ответить | Правка | Наверх | Cообщить модератору

	73. "Доклад Google о файловых системах Linux"	+1 +/–
	Сообщение от Lampus (ok), 07-Май-11, 11:53
	Вот патчи e2fsprogs https://github.com/tytso/e2fsprogs-64bit
	Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

	77. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 12:41
	> Вот патчи e2fsprogs https://github.com/tytso/e2fsprogs-64bit "Че-та я очкую, Славик" (С) Хрен знает каким боком этот костыль потом выйдет. Кроме как создать ФС, ее еще потом обслуживать надо, так что я бы не рискнул. Судя по всему все же будет XFS
	Ответить | Правка | Наверх | Cообщить модератору

	157. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от аывава (?), 25-Авг-11, 01:34
	>> Если у Вас не будет миллионов мелких файлов, то лучше использовать XFS >> -- не новая, отлаженная, быстрая, многопоточные чтение-запись (по потоку на каждый >> экстент), есть дефрагментатор, утилиты восстановления. > Не поверите, но у меня как раз таки миллионы мелких файлов :) > (по 5-30Мб). > А в XFS меня пугает требования к объему памяти для чекдиска, хотя, > вроде, можно указать сколько памяти максимум использовать. > Вообще да, скорее всего XFS и буду использовать, JFS уже не развивается. у меня был хард с потерей информации (графика главным образом, видео, пдф, немного текста), на нём была установлена ехт журналируемая, после частичного форматирования и записи фс вообще не инитилась. Читал с хард-а форемост-ом (надо сказать отличнийшая штука, проприетарный коммерческий р-студио не лучше фри-форемоста). Так вот графич файлы на предмет их "гожести" я просматривал в наутилус-е в виде эскизов, увеличивая скролом до нужного. Фото исчислялись десятками тысяч, естественно отобразить такое количество за раз в эскизах сложно, тем более если файлы битые. Сначала пробовал порционить по 500 штук, потом до 300шт, потом до 100шт.если 100 еще просматривать можно, то чуть больше кол-во или битости фс сжирает весь рэм и этот жестокий инпут/аутпут. писал тоже на ехт журналируемый. КОнфигурация компа:коре 2 ггц, 3гб озу, видео отдельное 256мб.Если в опреленный момент я с виртуальной консоли не убью наутилус, то выход только ресет. на ехт 4 вообще были пропажи (год назад). С ХФС всё у меня изменилось. никогда не было такого беспредельного поведения, и очень много опций для конфигурирования/монтирования. Использую хфс только не на вар-е и бут-е (домаш. комп, старый рабочий бук), т.к. у неё (фс) слабое место удаление мелких файлов. А вот рекурсивный поиск, запись, многопоточный доступ, равномерный инпут/аутпут, обслуживание (дефраг) реализованы в достаточной мере. Еще бы можно было размер раздела с ней уменьшать :)
	Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема