Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Доклад Google о файловых системах Linux, opennews (??), 06-Май-11, (0) [смотреть все] Вполне ожидаемые, если не очевидные, результаты , Phoenix (??), 23:09 , 06-Май-11, (1) +9 Разве не готов вроде в убунте, в федоре со следующего релиза хотели уже на нее , jameson (?), 23:12 , 06-Май-11, (2) –4 // Так промышленное и поиграться в системах, на которых тестируют все новое, нео, achekalin (ok), 23:24 , 06-Май-11, (3) +8 // Абсолютно уверен в том, что Гуглу наплевать на мнение этих тысяч юзеров btrfs , myhand (ok), 14:36 , 16-Янв-12, (159) Ну так потестируйте на себе, чем больше тех кто тестирует, тем быстрее обезглюча, Аноним (-), 01:07 , 07-Май-11, (19) +2 // Не все данные одинаково полезны Можно например на разделе для торрентов потести, rshadow (ok), 11:44 , 07-Май-11, (71) +2 // в бинарных дистрах можно и для usr юзать - какая разница, если всё можно быстро, Пиу (?), 19:45 , 07-Май-11, (94) Юзал я месяц назад этот btrfs в продакшене нужно было том с компрессией сгороди, Аноним (-), 07:29 , 08-Май-11, (99) не так давно ставил дебиан тестинг и попробовал btrfs, показались тормоза, а п, sam (??), 18:32 , 08-Май-11, (111) +1 В btrfs до сих пор нет fsck Если что нибудь произойдет то данным кранты С учет, anonymous (??), 20:04 , 08-Май-11, (116) Анадысь рассматривал линуксовые ФС на предмет возможности использования в след , metallic (ok), 23:54 , 06-Май-11, (5) +1 // Если у Вас не будет миллионов мелких файлов, то лучше использовать XFS -- не нов, vadiml (ok), 00:00 , 07-Май-11, (7) // Не поверите, но у меня как раз таки миллионы мелких файлов по 5-30Мб А в XF, metallic (ok), 00:04 , 07-Май-11, (10) +1 // Я под мелкими имел в виду размер в 5-30 кб, XFS не умеет с такими оптимально раб, vadiml (ok), 00:16 , 07-Май-11, (14) Ну вы домашний комп и промышленный файловый сервер с iowait 90 почти всегда не, metallic (ok), 00:24 , 07-Май-11, (15) а я вот не путаю - xfs отличный вариант зыжпро мелкие файлы - xfs отлично развил, ананим (?), 01:19 , 07-Май-11, (27) –2 Ну вот на таком сервере я бы с удовольствием попробовал XFS , Аноним (-), 01:42 , 07-Май-11, (36) Я и попробую, скорее всего именно XFS и будет, ибо вариантов особо больше нету , metallic (ok), 10:46 , 07-Май-11, (63) +1 Это называется начальника жаба душит дать денег на апгрейд железа, которое можн, Анон (?), 02:23 , 07-Май-11, (47) С другой стороны, если у вас железо не полностью загружено - вы зря заплатили за, Аноним (-), 16:18 , 07-Май-11, (89) Бедность не порок одни устанавливают железо под пиковые нагрузки, другие мирятс, umbr (ok), 13:44 , 08-Май-11, (104) +1 Это вы, батенька, как то скромно живете на XFS xfs_db -r -c frag dev sdd1actua, Аноним (-), 12:15 , 10-Май-11, (142) Смотрите, дети, этот сказочный раздолбай качал торенты без преаллокации , Аноним (-), 15:23 , 23-Май-11, (150) а меня пугают такие спецы зыжскоко дашь за настройку экст4 на 100Тб и больше , ананим (?), 01:17 , 07-Май-11, (26) –2 Мне вот интересно, а на сервере с 100Тб - неужели с оперативкой какие-то проблем, КО. (?), 01:53 , 07-Май-11, (42) 1 приведите мне сервер с 100Tб винтами и сколько таких винтов нужно в сторону -, ананим (?), 02:49 , 07-Май-11, (50) Как связаны скорость канала и fsck , mine (ok), 10:04 , 07-Май-11, (62) никак , ананим (?), 11:48 , 07-Май-11, (72) Мы заказали IBM V7000 на 192 дисках по 600ГБ 2 5 10000rpm Ну ты понял, да Не , metallic (ok), 11:24 , 07-Май-11, (67) +1 а фс не выбрали оригенально с каких пор на ты ну не понял, так не понял , ананим (?), 11:57 , 07-Май-11, (74) –1 А как выбирать ФС без железа Будет железо - буду тестить, что шустрее бегает, metallic (ok), 12:02 , 07-Май-11, (75) железо как железо с выбором то его уже определились фс надо выбирать под задачи, ананим (?), 15:36 , 07-Май-11, (87) Задача - хранилка под не жатое видео покадрово, каждый кадр по слоям Файлый -, metallic (ok), 17:23 , 07-Май-11, (91) ZFS же, DarkAGeS (ok), 17:32 , 07-Май-11, (92) На чем , metallic (ok), 13:30 , 08-Май-11, (102) http www opennet ru openforum vsluhforumID3 76968 html 93, DarkAGeS (ok), 16:26 , 08-Май-11, (107) 6-й рейд IOPS взаимоисключающие параграфы детектед , Anoni (?), 22:32 , 07-Май-11, (96) А какой рейд надо , metallic (ok), 13:30 , 08-Май-11, (103) Только RAID-10, он по записи не пролетает так жутко как все остальные Ну и конт, anonymous (??), 20:11 , 08-Май-11, (117) Во-первых, у 10-го рейда избыточность 50 , в курсе, да И стоимость СХД от этого, metallic (ok), 20:21 , 08-Май-11, (118) Все правильно, не слушай дураков 640 килобайт всем хватит c избытком А уж подо, anonymous (??), 23:46 , 09-Май-11, (138) Еще раз есть бюджет, в который внатяг протолкнули 192 диска, после долгих дебат, metallic (ok), 10:43 , 10-Май-11, (141) На сервере, который будет подключен к хранилке, будет 8Гб памяти xfs_check с деф, metallic (ok), 11:37 , 07-Май-11, (69) Где такие волшебные требования , pavlinux (ok), 13:03 , 07-Май-11, (78) –1 В документации к XFS, причем эти требования подтверждены практикой, у меня один , metallic (ok), 14:55 , 07-Май-11, (85) то что память может закончится при xfs_check - да, указано, но именно про по 2Г, ананим (?), 16:14 , 07-Май-11, (88) Какой ей памяти надо RAM или VM , pavlinux (ok), 01:15 , 08-Май-11, (98) Свап прокатывает, когда 22Тб раздел проверял , metallic (ok), 20:22 , 08-Май-11, (119) Когда пытался 22ТБ раздел в екст4 форматнуть - гуглил но решения не нашел В вик, metallic (ok), 10:51 , 07-Май-11, (64) Судя по этому То есть максимальный размер раздела один _эксабайт_, максимальный , Lampus (ok), 11:39 , 07-Май-11, (70) Так я об этом и писал, поддержка в ядре большой ФС есть, а вот утилит для создан, metallic (ok), 12:40 , 07-Май-11, (76) Вот патчи e2fsprogs https github com tytso e2fsprogs-64bit, Lampus (ok), 11:53 , 07-Май-11, (73) +1 Че-та я очкую, Славик С Хрен знает каким боком этот костыль потом выйдет Кро, metallic (ok), 12:41 , 07-Май-11, (77) у меня был хард с потерей информации графика главным образом, видео, пдф, немно, аывава (?), 01:34 , 25-Авг-11, (157) Под мелкие файлы XFS великолепно тюнится Гуглится с первого раза С 2000-х год, AMD Man (?), 01:37 , 07-Май-11, (33) +1 // Раньше XFS тормозил если метаданных много, что как раз и есть в случае мелочи Н, Аноним (-), 01:46 , 07-Май-11, (37) В новых - это каких Я планирую использовать дебиан 6, там в репах 2 6 32, metallic (ok), 10:52 , 07-Май-11, (65) Фи, в 2 6 32, ещё delaylog нету , pavlinux (ok), 13:05 , 07-Май-11, (79) Ну придется собрать ядро, metallic (ok), 13:11 , 07-Май-11, (81) У меня с мелкими файлами только небольшой раздел 200 гиг под home, тут меня б, vadiml (ok), 01:46 , 07-Май-11, (38) Только почему-то в интернете попадается много случаев когда fsck диск убил Одна, Аноним (-), 01:54 , 07-Май-11, (43) У меня где-то в 2007 была глючная МВ, глухо вешала систему на голом месте, 2 раз, vadiml (ok), 02:10 , 07-Май-11, (45) всё тоже самое, только фс нужно поменять местами оракель, 300 гб база, корень с , ананим (?), 02:58 , 07-Май-11, (51) reiserfs для баз данных противопоказан -- постоянный sync базы убивает его преим, vadiml (ok), 14:55 , 08-Май-11, (105) 100Тб чего, если не секрет , Anonymousapiens (ok), 00:07 , 07-Май-11, (11) // В каком смысле чего Содержимое Не жатое видео по слоям и кадрам, metallic (ok), 00:11 , 07-Май-11, (12) –1 // Спасибо, ясно , Anonymousapiens (ok), 00:16 , 07-Май-11, (13) это он выше про мелкие файлы говорил D, ананим (?), 01:21 , 07-Май-11, (28) XFS с ним неплохо справится Особенно в свежих ядрах, где работу с метаданными у, Аноним (-), 01:32 , 07-Май-11, (30) yt поверишь, но правильные параметры она подбирает сейчас сама проверял я кон, ананим (?), 01:35 , 07-Май-11, (31) XFS по вашему видео плачет Разложить на страйп с грамотными параметрами Взлети, Аноним (-), 01:09 , 07-Май-11, (20)   // У меня аппаратный рейд будет, зачем еще какой страйп , metallic (ok), 10:54 , 07-Май-11, (66)   // Вот это интересный вопрос, далеко не каждый hw-рейд может потягаться с полноценн, fi (ok), 16:56 , 08-Май-11, (110)   Попробуем, но V7000 покупаем как раз потому, что DS3512 не умеет рейды в логичес, metallic (ok), 22:48 , 08-Май-11, (123)   Я большинство разделов перевёл на XFS пару лет назад и до сих пор не жалею, а по, vadiml (ok), 23:56 , 06-Май-11, (6) // XFS хороша для больших файлов, типа торентов всяких, видео, даже нежатого и проч, Аноним (-), 01:29 , 07-Май-11, (29) // сразу ясно - человек не понимает о чём говорит , ананим (?), 01:36 , 07-Май-11, (32) –1 // Слишком толсто Конкретнее, Склифосовский , Аноним (-), 01:47 , 07-Май-11, (39) конкретнее торент юзает мелкие фрагменты файлов и пишит ими же в фс преалокаци, ананим (?), 03:11 , 07-Май-11, (52) –1 зыжи тем не менее он в одном прав - xfs отличный выбор и для торрентов почему по, ананим (?), 03:36 , 07-Май-11, (55) –1 А как там на счет файлов, забитых полностью нулями Приходилось читать про эту о, Drist (ok), 19:44 , 08-Май-11, (113) Дочинивалось в 28 ядре, чтоли Более свежие этим особенно не страдают вроде , Аноним (-), 16:36 , 23-Май-11, (151) вам ехать или шашечки На пост о том как отформатировать и юзать 100TB - это тоже, Аноним (-), 00:01 , 07-Май-11, (8) –1 // Это мне про ZFS А на чем ее крутить На бзде Спасибо - идите мимо Особенно в с, metallic (ok), 00:02 , 07-Май-11, (9) // Лол Ну юзайте 16гиговый ext4, профессианал , Аноним (-), 00:36 , 07-Май-11, (16) –3 // Во первых, 16Тб 16Гб, дилетант Во вторых, для 100Гб файлов есть хоть тот же , Аноним (-), 01:11 , 07-Май-11, (21) У вас диск на 16 Терабит PS С формулой 16Тб 16 Гб согласен , Аноним (-), 02:17 , 07-Май-11, (46) 16 Терабод , pavlinux (ok), 13:10 , 07-Май-11, (80) +3 Не вижу никаких проблем набрать составной том на 16Тб Всего 8 HDD по 2Гб и гото, Аноним (-), 18:12 , 23-Май-11, (152) курите на дебиане kfreebsd ну или на opensolaris nexentaps но лучше на freebs, DarkAGeS (ok), 17:40 , 07-Май-11, (93) // Опенсолярис мертв, всякие гибриды как-то не очень доверие вызывают, хотя можно б, metallic (ok), 19:23 , 08-Май-11, (112) да не так уж она отстает во фре v15 сейчас в следующем релизе будет v28 с деду, DarkAGeS (ok), 19:53 , 08-Май-11, (114) А зачем ZFS вообще Что в ней такого Она хороша для реализации программных СХД , metallic (ok), 20:29 , 08-Май-11, (120) У ZFS много полезных плюшек, но при таком соотношении disk ram 100Tb 8Gb она ск, vle (ok), 00:13 , 09-Май-11, (127) что ей мешает работать при таком соотношении непонятноне могу не согласиться д, DarkAGeS (ok), 04:33 , 09-Май-11, (130) это даа на чем у вас железные снапшоты и дедубликация ну в общем то снапшоты, , DarkAGeS (ok), 04:47 , 09-Май-11, (131) Писал же уже IBM Storwize V7000Из этого мне ничего не надо, я имею ввиду именно , metallic (ok), 12:44 , 09-Май-11, (136) Может быть вы и не догоняете, но сервер состоит не только из файловой системы К, Аноним (-), 01:16 , 07-Май-11, (25) –1 // ZFS чуть проще XFS, исходный код лучше откомментирован и оттестирован Утилиты в, iZEN (ok), 16:50 , 08-Май-11, (109) ZFS требует 1Г памяти на каждый 1Т данных , Anoni (?), 22:38 , 07-Май-11, (97) // Это откуда такие требования Быстрому кэшу ARC нужно минимум 1ГБ RAM, а L2ARC им, iZEN (ok), 16:47 , 08-Май-11, (108) Эх Рейзер 8230 Как же мне нравилась эта ФС Я думал, намного будет 8230 Н, Аноним (-), 00:50 , 07-Май-11, (17) +1 Что они там не осилили в ней , Анон (?), 02:24 , 07-Май-11, (48) // выбирали 2 года назад xfs изменилась с тех пор как и экст с 3 до 4 , ананим (?), 03:18 , 07-Май-11, (54) –1 Всякой задаче - свой инструмент с ЛюдиУ меня даже на домашней машинке нескольк, iCat (ok), 07:58 , 07-Май-11, (57) –1 // А теперь попробуем со всем этим взлететь , djo (??), 08:57 , 07-Май-11, (58) +2 // Уже который год Полёт нормальный - reiserfs множество мелких файлов, необх, iCat (ok), 09:04 , 07-Май-11, (59) // gt оверквотинг удален В общем согласен, кроме boot под ext3, максимум ext2, и, pavlinux (ok), 13:15 , 07-Май-11, (82) А вот некоторые другие с рейзером почему-то ругаются, когда им fsck превращает т, Аноним (-), 18:39 , 23-Май-11, (154) А вот у меня этот самый fsck отрабатывает нормально да ещё и битый диск смо, iCat (ok), 04:16 , 24-Май-11, (156) а я вот я выбираю единственный NTFS, и не разбираюсь в этой кучке непонятных ФС , anonym12qw (?), 09:07 , 07-Май-11, (60) –7 // ну это-то понятно но тут пишут те, кто разбирается хотя бы чуть чуть , ананим (?), 09:14 , 07-Май-11, (61) +2 Надеюсь она у Вас используется как корневая ФС, причём на том же разделе где и W, pavlinux (ok), 13:18 , 07-Май-11, (83) А я вот с недавних пор NTFS-у доверяю только саму Windows, а все данные храню на, iCat (ok), 13:28 , 07-Май-11, (84) А в чем смысл ext3 Почему не выбрать обычную ext2 , ffirefox (?), 22:36 , 08-Май-11, (122) // а в чем смысл отдельного boot , анонимоус (?), 15:36 , 10-Май-11, (143) // Корень на ФС, которой не умеет бутлоадер , Andrey Mitrofanov (?), 15:40 , 10-Май-11, (144) у меня reiserfs,ext2,ext3,ext4,fat запилены в ядро и думаю не только у меня рань, анонимоус (?), 16:43 , 10-Май-11, (145) Закрузчик, как то lilo, grub Читать научитьсь, яколка , Andrey Mitrofanov (?), 17:14 , 10-Май-11, (146) дыг этот самый grub отлично все понимает просто некоторые использующие отдельный, анонимоус (?), 18:11 , 10-Май-11, (147) Мдэ Ладно люди home не жалеют, у большинства там ничего полезного нет Но систе, vle (ok), 00:20 , 09-Май-11, (128) // net_storage - понятие сильно растяжимое, чтоб делать какие-то выводы о пригодно, iCat (ok), 12:40 , 09-Май-11, (135) // OpenSolaris для дома для семьи Или zfs на линуксе , vle (ok), 00:02 , 10-Май-11, (139) NexentaStor CE В общем - да, OpenSolaris в какой-то степени Для дома, для се, iCat (ok), 03:20 , 10-Май-11, (140) Какой я счастливый человек Использую ReiserFS в корне, на внешнем usb HDD изна, yantux (??), 15:25 , 07-Май-11, (86) // У вас с Гуглом разные сценарии применения ФС К О , Аноним (-), 16:28 , 07-Май-11, (90) Тут ведь как оно можно всё кушать ложкой И не париться Да вот только мясо вил, iCat (ok), 13:03 , 08-Май-11, (101) ну, ReiserFS понятно а JFS каким боком по мне - неплохая фсистема , nobody (??), 21:00 , 07-Май-11, (95) // Есть у jfs проблемы с большими размерами томов И не факт, что они будут когда-л, Drist (ok), 20:04 , 08-Май-11, (115) ext4 с опциями по умолчанию все еще тормозит при использовании ее на разделе с о, анон (?), 10:48 , 08-Май-11, (100) // Образы разные бывают И файловая система ни причем, тут важно как отрабатываются, anonymous (??), 20:32 , 08-Май-11, (121) тема nilfs2 не раскрыта , Аноним (-), 15:28 , 08-Май-11, (106) // А что там раскрывать, первые минуты после свежего форматирования все эти COW-под, anonymous (??), 23:27 , 08-Май-11, (124) // Не надо обобщать ZFS не страдает от такой фигни как заполненность диска , iZEN (ok), 23:54 , 08-Май-11, (126) // Врать-то зачем Сходу пример http groups google com group fido7 ru unix bsd tr, nuclight (ok), 14:07 , 23-Май-11, (149) А я и не вру zpool list storeNAME SIZE USED AVAIL CAP HEALTH ALTROO, iZEN (ok), 21:25 , 23-Май-11, (155) интересно, а почему google не инвестирует в разработку reiser4 лично считаю, ч, gni (?), 23:46 , 08-Май-11, (125) // разработчиков мало заинтересованных проект сам по себе бурно бы развивался, будь, nobody (??), 10:33 , 09-Май-11, (132) // ев , nobody (??), 10:35 , 09-Май-11, (133) // асно тогда ворпос, просто сам напрашивающийся, а почему их мало т е нужна р, gni (?), 12:23 , 09-Май-11, (134) Со стороны Ганса было достаточно антирекламы в LKML, когда он забил болт на reis, Я (??), 12:34 , 16-Янв-12, (158) а зачем гуглю инвестировать в сомнительную коммерческую затею человека, который , пох (?), 22:41 , 09-Май-11, (137) Собственно моё IMHO не сколько инное чем у остальных участников флейма ext4 отли, sic (?), 20:55 , 16-Май-11, (148) +1 // Аналогично Все стандартные системы - на ext4, ибо мейнстрим Городить зоопарк р, AlexAT (ok), 16:27 , 16-Янв-12, (160) ВНЕЗАПНО, Аноним (-), 01:21 , 17-Янв-12, (161) 1,2,5,6,8,17,48,57,86,95,100,106,125,148,161

Сообщения

[Сортировка по времени | RSS]

	20. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от Аноним (-), 07-Май-11, 01:09
	> Анадысь рассматривал линуксовые ФС на предмет возможности использования в след. проекте, > которые стартует в начале лета, нужно будет хранить 100ТБ. XFS по вашему видео плачет. Разложить на страйп с грамотными параметрами. Взлетит просто. Особенно на более-менее крупных файлах. SGI делало станции видеомонтажа, сами понимаете что там за файлы.
	Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

	66. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 07-Май-11, 10:54
	> XFS по вашему видео плачет. Разложить на страйп с грамотными параметрами. Взлетит > просто. Особенно на более-менее крупных файлах. SGI делало станции видеомонтажа, сами > понимаете что там за файлы. У меня аппаратный рейд будет, зачем еще какой страйп?
	Ответить | Правка | Наверх | Cообщить модератору

	110. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от fi (ok), 08-Май-11, 16:56
	>> SGI делало станции видеомонтажа, сами понимаете что там за файлы. >У меня аппаратный рейд будет, зачем еще какой страйп? Вот это интересный вопрос, далеко не каждый hw-рейд может потягаться с полноценным sw-рейдом. Уже не раз натыкался на статьи, где это обсуждалось. Как я понял, основная проблема, что зачастую в рейдах используется старое слабое железо, а переделать под новое - дорого стоит. И годами прошивки не исправляются. А ведь  hw-рейд - это просто еще один маленький комп :) так что советую, пока будете настраивать, прогнать тесты, даже на вашем суперрейде.
	Ответить | Правка | Наверх | Cообщить модератору

	123. "Доклад Google о файловых системах Linux"	+/–
	Сообщение от metallic (ok), 08-Май-11, 22:48
	Попробуем, но V7000 покупаем как раз потому, что DS3512 не умеет рейды в логические диски объединять, не хотелось это делать на уровне ОС. V7000 - железка новая, сравнительно недавно продаваться начала, так что должно быть все нормально там с контроллерами, посмотрим.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема