The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Доступен dm-writeboost, Linux-модуль для кэширования на SSD-накопителях

09.09.2013 14:25

Для ядра Linux представлена реализация нового механизма кэширования на SSD-накопителях - dm-writeboost. Основным отличием новой системы от уже существующих механизмов DM-Cache и Bcache является ориентация на пакетную запись для продления службы SSD-накопителя и ускорения операций записи. Модуль dm-writeboost претендует на включение в экспериментальное дерево staging следующего выпуска ядра Linux.

Dm-writeboost хранит информацию в лог-подобной последовательно заполняемой цикличной структуре для заполнения которой случайный набор операций записи накапливается и сбрасывается на SSD в пакетном режиме в виде большого непрерывного блока. Подобный подход позволяет значительно поднять эффективность записи - при использовании dm-writeboost потеря производительности кэширования случайных запросов составляет всего 3% по сравнению с последовательной записью. Например, при пропускной способности SSD-накопителя в 266MB/s, dm-writeboost обеспечивает запись со скоростью 259MB/s.

  1. Главная ссылка к новости (https://lkml.org/lkml/2013/9/1...)
  2. OpenNews: Релиз ядра Linux 3.9. Обзор новшеств
  3. OpenNews: Система кэширования на SSD-накопителях BCache претендует на включение в ядро Linux
  4. OpenNews: Первый стабильный выпуск BTIER, блочного устройства для агрегирования накопителей в Linux
  5. OpenNews: Релиз ядра Linux 3.10. Обзор новшеств
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/37864-ssd
Ключевые слова: ssd, cache, linux, kernel, speed, write, dm-writeboost
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (31) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 14:35, 09/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Эээ... Асинхронный кэш записи в памяти? Нафига оно такое, это ж никакой надежности.
     
     
  • 2.10, Аноним (-), 08:15, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Перед тем как попасть на блочное устройство, данные кэшируются в оперативной памяти (если вы, конечно не сбрасываете их принудительно с помощью fsync()). Тут добавляется ещё один уровень кэширования, на SSD. Конечно, надёжность снизится: поскольку кэшируются вообще все операции записи на блочном устройстве, то перестаёт работать журналирование и в случае отключения питания не только потеряются данные, но и может быть нарушена структура ФС. Однако, если вы беспокоитесь о сохранности именно данных, то нужно в любом случае обеспечивать бесперебойное питание. Или всё время делать fsync-и с соответствующей многократной потерей производительности.
     
     
  • 3.13, a (??), 11:10, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Структура ФС не может быть нарушена ибо операции записи атомарны. Просто часть данных не запишется, вместе с журналом конечно и будут сидеть на ssd. Собственно снижения надежности быть не должно
     
     
  • 4.20, Аноним (-), 16:14, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Структура ФС не нарушается не из-за атомарности, а из-за барьеров записи.
     
  • 3.25, XoRe (ok), 18:15, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Просто, для опций, с которыми данные могут похериться, обычно пишут PROBABLY LOSS OF DATA.
    И переспрашивают 3 раза.
    И так понятно, что на серверах могут быть 2 блока питания, которые воткнуты в разные ИБП, плюс батарейка на рейд контроллере.
    Например, при включении writeback на рейд контроллере, даже с батарейкой, GUI контроллера все равно уточнит "вы уверены?".
     

  • 1.2, Аноним (-), 14:40, 09/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На стационарнике без упса - да.
    Расчитано-же это на всякие компакти девайсы со всотоенной системой бесперебойного питания.
     
     
  • 2.4, Аноним (-), 15:14, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    А смысл в отдельном модуле? Журнал на рам-диск и не парить мозг. :)
     
     
  • 3.17, Аноним (-), 12:40, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Журнал на рам-диск и не парить мозг. :)

    Гениально, Ватсон. А лучше сразу данные на рамдиск. Правда потом, после факапа, придется парить мозг вопросом "ой, а куда это все делось?!" :)

     
  • 2.24, XoRe (ok), 18:10, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > На стационарнике без упса - да.
    > Расчитано-же это на всякие компакти девайсы со всотоенной системой бесперебойного питания.

    Батарейка вылетела/глюкнула и все.

     

  • 1.3, ua9oas (ok), 14:48, 09/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    а много ли таких накопителей, у которых их аппаратная архитектура не является открытой? И насколько тогда и труднее и хуже будет получаться разработка СПО под них?
    (насколько такие чудотехники за границей стоят дешевле, чем у нас на Руси?)
     
     
  • 2.5, Яйцассыром (?), 16:16, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    1. Возможно
    2. На 23%
    3. На 107
     

  • 1.6, Crazy Alex (ok), 17:15, 09/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хм, автор забыл упомянуть сколько памяти при этом занимал кэш...
     
  • 1.7, анонимм (?), 20:39, 09/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Почему в тексте новости у SSD-накопителя 266мбайт/с вместо 6Гбит/с, которые пишут в рекламах и характеристиках товаров?
     
     
  • 2.8, dxd (?), 21:16, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Угадайте, кому лучше верить о скорости работы накопителей: маркетологам или разработчикам драйверов? Подсказка - зарплата вторых значительно слабее зависит от продаж.
     
  • 2.9, Аноним (-), 00:47, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    6Гбит/с - это пропускная способность SATA/SAS-шины.
    266мбайт/с - это скорость записи в ячейки памяти.
     

  • 1.11, sabakka (?), 09:28, 10/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.
     
     
  • 2.12, Чпок (?), 09:32, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну как-бэ SSD можно ронять сильнее. Жрет меньше, весит меньше.
    Делать проще! В НЖМД дофига металлообработки и офигительно сложная система сервомеханики. Не смотрите что сделана просто. Супер точно во первых, сложно в управлении во вторых.
     
     
  • 3.15, a (??), 11:12, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну как-бэ SSD можно ронять сильнее. Жрет меньше, весит меньше.
    > Делать проще! В НЖМД дофига металлообработки и офигительно сложная система сервомеханики.
    > Не смотрите что сделана просто. Супер точно во первых, сложно в
    > управлении во вторых.

    НЖМД  дешевле, и это перевешивает всю ту ерунду которую вы написали

     
     
  • 4.16, шргш (?), 11:18, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Маркетологи такие маркетологи.
     
  • 2.14, a (??), 11:11, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.

    как бы движения головок и время на него никто не отменял

     
     
  • 3.19, Аноним (-), 12:45, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > как бы движения головок и время на него никто не отменял

    Плюс механика потенциально ненадежна и может отказать катастрофическим образом, например, запил поверхности - и все, прощай данные. С другой стороны флеш деградирует постепенно и общее состояние накопителя - относительно предсказуемо.

     
     
  • 4.21, Аноним (-), 17:14, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Только вот дохнут всё равно неожиданно :)
     
     
  • 5.23, XoRe (ok), 18:09, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Только вот дохнут всё равно неожиданно :)

    Да они дохнут изза контроллера.

     
  • 4.26, Аноним (-), 05:09, 11/09/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Сдохших SSD (черт попутал поставить под кэш баз и кэш сквида) за последние 2 года, у меня 8 штук.
    А вот сдохших HDD - ни одного.
    Вопрос: что получается надёжнее, HDD или SSD?
    У меня HDD на серверах ходят по 5-7 лет (трудно сейчас добыть диски SCSI 68-pin, только под заказ), SSD, больше года ни один не протянул.
     
     
  • 5.30, Piter_Ring (ok), 09:10, 17/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Сдохших SSD (черт попутал поставить под кэш баз и кэш сквида) за
    > последние 2 года, у меня 8 штук.
    > А вот сдохших HDD - ни одного.
    > Вопрос: что получается надёжнее, HDD или SSD?
    > У меня HDD на серверах ходят по 5-7 лет (трудно сейчас добыть
    > диски SCSI 68-pin, только под заказ), SSD, больше года ни один
    > не протянул.

    А ты лом в пилораму пробовал???

    Под кэш сквида - купи 4 планки ДДР3-ЕСС.

    А вот рэйд на ссдшках под базу сиквэлсервера дает винтам по балде от 6 до 11 раз!

     
  • 2.18, Аноним (-), 12:43, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.

    Затем что SSD в целом куда быстрее. Много ли 10k RPM вообще выжимает под 300 мегов в секунду? Там же хоть RPM и выше, но плотность записи никакая, так что скорость передачи на блины не такая уж и фантастичная.

     
     
  • 3.22, Аноним (-), 17:15, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Оно и там и там не быстрее нитерфейса. 10K RPM SAS vs SATA-ii ... всяко может быть.
     
  • 3.28, sabakka (?), 17:44, 13/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.
    > Затем что SSD в целом куда быстрее. Много ли 10k RPM вообще
    > выжимает под 300 мегов в секунду? Там же хоть RPM и
    > выше, но плотность записи никакая, так что скорость передачи на блины
    > не такая уж и фантастичная.

    200 выдают, без проблем, ставим 2 будет 400.

     
  • 2.27, tamerlan311 (?), 15:28, 11/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Читается то кеш не в пакетном режиме. А в весьма хаотическом.
     
  • 2.29, Michael Shigorin (ok), 20:52, 13/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.

    Ну здрасьте, линейную скорость записи на 15krpm меряли?

     
     
  • 3.31, Piter_Ring (ok), 22:32, 18/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.
    > Ну здрасьте, линейную скорость записи на 15krpm меряли?

    меряли, ссд - быстрее.
    пиписьки:
    ХДД сигейты 15.7к 300Г в зеркале и ССД Интелы 520(вроде бы 240Г) так же в зеркале.
    Гадать не будем, интел победил.

    Хотя отрыв был не столь колоссальный как на иопсах на тех же носителях
    при работе с БД.
    Как я писал выше - на обработке тяжелых запросов получали тесты от 6 до 11кратного увеличения скорости выполнения.

     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру