The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Для Linux представлен TIER, блочное устройство для агрегирования накопителей

14.06.2012 12:52

Марк Райтер (Mark Ruijter), автор работающей в пространстве пользователя файловой системы LessFS с автоматической дедупликацией, master/slave-репликацией, сжатием и шифрованием данных, представил для ядра Linux модуль TIER, позволяющий сформировать многоуровневое блочное устройство из нескольких устройств небольшого размера, обеспечивающее высокую производительность за счёт оптимального разнесения блоков по дискам и использования техники активного кэширования данных в ОЗУ.

От других систем виртуального слияния хранилищ TIER отличается поддержкой автоматической миграции данных между накопителями и обеспечением "умной" балансировки размещения блоков данных на накопителях в зависимости от характера нагрузки. Первая реализация TIER поддерживает агрегацию в виде одного виртуального диска до 16 SSD, SAS или SATA-накопителей. Код проекта распространяется под лицензией GPL.

Использование TIER позволяет достигнуть более высокой производительности, чем при применении только SSD за счёт использования техники кэширования в оперативной памяти, ранее реализованной в RAM-диске EPRD. При распределении данных по дискам TIER учитывает статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются. При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS, а редко используемые данные будут размещены на медленных дисках.

В отличие от кэширования с использованием только SSD-дисков, TIER позволяет значительно сэкономить, используя SSD только для действительно востребованных данных, при том что общая ёмкость всего быстрого хранилища в TIER составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как TIER максимально эффективно использует доступное пространство.

  1. Главная ссылка к новости (http://www.lessfs.com/wordpres...)
  2. OpenNews: EPRD - реализация RAM-диска, обеспечивающего постоянное хранение данных
  3. OpenNews: Facebook открыл модуль Flashcache для организации кэширования на SSD-накопителях
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/34100-teir
Ключевые слова: teir, kernel, module, cache, speed, disk
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (45) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 13:19, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ура товарищи, скоро солярка станет не нужна!
     
     
  • 2.2, гмо (?), 13:24, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • –6 +/
    Вообще диски не нужны, раз есть облака и громоотводы
     
     
  • 3.3, Andrey Mitrofanov (?), 13:27, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +6 +/
    >есть облака и громоотводы

    Втыкаем тандерболты прямо в облаки!

     
  • 3.4, Tamahome (?), 13:29, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Только облакам свойственно вытекать и испаряться, также быстро как и появлялись..
     
     
  • 4.6, Аноним (-), 13:51, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И когда испарится амазон? Видимо, вы распадетесь быстрее.
     
     
  • 5.7, pro100master (ok), 14:18, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    когда строители в каком-нибудь Техасе в очередной раз не порвут кабель ДЦ - ваш амазон испарится на сутки :)
     
  • 5.12, Аноним (-), 15:34, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > И когда испарится амазон?

    Вообще-то разок они уже сделали недоступными инстансы. Даже географически разнесенные, что вдвойне забавно.

     
  • 3.11, кевин (?), 15:29, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    давайте скажем амазону что им не нужны диски пускай всё в облака перекладут.
     
     
  • 4.13, Anonim (??), 15:37, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Они поди так и делают. Используют более дешевые облака, а разницу в цене оставляют себе  ))

    Самый важный вопрос Что будет с данными когда один из дисков в массиве умрет? На счет LVM2 тоже нет внятного ответа по этому вопросу.

     
     
  • 5.16, 8 (?), 16:21, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    клади лвм на рейд
     
     
  • 6.25, Anonim (??), 18:00, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Это не ответ. Это значит "я не знаю что будет, но точно что-то нехорошее, поэтому надо на всякий случай..."
     
     
  • 7.45, 8 (?), 12:25, 18/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Это не ответ. Это значит "я не знаю что будет, но точно
    > что-то нехорошее, поэтому надо на всякий случай..."

    помните анекдот про попугая?
    - а что будет, если попугай и другую лапу поднимет?
    - что-что! на Ж шмякнусь!

    вот это был конкретный ответ.

    как я вам отвечу что-то более конкретное, если вы сами вопрос поставили абстрактно?

    и еще про мою неконкретику: у меня одна из инсталляций на LVM поверх raid уже более 10 лет переползает по винтам без дрожи в органах размножения (а винты, тем временем, рутинно дохнут).

     
  • 5.43, Аноним (-), 16:25, 17/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Что будет с данными когда один из дисков в массиве умрет?

    Они отправятся в вайловый рай

     
  • 4.19, pavlinux (ok), 17:31, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Вместо дисков надо втыкать конденсаторы! Один кондёр - один бит! (заряжен/незаряжен) :)
     
     
  • 5.22, Аноним (-), 17:56, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ты придумал DRAM?
     
  • 5.24, Whois (?), 17:59, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Pavlin изобрел DRAM! :-)
     
     
  • 6.35, ананим (?), 05:29, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Нет.
    Электрический стул.
     
     
  • 7.36, ананим (?), 05:31, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Зыж
    При чём в фразе "один бит" бит — это глагол.
     

  • 1.5, JL2001 (ok), 13:41, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    неизвестно нет ли планов сделать аналогично ещё и для мест хранения доступных через сеть ? тоесть собирать абстрактные данные по скорости доступа, задержке, частоте и характеру ошибок + "статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются"
    весьма бы пригодилось мне
     
     
  • 2.8, ig0r (??), 14:18, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    не вижу проблемы собрать хранилище из network block device с помощью сабжа
     

  • 1.9, Аноним (-), 14:52, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    изобретаем ZFS через задницу... хотя и это тоже хорошо без других альтернатив
     
     
  • 2.10, Andrey Mitrofanov (?), 15:04, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > изобретаем ZFS через задницу...

    Интересно там у Вас, в Сане.

    > хотя и это тоже хорошо без других альтернатив

     
  • 2.14, Crazy Alex (ok), 15:52, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Еще чего. Тут как раз тщательно стараются комбайны не изобретать, а придерживаться принципа "одна сущность - одна ответственность"
     
     
  • 3.18, Аноним (-), 16:54, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    И какую одну ответственность исполняет такая сущность как ядро линукса?
     
     
  • 4.20, Andrey Mitrofanov (?), 17:34, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > И какую одну ответственность исполняет такая сущность как ядро линукса?

    Предоставлет юрес-спейсу единообразный доступ к жОлезу. Как и любое другое ядро.

     
  • 3.31, Аноним (-), 22:59, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • –4 +/
    ну так вот это и есть через задницу. Такой подход хорош в узких пределах и не везде
     
     
  • 4.33, Аноним (-), 00:46, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > ну так вот это и есть через задницу. Такой подход хорош в узких пределах и не везде

    Да. Вот в microsoft прекрасно это понимали, и сделали очень быструю, надежную и фичастую ОС.

     
  • 2.28, Аноним (-), 19:29, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Куда уж им до требований ZFS в гигабайты памяти.
     
  • 2.34, Аноним (-), 00:49, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > изобретаем ZFS через задницу... хотя и это тоже хорошо без других альтернатив

    С нетерпением ждем, когда в ZFS изобретут direct IO, хотя бы и через задницу.

     

  • 1.15, chemtech (ok), 16:02, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Когда в ядре будет?
     
  • 1.17, Кирилл (??), 16:38, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    В 3.6 увидим =)
     
  • 1.21, pavlinux (ok), 17:36, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600 MB/s ???
     
     
  • 2.23, John (??), 17:57, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600
    > MB/s ???

    Шина?

     
  • 2.29, Аноним (-), 19:30, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600
    > MB/s ???

    SATA 3.0?

     

  • 1.26, Пиу (?), 18:04, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    лучше бы в lvm это реализовал, а не через отдельный костыль
     
     
  • 2.27, anonymous (??), 18:33, 14/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    больше велосипедов! хороших и разных!
    а если серьёзно - то да, есть же raid/lvm.
     

  • 1.30, 88 (??), 21:07, 14/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    "при том что общая ёмкость всего быстрого хранилища в TIER составляет сумму из всех подключенных устройств хранения."

    То бишь - отказоустойчивости нет :)

     
     
  • 2.32, umbr (ok), 00:16, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    RAID -1
     
     
  • 3.37, 88 (??), 07:59, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    что Вы этим хотели сказать?
     
     
  • 4.39, Andrey Mitrofanov (?), 09:51, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    "RAID? Вычёркиваем."
     
  • 2.38, Andrey Mitrofanov (?), 09:49, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > То бишь - отказоустойчивости нет :)

    Отказоустойчивость есть: терабайтом больше, терабайтом меньше -- _совершенно_ не важно.

     

  • 1.40, Аноним (-), 14:18, 15/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    sourceforge? фууу. а почему не github ?!
     
     
  • 2.41, umbr (ok), 23:00, 15/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    На github переедут когда весь код перепишут на JavaScript или Ruby.
     

  • 1.42, Аноним (-), 13:08, 17/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А слово съэкономить пишется с твёрдым знаком. Убейте автора, пожалуйста.
     
     
  • 2.44, Аноним (-), 16:32, 17/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Призыв к насилию и физической расправе.
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру