The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Обновление PostgreSQL. Выпуск reshape, утилиты для миграции на новую схему без остановки работы

11.02.2022 11:20

Сформированы корректирующие обновления для всех поддерживаемых веток PostgreSQL: 14.2, 13.6, 12.10, 11.15 и 10.20, в которых исправлено 55 ошибок, выявленных за последние три месяца. В том числе устранены проблемы, приводившие при редком стечении обстоятельств к повреждению индексов при изменении цепочек HOT (heap-only tuple) во время выполнения операции VACUUM или при выполнении операции REINDEX CONCURRENTLY для индексов к таблицам, в которых используется механизм хранения TOAST.

Устранены аварийные завершения при выполнении ALTER STATISTICS и при извлечении данных с multirange-типами. В планировщике запросов устранены ошибки, приводившие к выводу некорректных результатов. Устранены утечки памяти при обновлении индексов по выражениям и при выполнении операции "REASSIGN OWNED BY" над большим числом объектов. Обеспечено построение расширенной статистики для сегментированных таблиц.

Дополнительно можно отметить выпуск утилиты reshape, позволяющей без остановки работы совершать сложные обновления схемы данных в PostgreSQL, в обычных условиях требующие ручного внесения изменений и временной остановки работы сервисов, использующих БД. Утилита даёт возможность перейти со старой схемы данных на новую без длительных блокировок и не прерывая цикла обработки запросов. Утилита автоматически создаёт представления таблиц, с которыми приложения продолжают работать во время миграции схемы данных, а также настраивает триггеры, транслирующие операции добавления и удаления данных между старой и новой схемами.

Таким образом, при использовании reshape во время миграции старая и новая схема одновременно остаются доступны и приложения можно постепенно перевести на новую схему без остановки работы (в больших инфраструктурах можно поэтапно заменять обработчики со старых на новые). После завершения перевода приложений на новую схему созданные для сохранения поддержки старой схемы представления и триггеры удаляются. В случае выявления проблем с приложениями во время миграции можно отменить изменение схемы и вернуться к старому состоянию.

 
  1. Главная ссылка к новости (https://www.postgresql.org/abo...)
  2. OpenNews: Обновление PostgreSQL с устранением уязвимостей. Выпуск балансировщика соединений Odyssey 1.2
  3. OpenNews: Один из разработчиков MySQL раскритиковал проект и рекомендовал использовать PostgreSQL
  4. OpenNews: Проект MangoDB развивает реализацию протокола СУБД MongoDB поверх PostgreSQL
  5. OpenNews: Amazon открыл код Babelfish, расширений для замены MS SQL Server на PostgreSQL
  6. OpenNews: Релиз СУБД PostgreSQL 14
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/56677-postgresql
Ключевые слова: postgresql, reshape
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (57) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 11:38, 11/02/2022 [ответить] [﹢﹢﹢] [ · · · ]  []     [к модератору]
  • –12 +/
    принцепе не плохая база для данных , мог быть и лучше но и сейчас более не менее
     
     
  • 2.2, Аноним (2), 12:06, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +13 +/
    Вчера вышла MariaDB там в комментах был целый цирк. А тут постгресс обновился даже никаких смешных шуток. Похоже что все просто сидят и пользуются.  
     
     
  • 3.3, Аноним (1), 12:22, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +3 +/
    ну на май-эскуэл можно сделать гостевую книгу на похапе как на народ.ру. Ну и интернет-магаз на 1С-Битрикс™. Что-то серьезное ему доверить нельзя
     
     
  • 4.7, Онаним (?), 14:12, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +2 +/
    Зато сразу видно твой уровень.
     
     
  • 5.11, Аноним (11), 14:24, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +2 +/
    Несмотря на глупые шутки, по сути он прав.

    Возможно, у вас есть опыт успешной эксплуатации "сайта с гостевой книгой как народ.ру", но применения РСУБД подобными проектами не ограничиваются.

     
     
  • 6.15, Онаним (?), 16:57, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • –3 +/
    И снова видно только уровень очередного калметатора.

    Ну я биллинг на MySQL держу. Несколько терабайт данных.
    Дальше чего?

     
     
  • 7.16, Аноним (16), 17:59, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +3 +/
    Что-то есть ощущение, для таких задач sqlite бы хватило.
     
     
  • 8.17, Онаним (?), 18:05, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Ну что вы, MS Access наше всё... текст свёрнут, показать
     
     
  • 9.43, Аноним (43), 15:52, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    чем вам текстовые файл то не угодили ... текст свёрнут, показать
     
     
  • 10.57, Андрей (??), 12:55, 14/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Все уже придумано и все пользуются CDR-файлы это называется ... текст свёрнут, показать
     
  • 3.5, Аноним (5), 13:09, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +2 +/
    Да тут не интересно, голимая минорщина. Может по выходу 15-й версии зажгут.
     
  • 2.4, Grammar Nzi (?), 12:39, 11/02/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +8 +/
    * болие лимение
     
     
  • 3.56, Аноним (56), 11:27, 13/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > более не менее

    Ну так утверждение-то в целом верное - более это не менее (горячее не холодное, красное не синее и т.д.) :)

     
  • 2.6, лютый жабби__ (?), 14:00, 11/02/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • –9 +/
    >принцепе не плохая база для данных

    я бы сказал непонятная... там где данные важные, используют Оракле, там где шлёп-шлёп - мускуль/монго, где данных много - монго/другие носкли.... а слон зачем? сам перестал им пользоваться лет 10 назад.

     
     
  • 3.8, Онаним (?), 14:13, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Что вы такого делаете с мускулем, что у вас важные данные в нём не живут?
     
     
  • 4.46, Аноним (46), 16:00, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Что вы такого делаете с мускулем, что у вас важные данные в нём не живут?

    Ну, это же очевидно, Ватсон! Они НЕ ХРАНЯТ важные данные в МуСКЛ ;)

     
     
  • 5.54, Онаним (?), 08:50, 13/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Возможно, даже "в МуСКЛ" тут лишнее :)
     
  • 3.9, Онаним (?), 14:14, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –2 +/
    Но насчёт того, что у постгри ныне ниши не осталось - согласен.
     
  • 3.10, Аноним (11), 14:18, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +3 +/
    > я бы сказал непонятная... там где данные важные, используют Оракле, там где шлёп-шлёп - мускуль/монго, где данных много - монго/другие носкли....

    О да, монга - просто отличный инструмент для бигдаты... Ой, простите, забыл: [сарказм]

    > а слон зачем?

    Вытесняет оракл потихоньку (привет из желтого банка). Ну и для шлеп-шлеп тоже вполне годится. И для всего, что посередине между этими двумя крайностями.

     
     
  • 4.34, Аноним (34), 00:46, 12/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Также постгрес шлёт привет из синего банка.
     
     
  • 5.45, Аноним (43), 15:54, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Зеленый банк присоединяется к вашим приветствиям.
     
     
  • 6.48, лютый жабби__ (?), 16:53, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    >Зеленый банк присоединяется

    постгрес в сбермаркете под хранение ассортимента присобачили? оракла на этой задаче и не было никогда. ну разве что под эгидой импортозамещения эту поделку на место СУБД протаскивают...

     
  • 4.49, лютый жабби__ (?), 16:55, 12/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    >желтого банка

    желтая банка - это Тупкофф-Глючно-Пельменные-системы? Хороший пруф что Постгрес про серьезных задач не катит.

     
  • 3.12, Аноним (12), 15:06, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    А к чему тогда Джангу прикручивать как не к постгре. Не к мускулу же как в мейл.ру.
     
  • 3.13, пох. (?), 16:34, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • –1 +/
    > а слон зачем?

    "чтоб как орацле, только чтоб денег никому не платить!"

    > перестал им пользоваться лет 10 назад

    Это тебе пока выпало щастье - до смены начальника. А следующий окажется действительно эффектвным менеджером и сэкономит компании миллионы бабла.

     
  • 3.14, ананоша (?), 16:39, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +3 +/
    Т.е. другими словами, в базах данных ты не разбираешься абсолютно
     
  • 3.19, ыы (?), 18:56, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    потерял работу чтоли и досих пор не нашел?
     
  • 2.22, Аноним (22), 19:40, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +1 +/
    принцепе не плохой комментарий для опеннета , мог быть и лучше но и сейчас более не менее
     

  • 1.18, ыы (?), 18:55, 11/02/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +2 +/
    Когда уже в постгресе бэкапы нормальные завезут? Такие как в mssql? Или опенсорс должен из принципа страдать?
     
     
  • 2.20, Иван (??), 19:10, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –1 +/
    Нормальные это какие?
     
     
  • 3.21, ыы (?), 19:19, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Бэкапить отдельно каждую базу в кластере, и восстанавливать ее  на любой момент времени не останавливая остальные базы кластера.
     
     
  • 4.23, Аноним (23), 19:52, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    pg_dump?
     
     
  • 5.24, ыы (?), 20:24, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/

    https://postgrespro.ru/docs/enterprise/13/continuous-archiving


    "
    Программы pg_dump и pg_dumpall не создают копии на уровне файловой системы и не могут применяться как часть решения по непрерывной архивации. Создаваемые ими копии являются логическими и не содержат информации, необходимой для воспроизведения WAL.
    "

     
     
  • 6.25, Аноним (25), 20:41, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    И?
     
     
  • 7.29, ыы (?), 21:50, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    и все. приплыли...
     
     
  • 8.31, Аноним (25), 22:51, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    А в чём вопрос Непонятно как pg_dump пользоваться Почитай документацию ... текст свёрнут, показать
     
     
  • 9.33, ыы (?), 23:56, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Ну давай, расскажи где в документации написано как восстановить с помощью pg_dum... текст свёрнут, показать
     
     
  • 10.51, Аноним (43), 22:52, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    до Непрерывное архивирование - еще не дочитал в доках ... текст свёрнут, показать
     
     
  • 11.52, ыы (?), 23:00, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Извиняюсь, а какая связь между pg_dump и Непрерывное архивирование ... текст свёрнут, показать
     
  • 6.26, Аноним (23), 21:03, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    > Программы pg_dump и pg_dumpall не создают копии на уровне файловой системы

    FYI, в этом вашем мускуле вообще нет никаких инструментов для физической репликации, не говоря уже о консистентном бэкапе.

     
  • 5.30, drTr0jan (?), 22:10, 11/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –1 +/
    pg_dump/pg_restore - не является инструментом резервного копирования/восстановления.

    Банально, логическая структура базы может не позволить восстановить базу даже в три итерации с отключением триггеров (данные зависят от схемы данных, которая зависит от схемы настроек).

     
     
  • 6.32, Аноним (25), 22:52, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Можно пример?
     
  • 6.38, Аноним (38), 14:02, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Ок, как тогда по вашему делать бекапы и восстанавливать их в случае чего?
     
  • 4.27, анон (?), 21:07, 11/02/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +/
    https://github.com/wal-g/wal-g
     
     
  • 5.28, ыы (?), 21:42, 11/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
  • 4.39, Shodan (ok), 14:14, 12/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    barman?
     
     
  • 5.42, ыы (?), 15:30, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
     
  • 6.44, Shodan (ok), 15:53, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Восстанавливает отдельную базу без остановки кластера?

    Восстанавливает wal файлы в любой момент времени, остановка кластера или не остановка это уже админ может сам организовать

     
     
  • 7.47, ыы (?), 16:01, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Я спрашиваю про базу в не про WAL файлы
     
  • 3.35, Onotole (?), 02:19, 12/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Barman - оцените.
     
     
  • 4.41, ыы (?), 15:30, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
  • 2.37, Денис (??), 08:42, 12/02/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –1 +/
    pg_probackup
     
     
  • 3.40, ыы (?), 14:22, 12/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
     
  • 4.53, Денис (??), 05:53, 13/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Всегда умел
     
     
  • 5.55, ыы (?), 09:40, 13/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Опишите пожалуйста последовательность действий и команды для этого
     

  • 1.58, Аноним (58), 16:44, 14/02/2022 [ответить] [﹢﹢﹢] [ · · · ]  []     [к модератору]
  • +/
    > Дополнительно можно отметить выпуск утилиты reshape

    К сожалению на мерзкой ржавчине => ненужно

     
     
  • 2.59, Аноним (58), 16:49, 14/02/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    У чела крыша поехал - он предлагает писать миграции в TOML
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2025 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру