форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Резервное копирование / Linux)
Изначальное сообщение		[ Отслеживать ]

"Как реализовать копирование отдельных файлов через снапшоты?"	+/–
Сообщение от nulltime (ok) on 08-Дек-10, 16:10
Доброго времени суток! Если ошибся темой, извините, но это самое близкое, что я нашел. В связи с Концепцией Всеобщей Секурности на меня свалилась задача сделать прозрачное и незаметное копирование изменяемых файлов налету на сервере связи с контрагентами: Есть сервер, на него работники и внешние контрагенты выкладывают файлы для обмена. Файлы должны автоматически копироваться в скрытый раздел "для отчетности". Порешили что копирование должно начинаться в момент закрытия файла, ранее открытого на запись. Плюс к этому, если файл был удален сразу после закрытия, то его копия тоже должна быть сохранена. Если файл был записан, изменен и снова закрыт - должны быть сохранены обе версии файла. Задача разделяется на две - отслеживание события закрытия файла, ранее открытого на запись, и возможность сделать снимок файла. Первую задачу я думал решить через incron+скрипты, а со снапшотом возникли проблемы: мне думается, что снапшот должен создаваться при каждом событии окончания записи, затем снапшот и имя файла передаются скрипту, который производит копирование и после удаляет снапшот. Решение через LVM мне не понравилось - оно заметно тормозит дисковые операции и при ситуации, когда один крупный файл насколько раз меняется, приводит  к накоплению снапшотов и полной деградации сервера и сервиса. Могут ли уважаемые Гуру подсказать другой способ получения снапшотов? Может ФС с поддержкой снапшотов? Или ФС с сохранением версий файлов? Я не совсем понял технологию Copy-on Write в контексте ФС и в каких ФС она есть. Может подскажете как можно ее можно использовать для решения? Предположительно, операционка будет CentOS 5.5, но это не принципиально, просто она неплохо дружит с драйверами НР DL360 от разработчика. Заранее спасибо!
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Как реализовать копирование отдельных файлов через снапшоты?"	+/–
Сообщение от senimore (ok) on 08-Дек-10, 17:26
>[оверквотинг удален] > заметно тормозит дисковые операции и при ситуации, когда один крупный файл > насколько раз меняется, приводит  к накоплению снапшотов и полной деградации > сервера и сервиса. Могут ли уважаемые Гуру подсказать другой способ получения > снапшотов? Может ФС с поддержкой снапшотов? Или ФС с сохранением версий > файлов? Я не совсем понял технологию Copy-on Write в контексте ФС > и в каких ФС она есть. Может подскажете как можно ее > можно использовать для решения? > Предположительно, операционка будет CentOS 5.5, но это не принципиально, просто она неплохо > дружит с драйверами НР DL360 от разработчика. > Заранее спасибо! А DMS (http://en.wikipedia.org/wiki/Document_management_system) вам не подойдет? Их много всяких есть(http://sourceforge.net/search/?words=Document+Management+Sys...)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	4. "Как реализовать копирование отдельных файлов через снапшоты?"	+/–
	Сообщение от nulltime (ok) on 08-Дек-10, 18:06
	> А DMS (http://en.wikipedia.org/wiki/Document_management_system) вам не подойдет? Их > много всяких есть(http://sourceforge.net/search/?words=Document+Management+Sys...) Нее, надо, чтоб крякала ка утка, ходила как утка(FTP или NFS) но, с копированием :о)
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Как реализовать копирование отдельных файлов через снапшоты?"	+/–
Сообщение от sage444 (ok) on 08-Дек-10, 17:33
>[оверквотинг удален] > заметно тормозит дисковые операции и при ситуации, когда один крупный файл > насколько раз меняется, приводит  к накоплению снапшотов и полной деградации > сервера и сервиса. Могут ли уважаемые Гуру подсказать другой способ получения > снапшотов? Может ФС с поддержкой снапшотов? Или ФС с сохранением версий > файлов? Я не совсем понял технологию Copy-on Write в контексте ФС > и в каких ФС она есть. Может подскажете как можно ее > можно использовать для решения? > Предположительно, операционка будет CentOS 5.5, но это не принципиально, просто она неплохо > дружит с драйверами НР DL360 от разработчика. > Заранее спасибо! ZFS (solaris, freebsd) может делать снапшоты паравда сразу целого "раздела" но размер у них очень правильный ;) если вы можете отловить момент закрытия файла то сделать снапшот несложно. только вот при даже небольшой нагрузке у вас будет очень много снапшотов и нужно еще продумать как в них потом не потеряться ну и систему зачистки старых
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	5. "Как реализовать копирование отдельных файлов через снапшоты?"	+/–
	Сообщение от nulltime (ok) on 08-Дек-10, 18:13
	> ZFS (solaris, freebsd) может делать снапшоты паравда сразу целого "раздела" но размер > у них очень правильный ;) > если вы можете отловить момент закрытия файла то сделать снапшот несложно. > только вот при даже небольшой нагрузке у вас будет очень много снапшотов > и нужно еще продумать как в них потом не потеряться ну > и систему зачистки старых Я сразу подумал про ZFS, просто с Линуксом лучше знаком, а Солярку без поддержки ставить не хочется. Насчет накопления  - не знаю, надо пробовать. Просто люди будут лить по FTP, а система копировать по FibreChannel. По поводу самого обменника склоняемся к ФТП а на нем и скорость можно притормозить. Насчет зачистки - я думал, что копирующий скрипт будет и уничтожать снапшот после копирования. Плюс структура var файлов и скрипт раз в 5 минут чистящий все то что потеряли.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Как реализовать копирование отдельных файлов через снапшоты?"	+/–
Сообщение от pavel_simple (ok) on 08-Дек-10, 17:46
nilfs
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	6. "Как реализовать копирование отдельных файлов через снапшоты?"	+/–
	Сообщение от nulltime (ok) on 08-Дек-10, 18:14
	> nilfs Спасибо, посмотрю
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема