форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум WEB технологии (Оптимизация, производительность)
Изначальное сообщение		[ Отслеживать ]

"Парсинг большого XML файла"	+/–
Сообщение от svfolder (ok) on 29-Ноя-12, 22:29
Здравствуйте уважаемые форумчане! Имеется xml файл, скажем 50-200 мб. Имеется обычный SimpleXML парсер на php, крутится все на VDS небольшой мощности. Вопросик, как реализовать обработку этого файла и обновление данных в базе, последовательно в цикле с равномерной загрузкой CPU и MySql чтобы скрипт не вешал на 100% процессор, а скажем на 20-30%, если такое возможно? Или необходимо писать менеджер обработки порциями и скажем запускать по крону каждые 30 минут и обрабатывать порциями данные... И еще вопросик, на каком языке будет быстрее парсер работать, php, perl или еще что то, и в частности есть ли более скоростные модули для работы с ними из php, для парсинга. Сервер ubuntu 10.04 Заранее благодарен.
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Парсинг большого XML файла"	+/–
Сообщение от ne4to (ok) on 30-Ноя-12, 00:55
nice -n 19 parser.php и не надо ничего писать
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Парсинг большого XML файла"	+/–
	Сообщение от svfolder (ok) on 30-Ноя-12, 15:19
	> nice -n 19 parser.php > и не надо ничего писать Это разве прокатит если php работает как модуль апача???
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Парсинг большого XML файла"	+/–
	Сообщение от Andrey Mitrofanov on 30-Ноя-12, 16:03
	>> nice -n 19 parser.php > Это разве прокатит если php Покатит запустить отдельный асинхронный, долгоживущий, фоновый, низкоприоритетный процесс из этого самого php-под^Wв-апаче.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Парсинг большого XML файла"	–1 +/–
	Сообщение от svfolder (ok) on 30-Ноя-12, 16:27
	>>> nice -n 19 parser.php >> Это разве прокатит если php > Покатит запустить отдельный асинхронный, долгоживущий, фоновый, низкоприоритетный процесс > из этого самого php-под^Wв-апаче. И как подобное сделать из php скрипта? Если не затруднит, покажите примерчик, или ссылку где почитать, желательно на русском ).
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	4. "Парсинг большого XML файла"	+/–
	Сообщение от ne4to (ok) on 30-Ноя-12, 16:16
	>> nice -n 19 parser.php >> и не надо ничего писать > Это разве прокатит если php работает как модуль апача??? ну ты запускай его через cli и все будет гут
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	6. "Парсинг большого XML файла"	+/–
	Сообщение от svfolder (ok) on 30-Ноя-12, 16:32
	>>> nice -n 19 parser.php >>> и не надо ничего писать >> Это разве прокатит если php работает как модуль апача??? > ну ты запускай его через cli и все будет гут cli же еще надо сперва настроить), а что делать если его нет на хостинге? ), из реальной жизни, на hc.ru 2 года назад, неделю долбили тех поддержку, так они и не смогли на своем хостинге настроить чтобы работало set_time_limit(0);, скрипт импорта в магазин тупо умирал через 30 сек... техподдержка развела руками и ничего не смогла на своем vps настроить нам...
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	7. "Парсинг большого XML файла"	+/–
	Сообщение от ne4to (ok) on 30-Ноя-12, 21:04
	> крутится все на VDS ну как по мне то эта строчка означает что у вас есть туда рутовый доступ, иначе смысл тогда в вдс, если можно взять просто хостинг ) а если есть рут, то что мешает сделать все как надо ?
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема