The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"squid потребляет более 3 Гб ОЗУ"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Настройка Squid и других прокси серверов (Squid)
Изначальное сообщение [ Отслеживать ]

"squid потребляет более 3 Гб ОЗУ"  +/
Сообщение от progserega email(ok) on 06-Окт-11, 08:02 
Здравствуйте!

Сквид съедает 3 Гб ОЗУ и ещё 1 Гб файла подкачки.

В опциях про кэш прописано:
visible_hostname prx
http_port 3128
ssl_unclean_shutdown on
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_mem 128 MB
cache_replacement_policy heap GDSF
memory_replacement_policy heap GDSF
cache_dir ufs /var/cache/squid 20480 32 384
maximum_object_size 10480 KB
forwarded_for on

# Освобождать неиспользуемую память:
memory_pools off

Т.е. по всем FAQ-ам не должен он столько кушать на 20 Гб кэша...
Количество объектов в кэше - 146 тысяч, заполнение файлового кэша - 2,4 Гб.

Cache Manager про память говорит, что:
cbdata CbDataList - 1832941 Kb (т.е. 1,8 Гб).

Количество пользователей - порядка 200 человек.

Получается, что чуть ли не всё хранится в памяти и ещё и в подкачку уходит. Сам сквид говорит, что использует 7% cpu. Оборудование свежее, на сервере 4 Гб ОЗУ. Раньше cache_dir был выставлен в 60 Гб, но из-за такого потребления памяти - убавили до 20, но не помогло... Со временем сквид начинает притормаживать всю систему и ещё больше уходить в "своп".

Как с этим бороться?

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "squid потребляет более 3 Гб ОЗУ"  +/
Сообщение от progserega email(ok) on 06-Окт-11, 08:13 
Вот сейчас squid скушал 3 Гб свопа и практически мёртв.
в логах - тишина, как буд-то всё работает.

версия сквида: 3.1.6-r1

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "squid потребляет более 3 Гб ОЗУ"  +/
Сообщение от Golub Mikhail (ok) on 06-Окт-11, 11:25 
> Вот сейчас squid скушал 3 Гб свопа и практически мёртв.
> в логах - тишина, как буд-то всё работает.
> версия сквида: 3.1.6-r1

Да, такое кушанье памяти не нормально.
Попробуйте отключить дисковый кеш и посмотреть, будет ли так утекать память.

forwarded_for off
client_db off
reload_into_ims off


Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "squid потребляет более 3 Гб ОЗУ"  +/
Сообщение от progserega email(ok) on 07-Окт-11, 02:11 
>> Вот сейчас squid скушал 3 Гб свопа и практически мёртв.
>> в логах - тишина, как буд-то всё работает.
>> версия сквида: 3.1.6-r1
> Да, такое кушанье памяти не нормально.
> Попробуйте отключить дисковый кеш и посмотреть, будет ли так утекать память.
> forwarded_for off
> client_db off
> reload_into_ims off

Спасибо - учту в случае подобного в будущем. Но пока боролся - обновился до 3.1.15 и сейчас squid кушает 230 Мб ОЗУ и пока полёт нормальный на том же конфиге. Видать были утечки памяти в старой версии...

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "squid потребляет более 3 Гб ОЗУ"  +/
Сообщение от ipmanyak (ok) on 07-Окт-11, 15:37 
Сколько памяти нужно сквиду в ОЗУ?
10 мег на каждый гиг КЭШа + cache_mem + 10-20MB
Теперь посчитай сам сколько памяти будет кушать твой сквид.
Сквид жрет память в ОЗУ  если стоит  memory_pools on, то есть не освобождает обратно запрашиваемую память, как резуьлтат, система начинает свопить. Но у вас стоит правильно
memory_pools off  
Делать кэш на 20 гигов это чересчур, уйма времеин будет уходить на поиск объектов в индексах, а значит тормоза в целом, имхо 2 гига это максимум, что следует давать. Я вообше кэш отключил, поскольку эффективность кэша была очень низкой - 3-4%, юзеры ходят на разные сайты, да и трафик от прова стал безлимитный.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "squid потребляет более 3 Гб ОЗУ"  +/
Сообщение от DeadLoco (ok) on 10-Окт-11, 01:59 
> Делать кэш на 20 гигов это чересчур, уйма времеин будет уходить на
> поиск объектов в индексах, а значит тормоза в целом

Неправда. Одно время я держал на четырех винтах четыре раздела под кеш по 64ГБ каждый, и это давало отличный эффект при 400+ МБ в памяти. Правда, тогда у меня максимальный размер кешируемого объекта равнялся 32 мегабайтам, это позволяло здорово экономить при выходе свежих версий дров и на разных вирусных видео.

Сейчас большой кеш неоправдан не потому, что интернет стал большой, а потому, что он стал динамический. Нужно ограничивать максимальный размер кешируемого объекта в 32-64 кБ, при этом кешироваться будет мелкая картинка, используемая в оформлении массово посещаемых страниц, вроде одноглазников-законтаченых и им подобных.

Но разрастание сквида свыще полугигабайта - это явная патология. Обычно она наблюдается при большом количестве делей-пулов 2-3 классов, где индивидуальные пулы плодятся динамически.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру