pokerfrog ([personal profile] pokerfrog) wrote2017-01-23 06:20 am

Прожорлив как Zombie

Вне всяких сомнений – Zombie жрет память. И мой мозг.

Я отключил из программы все кроме самого зомби, который открывает по очереди кучу страниц. Каждая страница отъедает приличный кусок и не возвращает его обратно.

Нашел у него метод destroy() который вроде как освобождает все ресурсы. Хуй он чего освобождает. Попробовал сделать глобальный объект zombie и удалять его после загрузки каждой страницы через delete. Не помогает. Утечка где-то в самом модуле

Распарсить не то что весь интернет, а даже сотню страничек из ЖЖ не выйдет. А без него тоже нельзя – как я уже писал, часть блогов на ЖЖ загружают комменты динамически. Так что простым request’ом не обойтись.

Возможно каспер ведет себя лучше?