[personal profile] pokerfrog

Вне всяких сомнений – Zombie жрет память. И мой мозг.

Я отключил из программы все кроме самого зомби, который открывает по очереди кучу страниц. Каждая страница отъедает приличный кусок и не возвращает его обратно.

Нашел у него метод destroy() который вроде как освобождает все ресурсы. Хуй он чего освобождает. Попробовал сделать глобальный объект zombie и удалять его после загрузки каждой страницы через delete. Не помогает. Утечка где-то в самом модуле

Распарсить не то что весь интернет, а даже сотню страничек из ЖЖ не выйдет. А без него тоже нельзя – как я уже писал, часть блогов на ЖЖ загружают комменты динамически. Так что простым request’ом не обойтись.

Возможно каспер ведет себя лучше?

Profile

pokerfrog

February 2017

S M T W T F S
    1 2 34
567891011
12131415161718
19202122232425
262728    

Style Credit

Expand Cut Tags

No cut tags
Page generated Jun. 16th, 2025 12:28 pm
Powered by Dreamwidth Studios