使用phantomjs/casperjs时减少CPU使用的方法[英] Ways to reduce CPU usage while using PhantomJS/CasperJS

问题描述

正在使用phantomjs和casperjs进行屏幕截图和其他内容.我面临的问题是,它采用过多的CPU使用,这使我觉得它可能无法扩展.是否有任何方法可以减少相同的CPU使用情况.我能想到的一些是:

1)禁用图像加载
2)禁用JS加载

我也想知道python是否比刮擦目的更轻(在CPU使用方面).

推荐答案

为什么只有casperjs/phantomjs?您是在刮口使用JavaScript加载内容的网站吗?任何不运行完整WebKit浏览器的工具都比使用的工具更轻巧.

如注释中所述,您可以在Linux系统上使用wget或curl将网页转载到文件/stdout.有许多库可以处理和解析RAW HTML,例如 cheerio forNodejs.

仍然想要某种形式的脚本?因为您提到了python,所以有一个工具,称为 Mechanagizizaiment 在不运行WebKit的情况下可以做到这一点.它不如Casper/Phantom强大,但它可以用较小的足迹做很多相同的事情(填写表格,单击链接等).

其他推荐答案

5半以后,我认为您不再遇到这个问题,但是如果其他人偶然发现了这个问题,则是解决方案.

完成刮擦后,通过键入browser.quit()退出浏览器,浏览器是您设置的变量的名称.

本文地址:https://www.itbaoku.cn/post/1740013.html