如何获得谷歌知识图谱的 "人们也在搜索 "内容?[英] How to get Google's Knowledge Graph "people also search for" content?

问题描述

我正在尝试在搜索结果页面上获取 Google 的"人们也搜索"内容,并且我正在使用 PhantomJS 来抓取他们的结果.但是,我需要的知识库部分没有出现在我得到的 body 中.有谁知道我可以做些什么来让我看到它?

代码如下:

var phantom = require('phantom');

phantom.create(function (ph) {
    ph.createPage(function (page) {
        page.open("http://www.google.com/ncr", function (status) {
            console.log("opened google NCR ", status);
            page.evaluate(function () { return document.title; }, function (result) {
                console.log('Page title is ' + result);
                page.open("https://www.google.com/search?gws_rd=ssl&site=&source=hp&q=google&oq=google", function (status) {
                    console.log("opened google Search Results ", status);
                    page.evaluate(function () { return document.body; }, function (result) {
                        console.log(result);
                        ph.exit();
                    });
                });
            });
        });
    });
});

PS 我必须首先请求 `google.com/ncr' 来强制加载 Google.Com 的结果,因为我在德国并且德语版本没有知识图.也许上面的请求也可以简化...

解决方案

可能是你拿到body的时候页面的js还没写完.尝试将此添加到您的 page.evaluate 中.

window.setTimeout( function() { <your page logic> }, 1000);

您可能需要摆弄时间.

您也可以在打开页面后但在运行评估之前执行 page.includeJs('http://ajax.googleapis.com/ajax/libs/jquery/1.8.2/jquery.min.js', function(){<your logic>}); 来使用 jquery.

本文地址:https://www.itbaoku.cn/post/1740019.html