我正在制作一个从网站获取数据的应用程序。 该网站不提供 API,所以我尝试自己制作。

所以问题来了: 我使用以下代码从 URL 中提取 HTML:

//Get the html code from the URL 
BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream())); 
String input; 
StringBuffer stringBuffer = new StringBuffer(); 
while ((input = in.readLine()) != null) { 
    stringBuffer.append(input); 
} 
in.close(); 
String htmlData = stringBuffer.toString(); 

现在这给了我网站的加载页面。我知道 javascript 会加载网站的其余部分,所以我的问题是:在 javascript 加载完成后,如何从 url 获取 HTML。

请您参考如下方法:

您必须使用一些网页抓取库。根据您的编程语言,有不同的网页抓取库,下面是其中之一

https://github.com/cheeriojs/cheerio


评论关闭
IT干货网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!