我正在制作一个从网站获取数据的应用程序。 该网站不提供 API,所以我尝试自己制作。
所以问题来了: 我使用以下代码从 URL 中提取 HTML:
//Get the html code from the URL
BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));
String input;
StringBuffer stringBuffer = new StringBuffer();
while ((input = in.readLine()) != null) {
stringBuffer.append(input);
}
in.close();
String htmlData = stringBuffer.toString();
现在这给了我网站的加载页面。我知道 javascript 会加载网站的其余部分,所以我的问题是:在 javascript 加载完成后,如何从 url 获取 HTML。
请您参考如下方法:
您必须使用一些网页抓取库。根据您的编程语言,有不同的网页抓取库,下面是其中之一