java爬蟲系列：怎么用jsoup進行爬蟲開發?(3)
東西/原料
- eclipse/idea
- jsoup
- 需要爬取的網站
方式/步調
- 1
第一步：找到需要登岸的網站的接口，即登岸挪用的接口，按F12，點擊登岸，在network一欄看到請求的接口，如圖：
- 2
第二步：點擊接口，查看登岸信息的參數，在Header最下面可以看到 form data，這就時請求參數，如圖：
- 3
第三步：用上面的請求參數進行構建，jsoup代碼如下：
Map<String, String> data = new HashMap<>();
data.put("username", "ss");
data.put("password", "ss");
Document doc = Jsoup.connect("")
.data(data)
.post();
System.out.println(doc.toString());成果如圖：
- 4
第四步：上面輸出成果提醒登岸掉敗，必定是用戶名或暗碼錯誤，下面輸入準確的用戶名和暗碼，看成果是否能當作功，如圖：
可以看到登岸當作功
- 5
第五步：登岸后的cookies提取和保留。登岸完當作之后，鄙人次請求的就不需要登岸，只要把把cookies帶入即可，代碼如下：
Map<String, String> data = new HashMap<>();
data.put("username", "xxx");
data.put("password", "xxx");
Connection.Response res = Jsoup.connect("http://127.0.0.1:8080/login").data(data)
.method(Connection.Method.POST).execute();
// res.cookies() 提取cookies 進行下一次請求
Document doc = Jsoup.connect("http://localhost:8080/index").cookies(res.cookies()).post();
- 6
第六步：這篇是簡單的登岸模擬請求，下一篇將對請求的dom進行解析
END
注重事項
- 網站通順
- 發表于 2020-04-25 19:00
- 閱讀 ( 1376 )
- 分類：其他類型
0 篇文章
作家榜 ?
-
xiaonan123
189 文章
-
湯依妹兒
97 文章
-
luogf229
46 文章
-
jy02406749
45 文章
-
小凡
34 文章
-
Daisy萌
32 文章
-
我的QQ3117863681
24 文章
-
華志健
23 文章