想找一些圖片做桌面背景，但是又不想一張張去下載，后來就想到了爬蟲，，，
對于爬蟲我也沒具體用過，在網上一頓搜索后寫了個小demo，
爬蟲的具體思路就是：
1.呼叫url爬取網頁資訊
2.決議網頁資訊
3.保存資料
剛開始還用正則去匹配，獲取img標簽中的src地址，但是發現有很多不便（主要我正則不太會），后來發現了jsoup這個神器， jsoup 是一款Java 的HTML決議器，可直接決議某個URL地址、HTML文本內容，它提供了一套非常省力的API，可通過DOM，CSS以及類似于jQuery的操作方法來取出和操作資料，
以下就用爬取圖片為例：
import com.crawler.domain.PictureInfo; import org.bson.types.ObjectId; import org.springframework.data.mongodb.core.MongoTemplate; import org.springframework.data.mongodb.gridfs.GridFsTemplate; import org.springframework.stereotype.Service; import org.apache.commons.io.FileUtils; import org.apache.http.HttpEntity; import org.apache.http.client.ClientProtocolException; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import org.springframework.util.DigestUtils; import org.springframework.util.StringUtils; import javax.annotation.Resource; import java.io.*; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /**
* 爬蟲實作
*@program: crawler * @description * @author: wl * @create: 2021-01-12 17:56 **/ @Service public class CrawlerService { /** * @param url 要抓取的網頁地址 * @param encoding 要抓取網頁編碼 * @return */ public String getHtmlResourceByUrl(String url, String encoding) { URL urlObj = null; HttpURLConnection uc = null; InputStreamReader isr = null; BufferedReader reader = null; StringBuffer buffer = new StringBuffer(); // 建立網路連接 try { urlObj = new URL(url); // 打開網路連接 uc =(HttpURLConnection) urlObj.openConnection(); // 模擬瀏覽器請求 uc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); // 建立檔案輸入流 isr = new InputStreamReader(uc.getInputStream(), encoding); // 建立快取匯入 將網頁源代碼下載下來 reader = new BufferedReader(isr); // 臨時 String temp = null; while ((temp = reader.readLine()) != null) {// System.out.println(temp+"\n"); buffer.append(temp + "\n"); } System.out.println("爬取結束:"+buffer.toString()); } catch (Exception e) { e.printStackTrace(); } finally { // 關流 if (isr != null) { try { isr.close(); } catch (IOException e) { e.printStackTrace(); } } } return buffer.toString(); } /** * 下載圖片 * * @param listImgSrc */ public void Download(List<PictureInfo> listImgSrc) { int count = 0; try { for (int i = 0; i < listImgSrc.size(); i++) { try { PictureInfo pictureInfo = listImgSrc.get(i); String url=pictureInfo.getSrc(); String imageName = url.substring(url.lastIndexOf("/") + 1, url.length()); URL uri = new URL(url); // 打開連接 URLConnection con = uri.openConnection(); //設定請求超時為 con.setConnectTimeout(5 * 1000); con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); // 輸入流 InputStream is = con.getInputStream(); // 1K的資料緩沖 byte[] bs = new byte[1024]; // 讀取到的資料長度 int len; // 輸出的檔案流 String src =https://www.cnblogs.com/wlv1314/p/ url.substring(URL.length()); int index = src.lastIndexOf('/'); String fileName = src.substring(0, index + 1); File sf = new File(SAVE_PATH + fileName); if (!sf.exists()) { sf.mkdirs(); } OutputStream os = new FileOutputStream(sf.getPath() + "\\" + imageName); System.out.println(++count + ".開始下載:" + url); // 開始讀取 while ((len = is.read(bs)) != -1) { os.write(bs, 0, len); } // 完畢，關閉所有鏈接 os.close(); is.close(); System.out.println(imageName + ":--下載完成"); } catch (IOException e) { System.out.println("下載錯誤"+e); } } } catch (Exception e) { e.printStackTrace(); System.out.println("下載失敗"+e); } } /** * 得到網頁中圖片的地址-推薦 * 使用jsoup * @param htmlStr html字串 * @return List<String> */ public List<PictureInfo> getImgStrJsoup(String htmlStr) { List<PictureInfo> pics = new ArrayList<PictureInfo>(); //獲取網頁的document樹 Document imgDoc = Jsoup.parse(htmlStr); //獲取所有的img Elements alts = imgDoc.select("img[src]"); for (Element alt : alts) { PictureInfo p=new PictureInfo(); p.setSrc(alt.attr("src")); p.setAlt(alt.attr("alt")); p.setTitle(alt.attr("title")); pics.add(p); } return pics; } }
主要方法就這些，只要爬取下來的網頁資訊包含img標簽，就能扒下其對應的圖片，
這只是一部分啊，，，
不過提醒各位一句，爬下來自己用用就行了(我做動態桌面壁紙)，不要用于商業用途，如果要商業化，可以去爬那些無著作權的網站，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/249312.html
標籤：Java
上一篇：Java高級特性之反射