主頁 >  其他 > 這年頭學爬蟲還就得會點 scrapy 框架

這年頭學爬蟲還就得會點 scrapy 框架

2020-09-18 11:52:53 其他

Hello，我是 Alex 007，為啥是007呢？因為叫 Alex 的人太多了，再加上每天007的生活，Alex 007就誕生了，

這幾天一直在練車，只能在中間休息的時候寫一寫博客，可憐去年報的名到現在還沒有拿到小本本，當然練車只是副技能，主技能還是coding，不斷學習才能不被淘汰，

最近在學爬蟲的 scrapy 框架，以前雖然拿 GoLang 玩過爬蟲，可惜沒有太深入，這次拿 Python 好好學一學，
學習爬蟲程序中的代碼都放在了GitHub上：https://github.com/koking0/Spider
小生才疏學淺，如有謬誤，恭請指正，

文章目錄

  • 一、初探 Scrapy
    • 1.Scrapy 的安裝
    • 2.第一個 scrapy 專案
  • 二、基本操作
    • 1.持久化存盤
      • （1）基于終端指令的持久化存盤
      • （2）基于管道的持久化存盤
    • 2.全站資料爬取
      • 請求傳參
    • 3.圖片下載

一、初探 Scrapy

先來看一下官網的定義：

Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages.
Scrapy是一個快速的高級web抓取框架，用于抓取網站和從網頁中提取結構化資料，

It can be used for a wide range of purposes, from data mining to monitoring and automated testing.
它可以用于廣泛的用途，從資料挖掘到監控和自動化測驗，
在這里插入圖片描述

沒學習過爬蟲和框架的人可能就懵逼了，不知道爬蟲是什么的可以先花兩分鐘看一下網路機器人之爬蟲這篇文章，不知道框架是什么的，我簡單說一下，大佬可以螢屏向下滾動200px，

1.什么是框架？
	所謂框架，顧名思義，就是一個具有很強通用性并且集成了很多功能的專案模板，可以應用在不同的專案需求中，
	也就是說，框架是別人造好的輪子，一個專案的半成品，我們只需要拿過來撰寫自己的業務邏輯填空即可，

2.怎么學習框架？
	對于剛接觸編程或者小白來講，一個新的框架只需要掌握該框架的作用及其各個功能的使用即可，
	說白了就是會用就行，對于框架的底層實作和原理，在逐步進階中慢慢深入即可，

Scrapy 可以說在爬蟲界是非常出名也非常強悍的，為爬取網站結構性資料而生，其內部集成了諸如高性能異步下載、佇列、分布式、持久化等功能，可以說是爬蟲利器，

1.Scrapy 的安裝

  • Windows 作業系統

四行代碼，復制粘貼，簡單粗暴，

pip install wheel

pip install twisted

pip install pywin32

pip install scrapy

如果安裝太慢的話可以用阿里云鏡像，

pip install -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com twisted

pip install -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com pywin32

pip install -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com scrapy

簡單解釋一下除了 scrapy 之外的兩個東西是啥：

  1. twisted
    Twisted 是用 Python 實作的基于事件驅動的網路引擎框架，提供了允許阻塞行為但不會阻塞代碼執行的方法，比較適合異步的程式，

關于 Twisted 異步與多執行緒的比較可以參考：Scrapy與Twisted

  1. pywin32
    pywin32 主要的作用是方便 Python 開發者快速呼叫 Windows API的一個模塊庫，

也就是說，twisted 和 pywin32 可以配合起來讓 scrapy 的異步爬取更加絲滑順暢，哈哈，開玩笑，沒這兩個庫 scrapy 根本安裝不上，三個步驟一步都不能報錯，

  • Linux 作業系統
pip install scrapy
  • Mac 作業系統
pip install scrapy

安裝完成后可以測驗一下安裝結果，在終端輸入 scrapy，執行后沒有報錯即安裝成功：

(venv) G:\Python\Spider>scrapy
Scrapy 2.0.1 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

2.第一個 scrapy 專案

使用 scrapy 大體上可以分為5個步驟，這里說的可不是代碼的撰寫，而是從專案的創建到執行需要5步：

  1. 創建專案
scrapy startproject firstScrapy
  1. 進入專案目錄
cd firstScrapy
  1. 創建爬蟲檔案
scrapy genspider baiDuwww.baidu.com
  1. 撰寫代碼
    這里簡單做一個爬取百度首頁頂部選單的爬蟲，
    在這里插入圖片描述
# baiDu.py
# -*- coding: utf-8 -*-
import scrapy


class BaiduSpider(scrapy.Spider):
    # 爬蟲應用名稱
    name = 'baiDu'
    # 允許爬取的域名，如果不是該域名下的 url 則不會爬取
    allowed_domains = ['www.baidu.com']
    # 起始爬取 url
    start_urls = ['http://www.baidu.com/']

    # 將爬取起始 url 的結果作為 response 引數傳入該函式，函式的回傳值必須是可迭代物件或 null
    def parse(self, response):
        # 字串型別回應物件內容
        # print(response.text)
        # 位元組型別回應物件內容
        # print(response.body)

        # xpath 為 response 的方法，可以直接寫 xpath 運算式
        aList = response.xpath('//*[@id="u1"]/a')
        for item in aList:
            name = item.xpath('.//text()')[0].extract()
            url = item.xpath('./@href')[0].extract()
            print(name, url)


# settings.py
from fake_useragent import UserAgent

# ......

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# 設定全域 UA 偽裝
user_agent = UserAgent()
USER_AGENT = user_agent.random

# Obey robots.txt rules
# 忽略 robots 協議
ROBOTSTXT_OBEY = False
  1. 執行專案
scrapy crawl baiDu

如果你的代碼邏輯沒有出錯的話，可以看到如下結果：

(venv) G:\Python\Spider\6.scrapy框架\firstScrapy>scrapy crawl baiDu
2020-04-09 21:48:46 [scrapy.utils.log] INFO: Scrapy 2.0.1 started (bot: firstScrapy)
2020-04-09 21:48:46 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 20.3.0, Py
thon 3.7.4 (default, Aug  9 2019, 18:34:13) [MSC v.1915 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1f  31 Mar 2020), cryptography 2.9, Platform
 Windows-10-10.0.18362-SP0
2020-04-09 21:48:46 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.selectreactor.SelectReactor
2020-04-09 21:48:46 [scrapy.crawler] INFO: Overridden settings:
{'BOT_NAME': 'firstScrapy',
 'EDITOR': '~/AppData/Roaming/GitPad/GitPad.exe',
 'NEWSPIDER_MODULE': 'firstScrapy.spiders',
 'SPIDER_MODULES': ['firstScrapy.spiders'],
 'USER_AGENT': 'Mozilla/5.0 (X11; CrOS i686 3912.101.0) AppleWebKit/537.36 '
               '(KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36'}
2020-04-09 21:48:46 [scrapy.extensions.telnet] INFO: Telnet Password: 2ca333daee7184fb
2020-04-09 21:48:46 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2020-04-09 21:48:47 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2020-04-09 21:48:47 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2020-04-09 21:48:47 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2020-04-09 21:48:47 [scrapy.core.engine] INFO: Spider opened
2020-04-09 21:48:47 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-04-09 21:48:47 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-04-09 21:48:47 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.baidu.com/> from <GET http://www.baidu.com
/>
2020-04-09 21:48:47 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.baidu.com/> (referer: None)
抗擊肺炎 https://voice.baidu.com/act/newpneumonia/newpneumonia/?from=osari_pc_1
新聞 http://news.baidu.com
hao123 https://www.hao123.com
地圖 http://map.baidu.com
視頻 http://v.baidu.com
貼吧 http://tieba.baidu.com
學術 http://xueshu.baidu.com
登錄 https://passport.baidu.com/v2/?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F&sms=5
設定 http://www.baidu.com/gaoji/preferences.html
更多產品 http://www.baidu.com/more/
2020-04-09 21:48:47 [scrapy.core.engine] INFO: Closing spider (finished)
2020-04-09 21:48:47 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 732,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 53325,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 1,
 'downloader/response_status_count/302': 1,
 'elapsed_time_seconds': 0.491685,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2020, 4, 9, 13, 48, 47, 901362),
 'log_count/DEBUG': 2,
 'log_count/INFO': 10,
 'response_received_count': 1,
 'scheduler/dequeued': 2,
 'scheduler/dequeued/memory': 2,
 'scheduler/enqueued': 2,
 'scheduler/enqueued/memory': 2,
 'start_time': datetime.datetime(2020, 4, 9, 13, 48, 47, 409677)}
2020-04-09 21:48:47 [scrapy.core.engine] INFO: Spider closed (finished)

scrapy 給我們輸出了很多很多東西，我們的列印結果被放在了中間，其它的內容其實是日志資訊，scrapy 幫我們自動生成了日志，如果你覺得礙眼的話，可以通過 settings.py 檔案中的設定只保留錯誤資訊：

LOG_LEVEL = 'ERROR'

二、基本操作

接下來了解一下 scrapy 框架的一些基本操作，比如爬取資料的持久化存盤啦，對網站的全站爬取啦還有圖片下載等功能，

1.持久化存盤

爬取到的資料只有保存到本地的電腦上才是自己的，不然只在記憶體里，用完就沒了，

（1）基于終端指令的持久化存盤

在前邊的小試牛刀中我們可以看到控制臺的輸出，其實基于終端指令的持久化存盤就是將終端的輸出結果重定向到一個本地檔案中，

使用基于終端指令的持久化存盤必須保證爬蟲檔案中的 parse 方法中有可迭代物件回傳，通常是串列或者字典，

我們把爬取百度頂部選單欄的爬蟲 parse 方法升級一下：

    def parse(self, response):
        # xpath 為 response 的方法，可以直接寫 xpath 運算式
        aList = response.xpath('//*[@id="u1"]/a')
        data = {}
        for item in aList:
            name = item.xpath('.//text()')[0].extract()
            url = item.xpath('./@href')[0].extract()
            data[name] = url
        return data

然后在 settings.py 檔案中寫一下檔案編碼的配置，保證使用的是 utf-8 編碼方式：

FEED_EXPORT_ENCODING = 'UTF8'

接下來，在啟動專案的時候可以用如下指令：

scrapy crawl baiDu -o baidu.json

這樣就可以將爬取的結果持久化存盤到 baidu.json 檔案中：
在這里插入圖片描述
類似的方法還有：

scrapy crawl spiderName-o xxxx.txt
scrapy crawl spiderName-o xxxx.xml
scrapy crawl spiderName-o xxxx.csv

（2）基于管道的持久化存盤

使用終端保存檔案的方式在 Windows 作業系統貌似不是很常見，Linux 下倒是正常操作，

scrapy 框架中集成了高效、便捷的持久化存盤功能，并且在創建專案的時候也幫我們自動創建好了檔案：

1.items.py：資料結構模板，定義存盤資料的欄位
2.pipelines.py：管道檔案，接收資料(item)進行持久化存盤

基于管道的持久化存盤流程：

  1. 將爬蟲檔案爬取到的資料封裝到 items 物件中

items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class FirstscrapyItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()   # 存盤選單名
    url = scrapy.Field()    # 存盤選單 url
    pass
  1. 使用 yield 將 items 物件提交給 pipelines 管道持久化存盤

baiDu.py

    def parse(self, response):
        # xpath 為 response 的方法，可以直接寫 xpath 運算式
        aList = response.xpath('//*[@id="u1"]/a')
        for data in aList:
            # 將決議到的資料封裝到 items 物件中
            item = FirstscrapyItem()
            item["name"] = data.xpath('.//text()')[0].extract()
            item["url"] = data.xpath('./@href')[0].extract()
            yield item
  1. 管道檔案中的 process_item 方法接收并處理爬蟲檔案提交過來的 item 物件

pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


class FirstscrapyPipeline(object):
    def __init__(self):
        self.fp = None

    def open_spider(self, spider):
        """開啟爬蟲時執行一次"""
        print("爬蟲啟動！")
        self.fp = open("data.txt", "w")

    def process_item(self, item, spider):
        self.fp.write(f'{item["name"]}:{item["url"]}\n')
        return item		# 注意：一定要有 return item 這一步

    def close_spider(self, spider):
        """結束爬蟲時執行一次"""
        self.fp.close()
        print("爬蟲結束！")
  1. 組態檔 settings.py 中開啟管道

取消兩行注釋即可，后邊的300表示優先級，值越小優先級越高：

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'firstScrapy.pipelines.FirstscrapyPipeline': 300,
}

如此這般，當我們再次執行 scrapy 專案的時候：

(venv) G:\Python\Spider\6.scrapy框架\firstScrapy>scrapy crawl baiDu
爬蟲啟動！
爬蟲結束！

就會生成一個 data.txt 檔案：
在這里插入圖片描述
如果你想將爬取到的資料一式兩份，一份存盤到磁盤檔案中，一份存盤到資料庫中，那么就需要在 pipelines.py 檔案中再定制一個存盤到資料庫的管道類：

class DataBasePipeline(object):
    def __init__(self):
        self.connect, self.cursor = None, None

    def open_spider(self, spider):
        self.connect = pymysql.Connect(host="127.0.0.1", port=3306, user="root", password="20001001", db="test", charset="utf8")

    def process_item(self, item, spider):
        self.cursor = self.connect.cursor()
        try:
            sql = 'INSERT INTO scrapy1 VALUES ("%s", "%s");' % (item["name"], item["url"])
            self.cursor.execute(sql)
            self.connect.commit()
        except Exception as e:
            print(e)
            self.connect.rollback()
        return item		# 注意：一定要有 return item 這一步

    def close_spider(self, spider):
        self.connect.close()
        self.cursor.close()

然后在 settings.py 檔案中注冊該類：

ITEM_PIPELINES = {
   'firstScrapy.pipelines.FirstscrapyPipeline': 300,
   'firstScrapy.pipelines.DataBasePipeline': 301,
}

這樣就可以將爬取到的資料存盤到資料庫中了：
在這里插入圖片描述

2.全站資料爬取

現在大部分的網站展示的資料都進行了分頁操作，因此將所有頁碼對應的頁面進行爬取變成了普遍的要求，scrapy 也幫我們定制好了全站資料爬取的功能，

以我自己的 CSDN 博客為例，我現在想把所有我寫博客的標題和摘要爬取下來：

  1. Elements 分析
    在這里插入圖片描述

每一篇博客的盒子 xpath 運算式：//*[@id="mainBox"]/main/div[2]/div

博客名稱 xpath 運算式：./h4/a/text()

博客摘要 xpath 運算式：./p/a/text()

  1. Page 分析

第一頁：https://alex007.blog.csdn.net/article/list/1

第二頁：https://alex007.blog.csdn.net/article/list/2

第三頁：https://alex007.blog.csdn.net/article/list/3

……

第 n 頁：https://alex007.blog.csdn.net/article/list/n

在 Scrapy 中可以使用 Request 方法手動對每一個頁面發起請求，

import time
import scrapy
from myBlog.items import MyblogItem


class CsdnSpider(scrapy.Spider):
    name = 'csdn'
    start_urls = ['https://alex007.blog.csdn.net/']

    pageNumber = 1
    pageUrl = 'https://alex007.blog.csdn.net/article/list/%d'

    def parse(self, response):
        print(f"正在爬取第{self.pageNumber}頁，url={self.pageUrl % self.pageNumber}，")
        divList = response.xpath('//*[@id="mainBox"]/main/div[2]/div')
        for div in divList:
            item = MyblogItem()
            item["name"] = ("".join(div.xpath('.//h4/a/text()').extract())).strip("\n").strip()
            item["content"] = ("".join(div.xpath('.//p/a/text()').extract())).strip("\n").strip()
            yield item

        if self.pageNumber < 21:
            self.pageNumber += 1
            time.sleep(1)
            url = format(self.pageUrl % self.pageNumber)
            # 遞回爬起資料，callback 引數為回呼函式
            yield scrapy.Request(url=url, callback=self.parse)

如此這般，就可以將我的所有博客文章題目和摘要都爬取下來了：
在這里插入圖片描述

請求傳參

如果我現在的需求升級一下，對于每一篇博客，摘要不要了，替換為博客文章全部內容，這樣的話，我們就得通過在一級頁面拿到 url 訪問二級頁面，這時候就需要用到請求傳參，

也就是說，當我們使用爬蟲想要爬取的資料沒有存在于同一張頁面的時候，則必須使用請求傳參，

import time
import scrapy
from myBlog.items import MyblogItem


class CsdnSpider(scrapy.Spider):
    name = 'csdn'
    start_urls = ['https://alex007.blog.csdn.net/']

    pageNumber = 1
    pageUrl = 'https://alex007.blog.csdn.net/article/list/%d'

    def parse(self, response):
        print(f"正在爬取第{self.pageNumber}頁，url={self.pageUrl % self.pageNumber}，")
        divList = response.xpath('//*[@id="mainBox"]/main/div[2]/div')
        for div in divList:
            item = MyblogItem()
            item["name"] = ("".join(div.xpath('.//h4/a/text()').extract())).strip("\n").strip()
            contentUrl = div.xpath('.//h4/a/@href').extract_first()
            print(f"正在爬取第文章{item['name']}，url={contentUrl}，")
            time.sleep(2)
            yield scrapy.Request(url=contentUrl, callback=self.parseContent, meta={'item': item})

        if self.pageNumber < 2:
            self.pageNumber += 1
            url = format(self.pageUrl % self.pageNumber)
            # 遞回爬起資料，callback 引數為回呼函式
            yield scrapy.Request(url=url, callback=self.parse)

    def parseContent(self, response):
        item = response.meta["item"]
        item["content"] = "".join(response.xpath('//*[@id="content_views"]//text()').extract())
        yield item

我們通過meta={'item': item}將item傳遞給處理二級頁面函式，然后直接在其中yield item就可以將結果傳遞給管道函式，爬取結果如下：
在這里插入圖片描述

3.圖片下載

圖片下載也是爬蟲的基本需求，那么 Scrapy 當然也幫我們封裝好了一個專門基于圖片請求和持久化存盤的管道類 ImagesPipeline，

  1. 在爬蟲檔案中決議出圖片的地址
# -*- coding: utf-8 -*-
import scrapy
from beauty.items import BeautyItem


class ImagesSpider(scrapy.Spider):
    name = 'images'
    start_urls = ['http://wuming3175.lofter.com//']

    pageNumber = 1
    pageUrl = "http://wuming3175.lofter.com/?page=%d"

    def parse(self, response):
        divList = response.xpath('/html/body/div[3]/div')
        for div in divList:
            item = BeautyItem()
            imageSrc = div.xpath('.//div[2]/div[1]/div[1]/a/img/@src').extract_first()
            if imageSrc:
                item["image_urls"] = imageSrc.split("?")[0]
                yield item

        if self.pageNumber < 22:
            self.pageNumber += 1
            url = format(self.pageUrl % self.pageNumber)
            yield scrapy.Request(url=url, callback=self.parse)

2.使用 ImagesPipeline 類

class BeautyImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        """用于請求方法"""
        print(f'開始下載{item["image_urls"]}')
        yield scrapy.Request(url=item["image_urls"])

    def file_path(self, request, response=None, info=None):
        """指定檔案存盤路徑"""
        return request.url.split('/')[-1]

    def item_completed(self, results, item, info):
        return item		# 該回傳值會傳遞給下一個即將被執行的管道類
  1. 在 settings.py 檔案中配置管道和圖片存盤路徑
ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'
# ......
IMAGES_STORE = "./images"
ITEM_PIPELINES = {
   'beauty.pipelines.BeautyImagesPipeline': 300,
}

好了，關于 Scrapy 的入門就先講到這里，再寫多了看著都累，如果還想看可以點贊、收藏+關注哦，

寫在最后：
小生才疏學淺，如有謬誤，恭請指正，
在這里插入圖片描述

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/73548.html

標籤：其他

上一篇：老大說：誰要再用double定義商品金額，就自己收拾東西走

下一篇：Dr.VAE

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種：三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看，三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看，三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統，“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及：虛擬機CentOs下執行 yum -y install lrzsz命令，出現錯誤：鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示：其實很簡單，往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號， sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求，SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生， 2020-08-28 16:18:25 分類專欄： kail 網路安全 linux 文章標簽： linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么？ 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼： #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘（北斗授時服務器）讓網路資料更精準

    北斗電力時鐘（北斗授時服務器）讓網路資料更精準 北斗電力時鐘（北斗授時服務器）讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年，資訊技術的得了快速發展，互聯網在逐漸普及，其在人們生活和生產中都得到了廣泛應用，并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用，一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub：https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺，后來才有了CTFHub。 感覺不論是網頁UI設計，還是題目質量，賽事跟蹤，工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解（net user / type /md /rd/ dir /cd /net use copy、批處理 等） 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝，密碼啊破解03Linux常用命令04LAMP 01LINUX windows： win03 8 12 16 19 配置不繁瑣 Linux：redhat,centos(紅帽社區版)，Ubuntu server,suse unix:金融機構，證券，銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 （POST注入/XSS漏洞上傳）3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題，描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章，不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》，我也是第一時間得知了這個訊息，然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本： 個人認為這件事也沒什么，還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹：metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包，它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一，它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip：192.168.20.121 靶機ip：192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k，軟體測驗工程師的漲薪史，給我看哭了

    清明節一過，盲猜大家已經無心上班，在數著日子準備過五一，但一想到銀行卡里的余額……瞬間心情就不美麗了。最近，2023年高校畢業生就業調查顯示，本科畢業月平均起薪為5825元。調查一出，便有很多同學表示自己又被平均了。看著這一資料，不免讓人想到前不久中國青年報的一項調查：近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文，所以對學習母語的我們非常不友好 使用網址：https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜，前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜，自動化測驗的需求也越來越高。如今，自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分，它們可以幫助開發人員更快地發現和修復錯誤，提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐：4個DVPP記憶體問題的典型案例解讀

    摘要：由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求（例如，記憶體首地址128位元組對齊），因此需呼叫專用的記憶體申請介面，那么本期就分享幾個關于DVPP記憶體問題的典型案例，并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》，作者：昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊，輔助滲透（埠掃描、登錄密碼爆破、漏洞驗證等） 2、encoders 編碼器模塊，主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手：與相機連接，設定相機引數，采集影像 2) 標定助手：九點標定或是其它的標定，生成標定檔案及內參外參，可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客，先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp)，這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接： https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more

Copyright © 2010-2020 有解無憂