Python爬蟲腳本 ,Uni-APP復選框做出雙向系結，Net5作業流建模。的一點經驗-有解無憂

從業C#開發多年，現在也經常用到Python 做網路爬蟲，用Uni-app做手機前端，攢了一點經驗，供其他多語言開發程式員借鑒吧，

Python做爬蟲和其他的方式做爬蟲最大的區別應該在于. Python 可以將瀏覽器內核寄宿到程式里，例如Ie內核，火狐內核，google內核，然后可以模擬人對瀏覽器的操作，不是簡單的發起HTTP請求然后決議頁面就結束，而是可以在頁面上進行多次點擊操作，程式還能一直監聽發生變化后的頁面元素，

from selenium import webdriver
from lxml import etree
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

webdriver 是python 將瀏覽器寄宿到程式的框架，并且可以模擬用戶的操作，也提供基本的HTML決議方式

selenium 是更深一層 操作瀏覽器和 決議HTML元素的框架，有時候 同一段代碼 webdriver 決議不出來 selenium 就是能決議出來，可能底層優化的更好吧

etree 會將HTML 決議成物件，獲取里面的屬性，
三者結合使用或許效果更好，

   options = webdriver.FirefoxOptions()
         fp = webdriver.FirefoxProfile()
         #    fp.set_preference('browser.download.dir',Common.getSection('downfile'))  
         fp.set_preference("browser.download.folderList",2)  
         fp.set_preference("browser.download.manager.showWhenStarting",False)
         fp.set_preference("browser.helperApps.neverAsk.saveToDisk","application/zip,application/octet-stream")
         driver = webdriver.Firefox(firefox_profile=fp,options=options)

browser.download.dir 指的是下載路徑

browser.download.manager.showWhenStarting 指的是下載是否彈出詢問框

browser.helperApps.neverAsk.saveToDisk 指的是下載的檔案型別 ，如果爬頁面還要獲取網頁下載的zip，或者jpg，這里都要用逗號加上檔案的型別，

  driver.get("http://www.stbchina.cn/item.html#?itemId="+itemCode.strip())

driver.get 寫入你要爬取的地址
如果順利的話，你可以看到程式啟動了火狐瀏覽器并跳到了對應的網址上
不想看到瀏覽器的話，插入一下代碼

  options.add_argument('--headless')

瀏覽器會被隱藏

很多時候我們需要等待頁面加載元素完畢后才能決議不然后程式會直接例外，接下來推薦兩個等待回應的方法

element = WebDriverWait(driver, 10).until(

EC.presence_of_element_located((By.ID, "YOU-iD"))

)

這段代碼會等待頁面十秒鐘，在十秒內將元素加載成功后才會繼續往下執行代碼

但是過了十秒以后，元素還沒有加載成功，會走入例外

也可以簡單粗暴的使用執行緒掛起的方式，Python 程式停止回應幾秒鐘，但是并不影響寄宿的瀏覽器去加載頁面元素

time.sleep(int(3))

在頁面加載成功以后可以使用各種方式決議元素，或者操作頁面

html = etree.HTML(driver.page_source)

決議html頁面元素通常使用xpath ,如果大家不想學習xpath運算式，瀏覽器提供簡單粗暴的方法

listImg=html.xpath('//*[contains(@class,"formwork_img")]/img')

點擊頁面右鍵檢查，會出現我們都熟悉的控制臺，在Elements里選擇dom節點右鍵 copy , 然后在右側的彈出框里選擇 copy xpath，你會發現瀏覽器將寫好的xpath語法寫入了你的剪切板

獲取元素的屬性可以用

itme.attrib["src"]

當變成樹狀結構以后基本就跟操作tree 差不多

操作頁面的話可以用

script=driver.find_element_by_xpath("//a[contains(text(),'發票下載')]").get_attribute('onclick')

找到某一個a標簽，文本為發票下載，發送點擊事件，但是我更推薦使用js腳本，

  driver.execute_script('$("#sqrqq").val("'+strTime+'")')
                                       driver.execute_script('$("#sqrqz").val("'+endTime+'")')
                             
                                       driver.execute_script('searchXzqq()')

就像大家用js操作前端一樣，比發送點擊事件更加靠譜，因為經常點擊事件沒有回應，

Uni-APP 最近使用場景有涉及到復選框做購物車，但是我在官網搜了一遍復選框的案例，我似乎看到官方回答，目前還不支持雙向系結，于是我自己做了一個

<checkbox-group class="agreement_radio" @change="checkboxChange">

checkbox-group 可以作為頂級父節點，類似Body, 系結點擊事件
  根節點包含回圈的資料體，

像這楊什么都可以包進去，它只是一個頂級父節點而已，每一個復選框包含一組資料，

Uni-app 目前的版本，哪怕你value 系結了資料，checked 系結了資料，在最后提交整個陣列的時候，其實依舊不會改變系結陣列的checked.所以需要我們手動系結，

再每次選中和取消復選框的時候觸發事件 checkboxChange ，e.detail.value 是選中的陣列的Value.被取消選中和沒有選中的復選框是不會傳遞值的，而且不會改變系結的資料，這多多少少有點不合適，在目前的版本，

所以當系結陣列和復選框改變事件的資料可以產生交集的時候，使用多重回圈改變系結陣列的值，就可以雙向系結復選框和系結陣列了，


    //整個購物車單條資料的選中和取消選中
            checkboxChange: function(e) {

                // console.log(this.cart)

                var items = this.cart,
                    values = e.detail.value;


                for (let b = 0; b < this.cart.length; b++) {
                    for (let c = 0; c < this.cart[b].length; c++) {
                        let continueArr = values.filter(item => {
                            return item == this.cart[b][c].value;
                        })
                        if (continueArr.length > 0) {
                            this.cart[b][c].checked = true;
                        } else {
                            this.cart[b][c].checked = false;
                        }
                        //console.log("選中的值:" + continueArr)


                    }
                }
                //console.log( this.cart)


            }

目前Net core 已經升級到了 NET 5 ，以后既不是FrameWork 框架也不是Net core框架，其實底層也有Core的影子，
但是肯定不在通用老版的Net作業流框架了
于是百般無奈下自己琢磨了一套作業流思想和底層結構

一套后臺可配置作業流

以及 APP前臺審批

核心還是資料庫的四張表

[WorkFlowTemplate]表如下，其實沒什么用，只是為了在后臺管理時可以區分每個作業流叫什么，

Guid 類似主鍵

Name 是這條作業流的名稱

Type 是作業流的型別，比如 1=審批作業流，2=招標作業流

DepartmentId 是這個作業流掛在員工的部門Id，這個部門的人員發起的審批作業流直接走此作業流的審批鏈

[WorkFlowTemplateNode] 是此條作業流的審批鏈
 Name表示這條審批鏈下此節點叫什么，
 TempLateId 系結到 WorkFlowTemplate的唯一表示主鍵下，
  userList 存放此次審批節點的審批人集合，
  TemplateType 審批節點的型別已經棄用了，當初定的是為1 需要此審批節點下全部人員通過，為0只要有一個人審批通過便算此審批節點通過，
  Number 指的是此審批鏈下的第幾個節點，為0是第一個審批節點，為1為2 以此類推，

  作業流審批鏈就到此為止了，接下來是用戶發起場景以及關聯作業流