如何應用限制以獲得10個結果

我試圖刮images他們會給我的23 images但我不想申請limit他們只會給我 10 張圖片你能幫我解決這些問題嗎

    import requests
    from bs4 import BeautifulSoup
    import pandas as pd
    baseurl='https://twillmkt.com'
    headers ={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
    }
    r =requests.get('https://twillmkt.com/collections/denim')
    soup=BeautifulSoup(r.content, 'html.parser')
    tra = soup.find_all('div',class_='ProductItem__Wrapper')
    productlinks=[]
    for links in tra:
        for link in links.find_all('a',href=True):
            comp=baseurl link['href']
            productlinks.append(comp)
    
    data = []
    
    for link in set(productlinks):
        r =requests.get(link,headers=headers)
        soup=BeautifulSoup(r.content, 'html.parser')
        up = soup.find('div',class_='Product__SlideshowNavScroller')
        for e,pro in enumerate(up):
            t=pro.find('img').get('src')
            data.append({'id':t.split('=')[-1], 'image':'Image ' str(e) ' UI','link':t})
            
    df = pd.DataFrame(data)
    df.image=pd.Categorical(df.image,categories=df.image.unique(),ordered=True)
    df = df.pivot(index='id', columns='image', values='link').reset_index().fillna('')
    df.to_csv('kj.csv')

uj5u.com熱心網友回復：

將影像的結果集切片 [:10]

...
up = soup.select('div.Product__SlideshowNavScroller img')[:10]
for e,pro in enumerate(up):
    t=pro.get('src')
    data.append({'id':t.split('=')[-1], 'image':'Image ' str(e) ' UI','link':t})
...

如果您想從 1 而不是 0 開始命名影像：

...
up = soup.select('div.Product__SlideshowNavScroller img')[:10]
for e,pro in enumerate(up, start=1):
    t=pro.get('src')
    data.append({'id':t.split('=')[-1], 'image':'Image ' str(e) ' UI','link':t})
...

編輯

基本上在 9 個條目后的 excel 檔案中，他們將在一行中存盤 5 個影像，在另一行中存盤下 5 個影像問題是他們不能在一行中存盤 10 個影像

好的明白了 - 行為不是基于影像數量，這里的問題是 id 不是唯一的，它不是產品的 id/sku。

怎么修？

讓我們從產品中選擇 sku 并將其用作資料幀中的 id：

sku = soup.select_one('.oos_sku').text.strip().split(' ')[-1]
for e,pro in enumerate(up, start=1):
    t=pro.get('src')
    data.append({'id':sku, 'image':'Image ' str(e) ' UI','link':t})

例子

import requests
from bs4 import BeautifulSoup
import pandas as pd
baseurl='https://twillmkt.com'
headers ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
}
r =requests.get('https://twillmkt.com/collections/denim')
soup=BeautifulSoup(r.content, 'html.parser')
tra = soup.find_all('div',class_='ProductItem__Wrapper')
productlinks=[]
for links in tra:
    for link in links.find_all('a',href=True):
        comp=baseurl link['href']
        productlinks.append(comp)

data = []

for link in set(productlinks):
    r =requests.get(link,headers=headers)
    soup=BeautifulSoup(r.content, 'html.parser')
    up = soup.select('div.Product__SlideshowNavScroller img')
    sku = soup.select_one('.oos_sku').text.strip().split(' ')[-1]
    for e,pro in enumerate(up, start=1):
        t=pro.get('src')
        data.append({'id':sku, 'image':'Image ' str(e) ' UI','link':t})

df = pd.DataFrame(data)
df.image=pd.Categorical(df.image,categories=df.image.unique(),ordered=True)
df = df.pivot(index='id', columns='image', values='link').reset_index().fillna('')
df#.to_excel('test.xlsx')

輸出

標籤：Python 网页抓取 美汤

上一篇：從ajax網站獲取回應資料的python程式？

下一篇：使用PythonSelenium進行AmCharts抓取