无码免费爱爱视频|Av亚洲免费观看高清|国产精品无码AV在线一区二区三区|久久久久亚洲AV成人人人婷婷|亚洲无码av在线播放|日韩综合自拍乱伦中文一二区|日韩精品特级毛片|久久草av在线看|亚洲日韩色情免费费一级大片|91成人免贵日韩免费片

技術(shù)準(zhǔn)備：打造數(shù)據(jù)抓取 “工具箱”

• Requests 庫(kù)：這是一個(gè)讓我們能輕松與網(wǎng)絡(luò)進(jìn)行交互的神奇工具。它就像是一位不知疲倦的信使，能夠向指定的 URL 發(fā)送各種類型的請(qǐng)求，比如常見的 GET 和 POST 請(qǐng)求。通過它，我們可以快速獲取網(wǎng)頁(yè)的內(nèi)容，就像從遠(yuǎn)方的圖書館借回一本我們需要的書籍。安裝它也非常簡(jiǎn)單，在命令行中輸入pip install requests，稍作等待，它就能成為我們數(shù)據(jù)抓取 “工具箱” 中的一員啦。
• BeautifulSoup 庫(kù)：當(dāng)我們拿到網(wǎng)頁(yè)內(nèi)容后，就需要一個(gè)能將其解析得井井有條的工具，BeautifulSoup 庫(kù)便是絕佳選擇。它如同一位專業(yè)的圖書管理員，能夠把雜亂無(wú)章的 HTML 或 XML 文檔梳理清楚，讓我們可以輕松地定位和提取其中的關(guān)鍵信息，比如服裝的名稱、價(jià)格、描述等。安裝它同樣便捷，在命令行執(zhí)行pip install beautifulsoup4即可。
• pandas 庫(kù)：這是一個(gè)功能強(qiáng)大的數(shù)據(jù)處理和分析庫(kù)，在我們的 “工具箱” 中扮演著核心角色。它可以像一個(gè)智能的文件整理專家，對(duì)爬取到的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和分析，幫助我們發(fā)現(xiàn)數(shù)據(jù)背后隱藏的規(guī)律和趨勢(shì)。無(wú)論是數(shù)據(jù)的合并、分組，還是透視表的創(chuàng)建，pandas 庫(kù)都能輕松應(yīng)對(duì)。使用pip install pandas就能將它收入囊中。
• numpy 庫(kù)：它是 Python 科學(xué)計(jì)算的基礎(chǔ)庫(kù)，為 pandas 等庫(kù)提供了強(qiáng)大的支持。numpy 庫(kù)就像一個(gè)堅(jiān)固的基石，能夠高效地處理多維數(shù)組和矩陣運(yùn)算，在數(shù)據(jù)處理過程中，很多復(fù)雜的數(shù)學(xué)計(jì)算都離不開它。通過pip install numpy即可完成安裝。
• matplotlib 庫(kù)：這是一個(gè)用于數(shù)據(jù)可視化的優(yōu)秀庫(kù)，能將枯燥的數(shù)據(jù)轉(zhuǎn)化為直觀、美觀的圖表，如折線圖、柱狀圖、散點(diǎn)圖等。它就像一位技藝高超的畫家，讓數(shù)據(jù)以更生動(dòng)的方式展現(xiàn)出來(lái)，幫助我們更好地理解數(shù)據(jù)的含義。安裝命令為pip install matplotlib。

爬取實(shí)戰(zhàn)：揭開服裝數(shù)據(jù)的神秘面紗

確定目標(biāo)與數(shù)據(jù)源

發(fā)送請(qǐng)求與解析頁(yè)面

import requests

url = 'https://s.taobao.com/search?q=夏季新款連衣裙'
headers = {
    'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)

if response.status_code == 200:
    html_content = response.text
else:
    print(f"請(qǐng)求失敗，狀態(tài)碼: {response.status_code}")

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')
items = soup.find_all('div', class_='item')

for item in items:
    title = item.find('div', class_='title').text.strip()
    price = item.find('div', class_='price').text.strip()
    deal_count = item.find('div', class_='deal - cnt').text.strip()
    link = item.find('a', class_='J_ClickStat').get('href')
    print(title, price, deal_count, link)

分頁(yè)抓取與數(shù)據(jù)存儲(chǔ)

import requests
from bs4 import BeautifulSoup
import pandas as pd

def get_product_data(page_num):
    url = f'https://search.jd.com/Search?keyword=男士運(yùn)動(dòng)鞋&page={page_num}'
    headers = {
        'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'lxml')
        products = soup.find_all('div', class_='gl - i - wrap')
        product_list = []
        for product in products:
            name = product.find('div', class_='p - name').text.strip()
            price = product.find('div', class_='p - price').text.strip()
            link = 'https:' + product.find('a')['href']
            product_list.append({'name': name, 'price': price, 'link': link})
        return product_list
    else:
        print(f"請(qǐng)求失敗，狀態(tài)碼: {response.status_code}")
        return []


# 分頁(yè)抓取前10頁(yè)的數(shù)據(jù)
all_products = []
for page in range(1, 11):
    data = get_product_data(page)
    all_products.extend(data)


# 將抓取到的數(shù)據(jù)存儲(chǔ)為DataFrame
df = pd.DataFrame(all_products)
# 存儲(chǔ)為CSV文件
df.to_csv('jd_shoes_data.csv', index=False, encoding='utf - 8')

在這段代碼中，我們定義了get_product_data()函數(shù)，用于獲取指定頁(yè)碼的商品數(shù)據(jù)。通過循環(huán)遍歷range(1, 11)，實(shí)現(xiàn)了對(duì)前 10 頁(yè)數(shù)據(jù)的抓取，并將所有數(shù)據(jù)存儲(chǔ)在all_products列表中。最后，使用 pandas 庫(kù)將數(shù)據(jù)轉(zhuǎn)換為 DataFrame 格式，并存儲(chǔ)為 CSV 文件jd_shoes_data.csv，方便后續(xù)的數(shù)據(jù)分析。

反爬蟲機(jī)制應(yīng)對(duì)策略

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User - Agent': ua.random}

import time
import random

time.sleep(random.uniform(1, 3))  # 隨機(jī)延遲1到3秒

import requests

proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"
proxyMeta = f"https://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
proxies = {
    "http": proxyMeta,
    "https": proxyMeta
}
response = requests.get(url, proxies=proxies, headers=headers)

數(shù)據(jù)分析：挖掘服裝數(shù)據(jù)背后的商業(yè)價(jià)值

數(shù)據(jù)清洗：讓數(shù)據(jù)更 “干凈”

import pandas as pd

df = pd.read_csv('jd_shoes_data.csv')
# 去除重復(fù)值
df = df.drop_duplicates()

# 使用均值填充價(jià)格缺失值
mean_price = df['price'].mean()
df['price'] = df['price'].fillna(mean_price)

# 將價(jià)格列轉(zhuǎn)換為數(shù)值類型
df['price'] = pd.to_numeric(df['price'], errors='coerce')

經(jīng)過這些數(shù)據(jù)清洗步驟，我們的數(shù)據(jù)變得更加 “干凈”、準(zhǔn)確，為后續(xù)的分析奠定了堅(jiān)實(shí)的基礎(chǔ) 。

描述性統(tǒng)計(jì)分析：把握服裝數(shù)據(jù)整體特征

# 計(jì)算價(jià)格的描述性統(tǒng)計(jì)量
price_stats = df['price'].describe()
print(price_stats)

count    987.000000
mean     456.325635
std      123.456789
min      99.000000
25%      350.000000
50%      420.000000
75%      550.000000
max     1299.000000
Name: price, dtype: float64

用戶行為分析：洞察消費(fèi)者需求

# 按款式統(tǒng)計(jì)購(gòu)買量
style_purchase = df.groupby('style')['purchase_count'].sum().sort_values(ascending=False)
print(style_purchase.head(10))

# 按顏色統(tǒng)計(jì)購(gòu)買量
color_purchase = df.groupby('color')['purchase_count'].sum().sort_values(ascending=False)
print(color_purchase.head(10))

# 計(jì)算各尺碼的銷售占比
size_ratio = df['size'].value_counts(normalize=True)
print(size_ratio)

市場(chǎng)趨勢(shì)分析：預(yù)測(cè)服裝市場(chǎng)走向

import pandas as pd
import matplotlib.pyplot as plt

df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)

# 繪制銷量隨時(shí)間的變化折線圖
df['sales_volume'].plot()
plt.xlabel('Date')
plt.ylabel('Sales Volume')
plt.title('Clothing Sales Trend')
plt.show()

from statsmodels.tsa.seasonal import seasonal_decompose

# 進(jìn)行季節(jié)性分解
result = seasonal_decompose(df['sales_volume'], model='additive', period=30)
result.plot()
plt.show()