一、前言

二、核心基礎(chǔ)：靜態(tài)網(wǎng)頁與SEO關(guān)鍵數(shù)據(jù)關(guān)聯(lián)

2.1 靜態(tài)網(wǎng)頁的SEO核心數(shù)據(jù)維度

• 元標簽數(shù)據(jù)：title、meta description、meta keywords，直接影響搜索引擎識別與展示；
• 文本內(nèi)容數(shù)據(jù)：正文、h1-h6標簽，關(guān)鍵詞密度、原創(chuàng)性是網(wǎng)頁價值核心判斷依據(jù)；
• 鏈接數(shù)據(jù)：內(nèi)鏈、外鏈，影響權(quán)重傳遞與爬蟲抓取路徑；
• 輔助數(shù)據(jù)：圖片alt屬性、網(wǎng)頁編碼等，間接影響用戶體驗與抓取效率。

2.2 Python技術(shù)選型依據(jù)

• requests庫：發(fā)送HTTP請求，快速獲取網(wǎng)頁源碼，替代內(nèi)置urllib，語法簡潔；
• re庫：內(nèi)置正則工具，精準匹配提取SEO關(guān)鍵信息，應(yīng)對復(fù)雜標簽場景；
• BeautifulSoup4庫：輔助解析HTML，與正則結(jié)合降低提取難度；
• lxml庫：高性能HTML解析，適合大規(guī)模數(shù)據(jù)處理；
• pandas庫：整理分析提取數(shù)據(jù)，生成可視化支撐決策。

三、Python靜態(tài)網(wǎng)頁數(shù)據(jù)獲?。簭恼埱蟮皆创a解析

3.1 環(huán)境準備與基礎(chǔ)配置

3.1.1 依賴庫安裝

pip install requests beautifulsoup4 lxml pandas

3.1.2 反爬基礎(chǔ)配置

import requests
import time

# 偽裝瀏覽器請求頭，核心為User-Agent
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Referer": "https://www.baidu.com/"  # 可選，增強偽裝性
}

# 控制請求頻率，每次間隔1-2秒
time.sleep(1.5)

3.2 靜態(tài)網(wǎng)頁源碼獲取實現(xiàn)

import requests

def get_static_html(url, headers):
    """
    獲取靜態(tài)網(wǎng)頁HTML源碼
    :param url: 目標URL
    :param headers: 請求頭
    :return: 源碼字符串，失敗返回None
    """
    try:
        response = requests.get(url, headers=headers, timeout=10)
        if response.status_code == 200:
            response.encoding = response.apparent_encoding if response.apparent_encoding else "utf-8"
            return response.text
        else:
            print(f"請求失敗，狀態(tài)碼：{response.status_code}，URL：{url}")
            return None
    except Exception as e:
        print(f"異常：{str(e)}，URL：{url}")
        return None

# 測試
target_url = "https://example.com"  # 替換為目標URL
html_source = get_static_html(target_url, headers)
if html_source:
    print("源碼獲取成功，前500字符：")
    print(html_source[:500])

3.3 源碼預(yù)處理（可選）

import re

def preprocess_html(html_source):
    """預(yù)處理HTML源碼，去除無關(guān)內(nèi)容"""
    if not html_source:
        return None
    html_source = re.sub(r'<!--.*?-->', '', html_source, flags=re.DOTALL)  # 刪注釋
    html_source = re.sub(r'\s+', ' ', html_source).strip()  # 刪多余空格換行
    return html_source

# 測試
processed_html = preprocess_html(html_source)
if processed_html:
    print("預(yù)處理成功，前500字符：")
    print(processed_html[:500])

四、核心實現(xiàn)：基于正則提取的SEO關(guān)鍵信息提取

4.1 正則提取核心語法基礎(chǔ)

• r'<title>(.*?)</title>'：匹配title標簽，非貪婪提取內(nèi)容；
• r'<meta name="description" content="(.*?)" />'：提取網(wǎng)頁描述；
• r'<a.*?href="(.*?)"(.*?)>(.*?)</a>'：提取鏈接地址與文本；
• r'<h1.*?>(.*?)</h1>'：提取h1標簽內(nèi)容；
• r'<img.*?alt=&#34;(.*?)&#34;(.*?)&gt;&#39;：提取圖片alt屬性；
• flags=re.IGNORECASE：忽略標簽大小寫；flags=re.DOTALL：讓“.”匹配換行。

4.2 各維度SEO信息正則提取實現(xiàn)

4.2.1 元標簽信息提?。╰itle、meta標簽）

import re

def extract_meta_info(html_source):
    """提取title、meta description、keywords"""
    meta_info = {"title": None, "description": None, "keywords": None}
    if not html_source:
        return meta_info
    # 提取title
    title_pattern = re.compile(r'<title>(.*?)</title>', re.IGNORECASE | re.DOTALL)
    title_match = title_pattern.search(html_source)
    if title_match:
        meta_info["title"] = title_match.group(1).strip()
    # 提取description
    desc_pattern = re.compile(r'<meta name="description" content="(.*?)" />', re.IGNORECASE | re.DOTALL)
    desc_match = desc_pattern.search(html_source)
    if desc_match:
        meta_info["description"] = desc_match.group(1).strip()
    # 提取keywords
    keywords_pattern = re.compile(r'<meta name="keywords" content="(.*?)" />', re.IGNORECASE | re.DOTALL)
    keywords_match = keywords_pattern.search(html_source)
    if keywords_match:
        meta_info["keywords"] = keywords_match.group(1).strip()
    return meta_info

# 測試
meta_info = extract_meta_info(processed_html)
print("元標簽提取結(jié)果：")
print(meta_info)

4.2.2 文本內(nèi)容提取（h標簽、正文）

def extract_text_content(html_source):
    """提取h1-h3標簽、正文段落"""
    text_content = {"h1": [], "h2": [], "h3": [], "body_text": None}
    if not html_source:
        return text_content
    # 提取h1-h3
    h1_pattern = re.compile(r'<h1.*?>(.*?)</h1>', re.IGNORECASE | re.DOTALL)
    text_content["h1"] = [m.strip() for m in h1_pattern.findall(html_source) if m.strip()]
    h2_pattern = re.compile(r'<h2.*?>(.*?)</h2>', re.IGNORECASE | re.DOTALL)
    text_content["h2"] = [m.strip() for m in h2_pattern.findall(html_source) if m.strip()]
    h3_pattern = re.compile(r'<h3.*?>(.*?)</h3>', re.IGNORECASE | re.DOTALL)
    text_content["h3"] = [m.strip() for m in h3_pattern.findall(html_source) if m.strip()]
    # 提取正文
    body_pattern = re.compile(r'<body.*?>(.*?)</body>', re.IGNORECASE | re.DOTALL)
    body_match = body_pattern.search(html_source)
    if body_match:
        body_text = re.sub(r'<.*?>', '', body_match.group(1)).strip()
        text_content["body_text"] = body_text
    return text_content

# 測試
text_content = extract_text_content(processed_html)
print("文本提取結(jié)果：")
print(f"h1：{text_content['h1']}，h2：{text_content['h2']}，正文前200字符：{text_content['body_text'][:200] if text_content['body_text'] else None}")

4.2.3 鏈接信息提取（內(nèi)部鏈接、外部鏈接）

def extract_link_info(html_source, base_url):
    """提取鏈接，區(qū)分內(nèi)鏈、外鏈、無效鏈接"""
    link_info = {"internal_links": [], "external_links": [], "invalid_links": []}
    if not html_source or not base_url:
        return link_info
    # 提取所有a標簽
    link_pattern = re.compile(r'<a.*?href="(.*?)"(.*?)>(.*?)</a>', re.IGNORECASE | re.DOTALL)
    for href, _, text in link_pattern.findall(html_source):
        href, text = href.strip(), re.sub(r'<.*?>', '', text).strip()
        # 過濾無效鏈接
        if href in ["#", "", "javascript:void(0)", "javascript:;"]:
            link_info["invalid_links"].append((href, text))
            continue
        # 區(qū)分內(nèi)鏈/外鏈
        if href.startswith("/"):
            link_info["internal_links"].append((base_url + href, text))
        elif href.startswith(base_url):
            link_info["internal_links"].append((href, text))
        else:
            link_info["external_links"].append((href, text))
    # 去重
    link_info["internal_links"] = list(set(link_info["internal_links"]))
    link_info["external_links"] = list(set(link_info["external_links"]))
    return link_info

# 測試
base_url = "https://example.com"  # 替換為基礎(chǔ)域名
link_info = extract_link_info(processed_html, base_url)
print(f"內(nèi)鏈：{len(link_info['internal_links'])}，外鏈：{len(link_info['external_links'])}，無效鏈接：{len(link_info['invalid_links'])}")

4.2.4 圖片alt屬性提取

def extract_img_alt(html_source):
    """提取圖片src與alt屬性"""
    img_alt_list = []
    if not html_source:
        return img_alt_list
    img_pattern = re.compile(r'<img.*?src="(.*?)"(.*?)alt="(.*?)"(.*?)>', re.IGNORECASE | re.DOTALL)
    for src, _, alt, _ in img_pattern.findall(html_source):
        img_alt_list.append({"src": src.strip(), "alt": alt.strip() if alt.strip() else "無alt屬性"})
    return img_alt_list

# 測試
img_alt_list = extract_img_alt(processed_html)
print("圖片alt提取結(jié)果（前5條）：")
for img in img_alt_list[:5]:
    print(img)

4.3 正則提取優(yōu)化技巧

1. 非貪婪匹配（.*?）：避免標簽嵌套導致提取冗余；
2. flags參數(shù)：結(jié)合IGNORECASE、DOTALL應(yīng)對不規(guī)范標簽；
3. 靈活調(diào)正則：根據(jù)網(wǎng)頁標簽差異調(diào)整匹配規(guī)則（如meta標簽閉合符）；
4. 結(jié)合BS4：先定位標簽區(qū)域，再用正則提取，降低難度，示例如下：

from bs4 import BeautifulSoup

def extract_with_bs4_and_re(html_source):
    """BS4+正則提取h1標簽，提升精準度"""
    soup = BeautifulSoup(html_source, "lxml")
    return [re.sub(r'\s+', ' ', tag.get_text()).strip() for tag in soup.find_all("h1")]

# 測試
print("BS4+正則提取h1：", extract_with_bs4_and_re(html_source))

五、數(shù)據(jù)分析：提取結(jié)果在SEO優(yōu)化中的應(yīng)用

5.1 數(shù)據(jù)整理與統(tǒng)計

import pandas as pd

def organize_seo_data(meta_info, text_content, link_info, img_alt_list):
    """整理SEO數(shù)據(jù)為DataFrame"""
    meta_df = pd.DataFrame([meta_info])
    h_tags_df = pd.DataFrame.from_dict({
        "h1": text_content["h1"], "h2": text_content["h2"], "h3": text_content["h3"]
    }, orient="index").T
    return {
        "meta_df": meta_df, "h_tags_df": h_tags_df,
        "internal_links_df": pd.DataFrame(link_info["internal_links"], columns=["鏈接地址", "鏈接文本"]),
        "external_links_df": pd.DataFrame(link_info["external_links"], columns=["鏈接地址", "鏈接文本"]),
        "img_alt_df": pd.DataFrame(img_alt_list)
    }

# 測試
seo_data = organize_seo_data(meta_info, text_content, link_info, img_alt_list)
print("元標簽數(shù)據(jù)：", seo_data["meta_df"].to_string(index=False))
print("圖片alt前5條：", seo_data["img_alt_df"].head().to_string(index=False))

5.2 核心SEO網(wǎng)站建設(shè)數(shù)據(jù)分析維度與優(yōu)化落地

5.2.1 元標簽優(yōu)化分析

5.2.2 文本內(nèi)容優(yōu)化分析

5.2.3 鏈接優(yōu)化分析

5.2.4 圖片優(yōu)化分析

六、實戰(zhàn)案例：完整流程落地演示

import requests
import re
import pandas as pd
from bs4 import BeautifulSoup

# 1. 配置
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}
target_url = "https://example-blog.com/python-seo-guide"  # 目標URL
base_url = "https://example-blog.com"  # 基礎(chǔ)域名

# 2. 源碼獲取與預(yù)處理
html_source = get_static_html(target_url, headers)
processed_html = preprocess_html(html_source)

# 3. 信息提取
meta_info = extract_meta_info(processed_html)
text_content = extract_text_content(processed_html)
link_info = extract_link_info(processed_html, base_url)
img_alt_list = extract_img_alt(processed_html)

# 4. 數(shù)據(jù)整理與分析
seo_data = organize_seo_data(meta_info, text_content, link_info, img_alt_list)
print("=== SEO數(shù)據(jù)分析報告 ===")
# 元標簽分析
if pd.isna(seo_data["meta_df"]["description"].iloc[0]):
    print("??  需補充meta description，含核心詞，120-160字符")
else:
    print("? 元標簽完整")
# 圖片alt分析
no_alt = len(seo_data["img_alt_df"][seo_data["img_alt_df"]["alt"] == "無alt屬性"])
if no_alt > 0:
    print(f"??  {no_alt}張圖片無alt，需補充含關(guān)鍵詞文本")
# 鏈接與h標簽分析
print(f"內(nèi)鏈：{len(seo_data['internal_links_df'])}，外鏈：{len(seo_data['external_links_df'])}，無效鏈接：{len(link_info['invalid_links'])}")
h1_len = len(text_content["h1"])
print("??  需添加唯一h1含核心詞" if h1_len == 0 else ("??  僅保留一個h1" if h1_len > 1 else f"? h1正常：{text_content['h1'][0]}"))

七、注意事項與常見問題解決

7.1 核心注意事項

• 遵守爬蟲協(xié)議（robots.txt），避免違規(guī)爬?。?/li>
• 控制請求間隔（1-2秒），減輕服務(wù)器壓力；
• 網(wǎng)頁更新后及時調(diào)整正則，確保提取精準；
• 避免過度優(yōu)化，防止被搜索引擎判定為作弊。

7.2 常見問題解決

1. 正則提取為空：檢查正則與標簽匹配度，補充flags參數(shù)；
2. 源碼亂碼：用response.apparent_encoding自動識別編碼，或手動指定utf-8/gbk；
3. 請求被攔截：優(yōu)化請求頭，必要時使用代理IP；
4. 提取含多余標簽：用re.sub(r'<.*?>', '', content)或BS4的get_text()去標簽。

八、總結(jié)與延伸