1. 保存到 CSV#

1
import csv
2

3
MOVIE_LIST_FILE = "csv_data/movie_list.csv"
4

5
def save_all_movies(all_movies):
6
    with open(MOVIE_LIST_FILE, "w", encoding="utf-8", newline="") as csvfile:
7
        writer = csv.DictWriter(csvfile, fieldnames=["电影名", "年份", "上映时间", "类型", "时长", "评分", "语言", "导演", "作者", "宣传语", "简介"])
8
        writer.writeheader()        # 写入表头
9
        writer.writerows(all_movies)  # 一次写入所有行

2. 从列表页到详情页#

1
import requests
2
from lxml import html
3

4
TMDB_BASE_URL = "https://www.themoviedb.org"
5
TMDB_TOP_URL_1 = "https://www.themoviedb.org/movie/top-rated"      # 第 1 页（GET）
6
TMDB_TOP_URL_2 = "https://www.themoviedb.org/discover/movie/items" # 第 2 页起（POST）
7

8
response = requests.get(TMDB_TOP_URL_1, timeout=60)
9
document = html.fromstring(response.text)
10

11
# 每张电影卡片
12
movie_list = document.xpath(f"//*[@id='page_1']/div[@class='card style_1']")
13

14
for movie in movie_list:
15
    movie_urls = movie.xpath("./div/div/a/@href")     # 详情页的相对地址
16
    if movie_urls:
17
        movie_info_url = TMDB_BASE_URL + movie_urls[0]  # 拼成完整 url

3. 翻页：第 1 页 GET，第 2 页起 POST#

1
for page_num in range(1, 6):
2
    if page_num == 1:
3
        response = requests.get(TMDB_TOP_URL_1, timeout=60)
4
    else:
5
        # 第 2 页起换了一个接口，用 POST 提交一长串表单参数（其中 page=页码）
6
        response = requests.post(TMDB_TOP_URL_2, f"......&page={page_num}&......", timeout=60)
7

8
    document = html.fromstring(response.text)
9
    movie_list = document.xpath(f"//*[@id='page_{page_num}']/div[@class='card style_1']")

4. 数据清洗（正则实战）#

网页上拿到的原始数据不规范：年份是 1994 但混在别的文字里、时长是 2h 20m。用三个函数清洗：

1
import re
2

3
# 获取电影年份（取 4 位数字）
4
def get_movie_year(movie_years):
5
    movie_year = movie_years[0].strip() if movie_years else ''
6
    year_res = re.search(r"\d{4}", movie_year)
7
    return year_res.group() if year_res else ''
8

9
# 获取上映时间（只留 yyyy-mm-dd 部分）
10
def get_movie_publish_date(movie_dates):
11
    movie_date = movie_dates[0].strip() if movie_dates else ''
12
    return re.search(r"\d{4}-\d{2}-\d{2}", movie_date).group()   # 1957-04-10
13

14
# 获取电影时长（统一转换为分钟, 如: 2h 20m --> 140）
15
def get_movie_cost_time(movie_cost_times):
16
    movie_cost_time = movie_cost_times[0].strip() if movie_cost_times else '' # 2h 20m / 40m / 2h
17
    h_res = re.search(r"(\d+)h", movie_cost_time)
18
    m_res = re.search(r"(\d+)m", movie_cost_time)
19
    h = int(h_res.group(1)) if h_res else 0
20
    m = int(m_res.group(1)) if m_res else 0
21
    return h * 60 + m

一、知识回顾（读完直接做下面的实践题）#

1. 电影数据要保存的格式是 CSV（逗号分隔值），用 csv 模块按字典写入
2. 榜单第 1 页用 GET 请求；第 2 页起换接口用 POST 请求提交表单参数
3. 从电影卡片里取详情页地址：movie.xpath("./div/div/a/@href")，再和 TMDB_BASE_URL 拼接
4. 评分字段取的是圆环图的 @data-percent 属性，不是文本
5. 清洗年份用正则 \d{4}（取 4 位数字）；清洗上映时间用 \d{4}-\d{2}-\d{2}（取日期部分）
6. 时长 2h 20m 清洗成分钟：(\d+)h 取小时、(\d+)m 取分钟，结果 = 小时 × 60 + 分钟
7. h_res.group(1) 里的 1 表示取第 1 个括号分组的内容（第一个括号）

二、裸写题#

全部用假数据，不需要真的爬网站。

• 2-1 清洗年份 写 get_movie_year(movie_years)：传入如 ["肖申克的救赎 (1994)"]，返回 4 位年份字符串。

  提示（先自己想，实在想不出再点开）

  一级 · 思路：从一堆文字里抠出”连续 4 位数字” 二级 · 方法：re.search(r"\d{4}", 文本).group()（先判空） 三级 · 骨架：res = re.search(...); return res.____() if res else ''

  参考答案（做完再点开）

  1
  # 2-1
  2
  import re
  3
  
  4
  def get_movie_year(movie_years):
  5
      movie_year = movie_years[0].strip() if movie_years else ''
  6
      year_res = re.search(r"\d{4}", movie_year)
  7
      return year_res.group() if year_res else ''

• 2-2 清洗时长 写 get_movie_cost_time(movie_cost_times)：["2h 20m"] 返回 140；["40m"] 返回 40；["2h"] 返回 120。

  提示（先自己想，实在想不出再点开）

  一级 · 思路：小时和分钟分开找，找不到按 0 处理，最后换算成分钟相加 二级 · 方法：re.search(r"(\d+)h", s) / re.search(r"(\d+)m", s) / group(1) 三级 · 骨架：h = int(h_res.group(1)) if h_res else 0

  参考答案（做完再点开）

  1
  # 2-2
  2
  import re
  3
  
  4
  def get_movie_cost_time(movie_cost_times):
  5
      movie_cost_time = movie_cost_times[0].strip() if movie_cost_times else ''
  6
      h_res = re.search(r"(\d+)h", movie_cost_time)
  7
      m_res = re.search(r"(\d+)m", movie_cost_time)
  8
      h = int(h_res.group(1)) if h_res else 0
  9
      m = int(m_res.group(1)) if m_res else 0
  10
      return h * 60 + m

• 2-3 清洗上映时间 写 get_movie_publish_date(movie_dates)：传入如 ["1994-09-23 (CN)"]，返回 1994-09-23。

  提示（先自己想，实在想不出再点开）

  一级 · 思路：日期部分是固定模式 yyyy-mm-dd 二级 · 方法：re.search(r"\d{4}-\d{2}-\d{2}", s).group() 三级 · 骨架：模式串里 \d{4} 后面跟 - 再跟 \d{2}

  参考答案（做完再点开）

  1
  # 2-3
  2
  import re
  3
  
  4
  def get_movie_publish_date(movie_dates):
  5
      movie_date = movie_dates[0].strip() if movie_dates else ''
  6
      return re.search(r"\d{4}-\d{2}-\d{2}", movie_date).group()

三、综合题#

• 3-1 组装一个小流程 准备 3 条假电影数据（含不规范的年份/时长），把 2-1、2-2、2-3 的清洗函数用上，再用 csv.DictWriter 全部写入 movie_list_test.csv，最后读回来打印检查。

  提示（先自己想，实在想不出再点开）

  一级 · 思路：清洗（逐条过三个函数）→ 存盘 → 读回验证，就是爬虫五步里的”清洗 + 存储” 二级 · 方法：三个清洗函数 + csv.DictWriter / writerows 三级 · 骨架：for m in raw_movies: m["时长"] = get_movie_cost_time(...)

  参考答案（做完再点开）

  1
  # 3-1
  2
  import csv
  3
  
  4
  raw_movies = [
  5
      {"电影名": "肖申克的救赎", "年份": ["肖申克的救赎 (1994)"], "上映时间": ["1994-09-23 (CN)"], "时长": ["2h 22m"]},
  6
      {"电影名": "教父", "年份": ["教父 (1972)"], "上映时间": ["1972-03-24 (US)"], "时长": ["2h 55m"]},
  7
      {"电影名": "悬崖上的金鱼姬", "年份": ["悬崖上的金鱼姬 (2008)"], "上映时间": ["2008-07-19 (JP)"], "时长": ["1h 40m"]},
  8
  ]
  9
  
  10
  movies = []
  11
  for m in raw_movies:
  12
      movies.append({
  13
          "电影名": m["电影名"],
  14
          "年份": get_movie_year(m["年份"]),
  15
          "上映时间": get_movie_publish_date(m["上映时间"]),
  16
          "时长": get_movie_cost_time(m["时长"]),
  17
      })
  18
  
  19
  with open("movie_list_test.csv", "w", encoding="utf-8", newline="") as f:
  20
      writer = csv.DictWriter(f, fieldnames=["电影名", "年份", "上映时间", "时长"])
  21
      writer.writeheader()
  22
      writer.writerows(movies)
  23
  
  24
  with open("movie_list_test.csv", "r", encoding="utf-8") as f:
  25
      for row in csv.DictReader(f):
  26
          print(row)

  显示更多显示更少