…工竟直|_
| 1.2 爬 虫 可 以 做 什 么 ˇ
1.2.1 收 集 数 据
爬 虫 可 以 用 来 收 集 数 据 。 这 也 是 爬 虫
最 直 接 、 最 常 用 的 使 用 方 法 。 由 于 震
虫 是 一 种 程 序 , 程 序 的 运 行 速 度 极
快 , 而 东 不 会 因 为 做 重 复 的 事 情 就 感
贾 到 疲 劳 因 此 使 用 爬 虫 来 获 取 大 量
的 数 据 , 就 变 得 极 其 简 单 和 快 扒 了 。
由 于 现 在 99% 以 上 的 网 站 都 是 基 于 模
板 开 发 的 , 使 用 模 板 可 以 快 速 生 成 相
同 版 式 、 不 同 内 容 的 大 量 页 面 。 因
此 , 只 要 针 对 一 个 页 面 开 发 出 了 爬
虫 , 那 么 这 个 爬 虫 也 能 爬 取 基 于 同 一
个 模 板 生 成 的 不 同 页 面 。 这 种 爬 虫 称
e 一 一 一 一 一 一 一 e 国
1.2 爬 虫 可 以 做 什 么
例 如 调 查 一 个 电 商 公 司 , 想 知 道 他 们
的 商 品 销 售 情 况 。 该 公 司 自 己 声 称 每
个 月 销 售 额 几 亿 元 。 如 果 使 用 爬 虫 爬
取 了 该 公 司 网 站 所 有 商 品 的 销 量 情
况 , 那 么 就 可 以 计 算 出 该 公 司 的 实 际
总 销 售 额 。 而 且 , 如 果 爬 取 了 所 有 的
评 论 并 进 行 分 析 , 还 可 以 发 现 该 网 站
是 否 出 现 了 刷 单 的 行 为 。
数 据 不 会 说 谎 , 特 别 是 数 据 量 极 大 的
存 在 区 别 。 而 在 以 前 , 对 于 数 据 量 极
大 的 数 据 进 行 搜 集 是 一 件 非 常 困 难 的
事 情 , 但 现 在 有 了 爬 虫 的 帮 助 , 很 多
欺 骗 行 为 都 会 赤 裸 裸 地 暴 露 在 阳 光
万 。
1.2.3 刷 流 量 和 秒 杀
刷 流 量 是 爬 虫 天 然 自 带 的 功 能 。 当 爬
e 一 一 一 一 一 一 一 e 国
1.3 爬 虫 开 发 技 术
言 。 由 于 Python 具 有 语 法 简 单 、 入 门
容 易 等 特 点 , 现 在 已 经 成 为 众 多 领 域
的 首 选 语 言 。 由 于 Python 的 语 法 接 近
原 生 的 英 语 语 法 , 因 此 只 要 能 看 懂 单
词 就 能 看 懂 Python 代 码 , 这 使 得
Python 学 习 者 能 够 很 容 易 地 通 过 学 习
别 人 的 代 码 得 到 提 高 。
本 书 第 2 章 会 讲 到 Python 的 基 本 语
法 。 学 习 并 掌 提 第 2 章 的 内 容 , 可 为
后 面 的 爬 虫 开 发 打 好 基 础 。
爬 虫 的 主 要 目 的 是 获 取 网 页 内 容 并 解
析 。 只 要 能 达 到 这 个 目 的 , 用 什 么 方
法 都 没 有 问 题 。 关 于 获 取 网 页 , 本 书
主要介乡召了PYt『〕O「1白’琶两个’弟歹三〕吉戈F氢董_
块 , 一 个 是 requests, 另 一 个 是 爬 虫
框 架 Scrapy。 关 于 解 析 网 页 内 容 , 本
书 主 要 介 绍 了 3 种 方 式 一 一 正 则 表 达
e 一 一 一 一 一 一 一 e 国
1.3 爬 虫 开 发 技 术
式 、XPath 和 BeautifulSoup。 两 种 网
页 获 取 方 式 和 3 种 网 页 解 析 方 式 可 以
自 由 搭 配 , 随 意 使 用 。
由 于 网 站 必 然 不 会 这 么 轻 易 地 让 人 把
数 据 全 给 拿 走 , 因 此 很 多 网 站 都 会 采
取 各 种 反 爬 虫 措 施 。 应 对 各 种 反 爬 虫
措 施 正 是 本 书 所 要 讲 到 的 重 点 。 常 规
的 反 爬 虫 措 施 包 括 但 不 限 于 访 问 频 率
检 查 、 验 证 码 、 登 录 验 证 、 行 为 检
测 。 本 书 对 这 些 反 爬 虫 策 略 都 会 进 行
一 一 破 解 。 除 此 之 外 , 本 书 还 会 将 中
间 人 攻 击 技 术 与 爬 虫 结 合 在 一 起 , 再
把 Android 自 动 化 测 试 技 术 与 爬 虫 结
合 在 一 起 , 从 而 构 造 一 个 超 级 自 动 化
爬 虫 , 做 到 几 乎 无 法 被 网 站 发 现 , 也
无 法 被 封 锁 , 同 时 不 需 要 人 工 干 预 就
能 实 现 数 据 的 爬 取 。

e 一 一 一 一 一 一 一 e 国

Backlinks