docs: 更新爬虫章节情况说明

This commit is contained in:
100gle
2023-01-05 10:15:19 +08:00
parent bb1e8b5101
commit ed5238b04f

View File

@@ -36,6 +36,8 @@
上述两章主要以 B 站为目标站点进行展开,但爬虫代码可能会因网站内容变动而**随时失效**,因此本人**不确保代码能一直正常运行**;而源码主要仅供读者了解思路以及相关用法的学习,望读者知悉。 上述两章主要以 B 站为目标站点进行展开,但爬虫代码可能会因网站内容变动而**随时失效**,因此本人**不确保代码能一直正常运行**;而源码主要仅供读者了解思路以及相关用法的学习,望读者知悉。
**2023-01-05 更新说明**:有读者反映已无法直接运行并获取到 B 站数据,排查之后可以肯定两章内容中的 API 接口目前均已被 B 站限制访问,**所以目前代码已经失效**;如果想要代码成功运行,需要读者自行用浏览器登录 B 站之后复制 **Cookie** 信息并在请求时一同发送,第一章的示例只需要在 `HEADERS` 字典里加上即可,而 Scrapy 的综合案例需要自行编写中间件代码,可参考:<https://docs.scrapy.org/en/latest/_modules/scrapy/downloadermiddlewares/cookies.html>
## 环境依赖安装 ## 环境依赖安装
参照教程内容安装好 Python 解释器、镜像配置以及设置相关的 IDE 之后,进入到该项目路径下,使用对应 Python 解释器的 `pip` 命令来进行安装 `requirements.txt` 文件中的依赖。 参照教程内容安装好 Python 解释器、镜像配置以及设置相关的 IDE 之后,进入到该项目路径下,使用对应 Python 解释器的 `pip` 命令来进行安装 `requirements.txt` 文件中的依赖。