Netcrawler on Sawyer Zheng's Blog

selenium ---- a python netcrawler tool

Tue, 01 Dec 2020 00:00:00 +0000

教程

中文
- http://www.python3.vip/tut/auto/selenium/skills_1/

选择框

radio button

单选框，列表

scrapy ---- a python netcrawler framework

Tue, 28 May 2019 00:00:00 +0000

xpath 兼容问题

在 scrapy shell 中 xpath 能提取到结果，然而，spider.py 中不能提取到结果，可能原因是 scrapy 不支持其中 xpath 的某些特性。

解决方法

重写一个 xpath, 尽量不要使用高级的 xpath 功能

pyspider

Mon, 25 Mar 2019 00:00:00 +0000

pyspider 安装错误

在 Ubuntu16 中

错误一：

错误描述：

1
2


 raise ValueError("Invalid configuration:\n - " + "\n - ".join(errors))
ValueError: Invalid configuration:

解决方法

link：https://github.com/binux/pyspider/issues/831

You can change pyspider/webui/webdav.py line 203：

具体：

1
2
3
4
5
6


#把
'domaincontroller': NeedAuthController(app),
#修改为：
'http_authenticator':{
 'HTTPAuthenticator':NeedAuthController(app),
 },

错误二：
- 错误描述：
  - 运行 pyspider all：
    - 启动 pyspider 时 Could not create web server listening on port 25555 报错
- 解决方法：

netcrawler ---- python 网络爬虫

Wed, 20 Mar 2019 00:00:00 +0000

名词集锦

课程简介
- urllib
- 正则

网络资源

教程
- https://cuiqingcai.com/4320.html 静觅，崔庆才的博客
- https://www.jianshu.com/p/2e190438bd9c python3 urllib

urllib.request 模块

urllib.request.Request

高级方法

Handler 与 OpenerDirector

关系
- OpenerDirector 就是 Opener
- opener 来自 build_opener(opener)
- 自定义 opener：install_opener(opener)方法
得到全局的 OpenerDirector 对象

Netcrawler on Sawyer Zheng's Blog

selenium ---- a python netcrawler tool

教程

同类工具

选择框

radio button

scrapy ---- a python netcrawler framework

xpath 兼容问题

解决方法

pyspider

pyspider 安装错误

在 Ubuntu16 中

netcrawler ---- python 网络爬虫

名词集锦

网络资源

urllib.request 模块

urllib.request.Request

高级方法

Handler 与 OpenerDirector