达内潍坊中心 > 达内新闻
完整python爬虫基础教学,看这里(1)
- 发布:潍坊达内
- 来源:潍坊达内
- 时间:2019-01-31 14:16
潍坊达内的小编总结, 很多人问学了python能做什么?能找到什么工作
python应用范围非常广泛,几乎所有都能做;最常见的就是web和爬虫了;往后就是人工智能和数据分析了。这里时间有限我就不多说了;今天我们就来说说爬虫吧。
一,首先爬虫的基本流程是什么?
发起请求--解析内容--获取相应内容--保存数据
二、爬虫能抓取什么样的数据?
视频、图片、文字等…
三、认识urllib库
urllib是用于获取网络资源的库,python3自带。
初学爬虫者,主要是掌握urllib库中request模块的一堆函数功能。
有必要的话,也可以学习一下error模块。
request模块一些常用到的函数
函数功能简介Request返回一个Request对象,因为对象有些常用的方法,故而必要的时候需要用到。urlopen通过直接给的URL或者Request对象化后的URL,返回一个含有该URL的网页源码的对象。ProxyHandler跟代理有关函数,搭建与代理的通信build_opener跟代理有关函数,创建一个opener对象install_opener安装opener
一些常用到的方法
方法功能简介read()用于读urlopen函数返回对象中的网页源码encode()编码decode()解码
编码解码还有这两种函数,str是关于编码的函数,bytes是关于解码的函数。 网页涉及到的编码经常有‘utf-8’和“gb18030‘等。 一些编码解码的内容可以看这一篇博客--python3 中的编码和解码
四、认识一些模块
re模块
首先,需要了解的是 re模块--正则表达式模块。
正则表达式是什么?可以这么说,是用于快速从一大堆字符中快速找出想要的子字符串的一种表达方式。函数+表达方式=快速找出子字符串。
以上就是潍坊达内给大家做的内容详解,更多关于IT的学习,请继续关注潍坊达内
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
完整python爬虫基础教学,看这里(1)
- 发布:潍坊达内
- 来源:潍坊达内
- 时间:2019-01-31 14:16
潍坊达内的小编总结, 很多人问学了python能做什么?能找到什么工作
python应用范围非常广泛,几乎所有都能做;最常见的就是web和爬虫了;往后就是人工智能和数据分析了。这里时间有限我就不多说了;今天我们就来说说爬虫吧。
一,首先爬虫的基本流程是什么?
发起请求--解析内容--获取相应内容--保存数据
二、爬虫能抓取什么样的数据?
视频、图片、文字等…
三、认识urllib库
urllib是用于获取网络资源的库,python3自带。
初学爬虫者,主要是掌握urllib库中request模块的一堆函数功能。
有必要的话,也可以学习一下error模块。
request模块一些常用到的函数
函数功能简介Request返回一个Request对象,因为对象有些常用的方法,故而必要的时候需要用到。urlopen通过直接给的URL或者Request对象化后的URL,返回一个含有该URL的网页源码的对象。ProxyHandler跟代理有关函数,搭建与代理的通信build_opener跟代理有关函数,创建一个opener对象install_opener安装opener
一些常用到的方法
方法功能简介read()用于读urlopen函数返回对象中的网页源码encode()编码decode()解码
编码解码还有这两种函数,str是关于编码的函数,bytes是关于解码的函数。 网页涉及到的编码经常有‘utf-8’和“gb18030‘等。 一些编码解码的内容可以看这一篇博客--python3 中的编码和解码
四、认识一些模块
re模块
首先,需要了解的是 re模块--正则表达式模块。
正则表达式是什么?可以这么说,是用于快速从一大堆字符中快速找出想要的子字符串的一种表达方式。函数+表达方式=快速找出子字符串。
以上就是潍坊达内给大家做的内容详解,更多关于IT的学习,请继续关注潍坊达内
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 厦门
- 哈尔滨
- 济南
- 福州
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 大连
- 长沙
- 昆明
- 温州
- 太原
- 南昌
- 无锡
- 石家庄
- 南宁
- 中山
- 兰州
- 佛山
- 珠海
- 宁波
- 贵阳
- 保定
- 呼和浩特
- 东莞
- 洛阳
- 潍坊
- 烟台
- 运城