文涛-
Request模块实战01 — 简单爬取页面（四步曲）
1.request模块
- urllib模块
- request模块
2.request模块：
python中原生的一款基于网络请求的模块，功能强大，简单便捷，效率高
作用：模拟浏览器发送请求
3.如何使用：(request模块的编码流程)
- 1.指定url
- 2.发起请求
- 3.获取响应数据
- 4.持久化存储
4.代码实现
# -*- coding: utf-8
# @Time : 2020/12/7 23:24
# @Author : ZYX
# @File : request01_firstblood.py
# @software: PyCharm
import requests
if __name__ == '__main__':
# 1.指定url
url = "https://www.sogou.com/"
# 2.发送请求
# get方法会返回一个响应对象
response = requests.get(url)
# 3.获取响应数据.text 返回的是字符形式的响应数据
page_text = response.text
print(page_text)
# 4.持久化存储
with open('./data/sogou.html','w',encoding='utf-8') as fp:
fp.write(page_text) # 将爬取的数据写入文件
print('爬取数据结束！！！')
通过运行结果可以看出，爬虫小程序成功完成，并且将对应的文件保存在了指定文件目录下。
打开保存的html文件，使用谷歌浏览器打开，成功运行。至此，第一个爬虫小程序顺利完成！
