下载python

安装完python后

打开cmd安装这两个扩展包

当时我遇见了一个pip 不是该命令……的问题

看一下环境变量配了吗：

此电脑- >属性- >高级系统设置- >高级- >环境变量- >路径- >修改，添加成功以后就可以运行了

pip -h

看一下是否可以运行

pip install requests
pip install beautifulsoup4

requests包

requests：请求

官方文档： https://2.python-requests.org/zh_CN/latest/

导入该模块

import  requests

然后我们尝试向百度发起请求

r=requests.get('https://www.baidu.com')

用该变量就可以拿到我们想要的数据比如：请求码，请求返回的代码，

# 返回请求码
print(r.status_code)
# 返回请求的代码
print(r.text)

看到请求码是200就是请求成功了

然后下面是我们请求用text 输出的代码

更多的方法可以在官网上在查找

BeautifulSoup包

BeautifulSoup：解析代码里面的内容

文档地址： https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#

上面我们已经可以拿到百度的代码

我们可以拿百度的代码来解析尝试

#这是获取到的百度的代码
r.text
#解析他的代码
baidu=BeautifulSoup(r.text,"html.parser")
#获取标题
print("百度的标题"+baidu.title.text)
#也可以通过标签定位来获取元素/这个意思是获取代码中所有带div标签的元素
print(baidu.find_all('div'))

可以看到都可以获取到

但是百度的标题是乱码

简单爬个热搜榜

# 获取网站内容
r=requests.get("https://top.baidu.com/board?tab=car")
# 查看请求码
print(r.status_code)
#改变标准输出的默认编码
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')  
# 将网站内容放到BeautifulSoup库中解析
list=BeautifulSoup(r.text,"html.parser")
# 根据类定位到信息的大位置
a=list.find_all(attrs={'class','container-bg_lQ801'})
# 再详细的进一步定位
b=a[0].find_all(attrs={'class','c-single-text-ellipsis'})
# 去重
# b=set(b)
# 输出到并且保存至title_list.txt文本文件，“w”是写入，如果没有该文件就创建，有的话就覆盖文件中的内容写入
with open("title_list.txt","w") as f:
    f.write("汽车排行榜"+'\n')
    # 将我们上面获取到的数据遍历出来
    for tit in b:
        # 循环将我们的信息写入到文件中
        f.write(tit.text)
        # 换行
        f.write('\n')
    f.write("\n")