本文共 1496 字，大约阅读时间需要 4 分钟。

Python爬虫（五）

学习Python爬虫过程中的心得体会以及知识点的整理，方便我自己查找，也希望可以和大家一起交流。

—— BeautifulSoup库应用实践之保存网页 ——

1. 引入库：

import requestsfrom bs4 import BeautifulSoup

2. 确定保存路径（推荐使用绝对路径）：

PATH = "/Users/Ezy/Documents/Test/freebuf/"

3. 目标图片的地址，

url = "https://www.freebuf.com/"

4. 获取图片

r = requests.get(url, "html.parser")#“lxml”是Python 3 新增的参数，需要设定解析器，本地一般为‘lxml’soup = BeautifulSoup(r.content,"lxml")#寻找源代码中所有‘img’标签其中的‘src’参数，获取图片名称和地址img_url = soup.find('img')['src']#将图片名称提取出来，之所以要‘+1’是为了去掉‘/’,使其不会出现在图片名字中img_name = img_url[img_url.rfind('/')+1:]

5. 保存图片和网页

r = requests.get(img_url, "html.parser")con = r.content#注意：在Python 3 中要使用二进制写入模式（‘wb’）来开启待操作文件，而不能像原来Python 2 那样，采用字符写入模式（‘w’）o = open(PATH + img_name, 'wb')o.write(con)o.close()

效果是：

6. 但很显然，我们这段代码操作起来太复杂了，我们可以进行优化，首先我们将查找图片和保存图片封装进两个函数:

def getimg(img_url):def main(url):

7. 查找获取图片部分代码和之前一样：

def getimg(img_url):    img_name = img_url[img_url.rfind('/')+1:]    #本地的图片地址    file = PATH + img_name    r = requests.get(img_url, "html.parser")    con = r.content    o = open(file, 'wb')    o.write(con)    o.close()    return file

8. 保存图片部分代码稍加改动，并加上保存网页的代码，原理方法相同：

def main(url):    r = requests.get(url, "html.parser")    soup = BeautifulSoup(r.content,"lxml")    imgs = soup.find_all('img')    for img in imgs:        img_url = img['src']        print (img_url)        img['src'] = getimg(img_url)    o = open("D:/MyProject/image/test.html",'wb')    o.write(str(soup))    o.close()if __name__ == "__main__":    url = "https://www.freebuf.com/"    main(url)

效果如图：

——————完整代码请点击查看。

转载地址：http://bbazi.baihongyu.com/