教你如何利用python3爬虫爬取漫画岛-非人哉漫画

　　　　最近学了一点点python爬虫的知识，面向百度编程爬了一本小说之后感觉有点不满足，于是突发奇想尝试爬一本漫画下来看看。

一、效果展示

　　首先是我们想要爬取的漫画网页：http://www.manhuadao.cn/

　　 网页截图：

其次是爬取下来的效果：

每一回的文件夹里面是这样的： (因为网站图片的问题…所以就成了这个鬼样子)

二、分析原理

1、准备：需要vscode或者其他能够编译运行python的软件，推荐python版本3.X ，否则有可能出现编译问题。

　　　　　　 下载所需模块：win+R进入命令行，输入pipinstall <模块名>即可下载。例如：

pip install beautifulsoup4

2、原理： 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片

三、实际操作（代码附在最后）

　 1、引入模块 （这里不再详述）

　　2、模拟浏览器访问网页　　

　　　　(1)、这里我们打开漫画的目录页，如下： url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ，此链接就是目录页链接。

　　　　(2)、按F12打开此网页的源码（谷歌浏览器），选中上方NetWork，Ctrl+R刷新。

　　　　(3)、找到加载网页的源码文件，点击Headers，如下图： StatusCode表示网页返回的代码，值为200时表示访问成功。

　　　　(4)、headers中的参数为下面红框User-Agent。

response = requests.get(url=url, headers=headers)  # 模拟访问网页
print(response)  # 此处应输出   <Response [200]>
print(response.text)   # 输出网页源码

　　　　 两个输出分别输出：

　　 输出返回200表示访问成功。

　　 （节选）

　　　　(5)、将html代码存入 data 中，xpath定位每一章链接。点击上方Element，点击：

　　　　　　将鼠标移至目录处：

　　　　　　右边代码区域出现每一章链接：

data = etree.HTML(response.text)
# tp = data.xpath(\'//ul[@class=\"read-chapter\"]/li/a[@class=\"active\"]/@href\')
tp = data.xpath(\'//*[@class=\"yesReader\"]/@href\')
zhang_list = tp   # tp为链接列表

　　输出zhang_list，结果如下：

　　　　(6)、获取图片链接（获取方式同上一步）

　　　　点进第一章，同上一步，寻找到图片链接：

i=1
for next_zhang in zhang_list:    # 在章节列表中循环
    i=i+1
    j=0
    hui_url = r_url+next_zhang
    name1 = \"第\"+str(i)+\"回\"
    file = \'C:/Users/wangyueke/Desktop/\'+keyword+\'/{}/\'.format(name1)   # 创建文件夹
    if not os.path.exists(file):
        os.makedirs(file)
        print(\'创建文件夹：\', file)
    response = requests.get(url=hui_url, headers=headers)    # 模拟访问每一章链接
    data = etree.HTML(response.text)
    # tp = data.xpath(\'//div[@class=\"no-pic\"]//img/@src\')
    tp = data.xpath(\'//div[@class=\"main-content\"]//ul//li//div[@class=\"no-pic\"]//img/@src\')   # 定位
    ye_list = tp

　　　　(7)、下载图片

for k in ye_list:    # 在每一章的图片链接列表中循环
    download_url = tp[j]
    print(download_url)
    j=j+1
    file_name=\"第\"+str(j)+\"页\"
    response = requests.get(url=download_url)    # 模拟访问图片链接
    with open(file+file_name+\".jpg\",\"wb\") as f:
        f.write(response.content)

五、代码

\'\'\'
用于爬取非人哉漫画
目标网址：http://www.manhuadao.cn/
开始时间：2019/8/14 20:01:26
完成时间：2019/8/15 11:04:56
作者：kong_gu
\'\'\'
import requests
import json
import time
import os
from lxml import etree
from bs4 import BeautifulSoup


def main():
    keyword=\"非人哉\"
    file = \'E:/{}\'.format(keyword)
    if not os.path.exists(file):
        os.mkdir(file)
        print(\'创建文件夹：\',file)
    r_url=\"http://www.manhuadao.cn/\"
    url = \"http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628\"
    headers = {  # 模拟浏览器访问网页
        \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\\\Chrome/75.0.3770.142 Safari/537.36\'}
    response = requests.get(url=url, headers=headers)
    # print(response.text)   # 输出网页源码
    data = etree.HTML(response.text)
    # tp = data.xpath(\'//ul[@class=\"read-chapter\"]/li/a[@class=\"active\"]/@href\')
    tp = data.xpath(\'//*[@class=\"yesReader\"]/@href\')
    zhang_list = tp
    i=1
    for next_zhang in zhang_list:
        i=i+1
        j=0
        hui_url = r_url+next_zhang
        name1 = \"第\"+str(i)+\"回\"
        file = \'C:/Users/wangyueke/Desktop/\'+keyword+\'/{}/\'.format(name1)    # 这里需要自己设置路径
        if not os.path.exists(file):
            os.makedirs(file)
            print(\'创建文件夹：\', file)
        response = requests.get(url=hui_url, headers=headers)
        data = etree.HTML(response.text)
        # tp = data.xpath(\'//div[@class=\"no-pic\"]//img/@src\')
        tp = data.xpath(\'//div[@class=\"main-content\"]//ul//li//div[@class=\"no-pic\"]//img/@src\')
        ye_list = tp
        for k in ye_list:
            download_url = tp[j]
            print(download_url)
            j=j+1
            file_name=\"第\"+str(j)+\"页\"
            response = requests.get(url=download_url)
            with open(file+file_name+\".jpg\",\"wb\") as f:
                f.write(response.content)


if __name__ == \'__main__\':
    main()