Python爬取网页信息的示例

Python 爬取网页信息的步骤

以爬取英文名字网站（https://nameberry.com/）中每个名字的评论内容，包括英文名，用户名，评论的时间和评论的内容为例。

1、确认网址

在浏览器中输入初始网址，逐层查找链接，直到找到需要获取的内容。

在打开的界面中，点击鼠标右键，在弹出的对话框中，选择“检查”，则在界面会显示该网页的源代码，在具体内容处点击查找，可以定位到需要查找的内容的源码。

注意：代码显示的方式与浏览器有关，有些浏览器不支持显示源代码功能（360浏览器，谷歌浏览器，火狐浏览器等是支持显示源代码功能）

步骤图：

1)首页，获取A~Z的页面链接

Python爬取网页信息的示例

2)名字链接页，获取每个字母中的名字链接（存在翻页情况）

Python爬取网页信息的示例

3)名字内容页，获取每个名字的评论信息

Python爬取网页信息的示例

2、编写测试代码

1)获取A~Z链接，在爬取网页信息时，为了减少网页的响应时间，可以根据已知的信息，自动生成对应的链接，这里采取自动生成A~Z之间的连接，以pandas的二维数组形式存储

def get_url1():
 urls=[]
 # A,\'B\',\'C\',\'D\',\'E\',\'F\',\'G\',\'H\',\'I\',\'J\',\'K\',\'L\',\'M\',\'N\',\'O\',\'P\',\'Q\',\'R\',\'S\',\'T\',\'U\',\'V\',\'W\',\'X\',\'Y\',\'Z\'
 a=[\'A\',\'B\',\'C\',\'D\',\'E\',\'F\',\'G\',\'H\',\'I\',\'J\',\'K\',\'L\',\'M\',\'N\',\'O\',\'P\',\'Q\',\'R\',\'S\',\'T\',\'U\',\'V\',\'W\',\'X\',\'Y\',\'Z\']　　　　#自动生成A~Z的链接
 for i in a:
  urls.append(\"https://nameberry.com/search/baby_names_starting_with/%s\" %i)
 dp=pd.DataFrame(urls)
 dp.to_csv(\"A~Z_Link1.csv\",mode=\"a\",encoding=\'utf_8_sig\')　　　　#循环用于在每个字母链接下，调用爬取名字链接的页面的函数，即函数嵌套
 for j in urls:
  get_pages_Html(j)
 return urls

2)获取名字链接，根据网页源码分析出包含名字链接的标签，编写代码，名字链接用直接存储的方式存储，方便读取名字链接进行对名字的评论内容的获取

#获取页数
def get_pages_Html(url1):
 req = requests.get(url1)
 soup=BeautifulSoup(req.text)
#异常处理，为解决页面不存在多页的问题，使用re正则表达式获取页面数
 try:
  lastpage = soup.find(class_=\"last\").find(\"a\")[\'href\']
  str1=\'{}\'.format(lastpage)
  b=re.findall(\'\\\\d+\', str1 )
  for page in b:
   num=page
 except:
  num=1
 get_pages(num,url1)
 return num

def get_pages(n,url):
 pages=[]
 for k in range(1,int(n)+1):
  pages.append(\"{}?page={}\".format(url,k))
 dp=pd.DataFrame(pages)
 dp.to_csv(\"NUM_pages_1.csv\",mode=\"a\",encoding=\'utf_8_sig\')
  #函数调用
 for l in pages:
  parse_HTML2(l)
 return pages


# 名字的链接，根据网页源码的标签，确定名字链接的位置
def parse_HTML2(url2):
 try:
  req = requests.get(url2)
  req.encoding = req.apparent_encoding
  soup = BeautifulSoup(req.text)
 except:
  dp=pd.DataFrame(url2)
  dp.to_csv(\"Error_pages_1.csv\",mode=\"a\",encoding=\'utf_8_sig\')
 name_data_l=[]
 error=[]
 li_list = soup.find_all(\'li\',class_=\"Listing-name pt-15 pb-15 bdb-gray-light w-100pct flex border-highlight\")
 try:
  for li in li_list:
   nameList=li.find(\'a\',class_=\'flex-1\')[\'href\']
   name_data_l.append(\'https://nameberry.com/\'+nameList)
   time.sleep(1)
  cun(name_data_l,\'Name_List_1\')
 except:
  dp=pd.DataFrame(name_data_l)
  dp.to_csv(\"Error_Name_List_1.csv\",mode=\"a\",encoding=\'utf_8_sig\')
  # cun(url2,\'Error_link_Q\')
 # dp=pd.DataFrame(name_data_l)
 # dp.to_csv(\"Name_List.csv\",mode=\"a\",encoding=\'utf_8_sig\')
 # for i in name_data_l:
 #  parse_HTML3(i)
 return name_data_l

3)获取名字评论的内容，采用字典形式写入文件

# 名字里的内容
def parse_HTML3(url3):
 count=0
 req = requests.get(url3)
 req.encoding = req.apparent_encoding
 soup = BeautifulSoup(req.text)
 error=[]
 try:
  Name=soup.find(\'h1\',class_=\'first-header\').find(\"a\").get_text().replace(\",\",\"\").replace(\"\\n\",\"\")
 except:
  error.append(url3)
  cun(error,\"Error_Link_Comment\")
 li_list = soup.find_all(\'div\',class_=\"comment\")
 for li in li_list:
  Title=li.find(\"h4\").get_text().replace(\",\",\"\").replace(\"\\n\",\"\")
  Time=li.find(\"p\",class_=\'meta\').get_text().replace(\",\",\"\").replace(\"\\n\",\"\")
  Comments=li.find(\"div\",class_=\'comment-text\').get_text().replace(\",\",\"\").replace(\"\\n\",\"\")
  dic2={
   \"Name\":Name,
   \"Title\":Title,
   \"Time\":Time,
   \"Comments\":Comments
  }
  time.sleep(1)
  count=count+1
  save_to_csv(dic2,\"Name_data_comment\")
  print(count)
 return 1

3、测试代码

1)代码编写完成后，具体的函数调用逻辑，获取链接时，为直接的函数嵌套，获取内容时，为从文件中读取出名字链接，在获取名字的评论内容。避免因为逐层访问，造成访问网页超时，出现异常。

如图：

Python爬取网页信息的示例