python爬取链家二手房的数据

2021-07-09 0 938

一、查找数据所在位置:

打开链家官网,进入二手房页面,选取某个城市,可以看到该城市房源总数以及房源列表数据。

python爬取链家二手房的数据

二、确定数据存放位置:

某些网站的数据是存放在html中,而有些却api接口,甚至有些加密在js中,还好链家的房源数据是存放到html中:

python爬取链家二手房的数据

三、获取html数据:

通过requests请求页面,获取每页的html数据

# 爬取的url,默认爬取的南京的链家房产信息
url = \'https://nj.lianjia.com/ershoufang/pg{}/\'.format(page)
# 请求url
resp = requests.get(url, headers=headers, timeout=10)

四、解析html,提取有用数据:

通过BeautifulSoup解析html,并提取相应有用的数据

soup = BeautifulSoup(resp.content, \'lxml\')
# 筛选全部的li标签
sellListContent = soup.select(\'.sellListContent li.LOGCLICKDATA\')
# 循环遍历
for sell in sellListContent:
    # 标题
    title = sell.select(\'div.title a\')[0].string
    # 先抓取全部的div信息,再针对每一条进行提取
    houseInfo = list(sell.select(\'div.houseInfo\')[0].stripped_strings)
    # 楼盘名字
    loupan = houseInfo[0]
    # 对楼盘的信息进行分割
    info = houseInfo[0].split(\'|\')
    # 房子类型
    house_type = info[1].strip()
    # 面积大小
    area = info[2].strip()
    # 房间朝向
    toward = info[3].strip()
    # 装修类型
    renovation = info[4].strip()
    # 房屋地址
    positionInfo = \'\'.join(list(sell.select(\'div.positionInfo\')[0].stripped_strings))
    # 房屋总价
    totalPrice = \'\'.join(list(sell.select(\'div.totalPrice\')[0].stripped_strings))
    # 房屋单价
    unitPrice = list(sell.select(\'div.unitPrice\')[0].stripped_strings)[0]

以上就是我的分享,如果有什么不足之处请指出,多交流,谢谢!

以上就是python爬取链家二手房的数据的详细内容,更多关于python爬取链家二手房的资料请关注自学编程网其它相关文章!

遇见资源网 Python python爬取链家二手房的数据 http://www.ox520.com/28884.html

常见问题

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务