Selenium解决网页懒加载的问题

ninehua 2024-12-06 18:08 35 浏览

在进行爬虫等数据采集任务，将爬取的页面保存成mhtml页面的时候，往往会遇到一些页面，存在懒加载的问题，这样就算将网页保存下来，里面的图片等都会丢失。这里介绍使用自动化测试工具解决懒加载的问题。

首先，懒加载是什么？其实网上有很多的专业介绍，这里我就用一句话概括，为了减轻服务器的压力，用户访问页面的时候，不会全部将页面加载，而是当用户浏览到哪，加载到哪。这样的结果就是当你保存页面的时候，有些数据是拿不到的，因为你没浏览到某个地方，这个地方的数据是无法加载的。

解决思路:用Selenium工具模拟用户浏览操作(也就是下拉页面)，来让所有的数据都完全加载然后再保存数据。这样得到的mhtml页面就是完整图片数据的页面。

from selenium import webdriver
from time import sleep

driver = webdriver.Chrome("chromedriver.exe")
driver.get(url)
#实现滚轮向下滑动
search_html = driver.find_element_by_tag_name('html')#获取对应标签
height=search_html.size['height']#获取html页面的总高度
 
for i in range(700,height,700):
    s=f'window.scrollBy(0,700)'#每次划700的单位
    driver.execute_script(s)   #向下滚动，0在第一位是向上向下，0在第二位是向左向右，负号决定具体方向
    sleep(1.5)
 
#执行 Chome 开发工具命令，得到mhtml内容
res = driver.execute_cdp_cmd('Page.captureSnapshot', {})
 
with open('xxx.mhtml', 'w') as f:
    f.write(res['data'].replace('\r\n', '\n'))#后边一定要将\r\n替换成\n不然不会变成mhtml格式

注意：html和mhtml是两个东西，一个只包含静态页面，但其中的css,js之类的不存在；另外一个是将所有的数据放到一个文件中保存。切记

chromedriver.exe

上一篇：为什么每次直播抽奖都中不了奖?弹幕机器人让你变成最好运的人
下一篇：java自动化测试

Selenium解决网页懒加载的问题

相关推荐

超强!批量修改文件名工具，一次处理上万个，支持各种网盘!

详解什么是BT种子、迅雷下载链接、磁力链接

麒麟桌面操作系统如何安装佳能打印机驱动程序(图文)

potplayer在线字幕翻译插件——potplayer播放器功能插件推荐

Gopeed，全平台多线程高速下载器，支持磁力BT下载，跑满宽带

磁力链接bt链接转直链IDM下载

方正兰亭黑系列/汉仪旗黑家族/思源黑体介绍与区别

天正CAD字体不显示如何解决呢?教你2招，秒解决

ESXi 7.0.3中更新x520网卡驱动的详细步骤与操作

win10专业版一键永久激活Windows10激活bat脚本