2024年12月 第77页

从零开始学Python——使用Selenium抓取动态网页数据

1.selenium抓取动态网页数据基础介绍1.1什么是AJAX　　AJAX（AsynchronouseJavaScriptAndXML：异步JavaScript和XML）通过在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的...

Selenium爬虫实践:ajax请求抓包、浏览器退出

前言　　最近在搞公司内部系统，累的一批，需要从另一个内部系统导出数据存到数据库做分析，有大量的数据采集工作，又没办法去直接拿到那个系统的接口，太难了，只能爬虫，但是cookie还经常失效，为了不每次登录失效就来找我重新注入Cookie，我写了一个手机版的网页，用来控制后台的selenium自动登录，...

UI 自动化找元素太难了?Airtest 框架了解一下

引言Airtest是网易出品的一款基于图像识别和poco控件识别的一款UI自动化测试工具，网易团队自己开发的一个图像识别框架，让计算机用户不需要一行行的去写代码，而是用屏幕截屏的方式，用截出来的图形摆列组合成神奇的程序。另外，Airtest也基于poco这个控件搜索框架，这也是网易自...

python爬虫:Selenium扩展知识小技巧。规避检测和无头浏览器使用

如何让selenium规避检测有的网站会检测请求是否为selenium发起，如果是的话则让该次请求失败规避检测的方法:selenium接管chrome浏览器实现步骤:必须将你电脑中安装的谷歌浏览器的驱动所在的目录找到，且将目录添加到环境变量中打开cmd，在命令行中输入命令：chrome.exe--...

Python爬虫模拟登陆b站并突破点选验证码功能

写在前面??今天带给大家一个突破点选验证码的案例，利用爬虫模拟登陆哔哩哔哩，并且把一些采坑的地方给大家强调一下！一、需求分析??模拟登陆哔哩哔哩??网站链接:https://passport.bilibili.com/login效果图如下：验证成功后会自动跳转B站的登录界面，为了保护我的信息安全，...

selenium超全教程(1)——持续更新中

安装chrome浏览器驱动安装chrome浏览器驱动：一种是常见的手动安装，另一种则是利用第三方库自动安装。前提：安装好了Chrome浏览器[1]手动安装先查看本地Chrome浏览器版本：（两种方式均可）在浏览器的地址栏键入Chrome://version，即可查看浏览器版本号或者点击Chrome菜...

java自动化测试

1、eclipse检查是否存在maven2、maven下载，解压后对应的bin目录添加到环境变量https://maven.apache.org/download.cgi，3、下载的maven安装包内conf-settings.xml文件下：修改阿里镜像源（可选）；修改镜像放置地址<...

Selenium解决网页懒加载的问题

在进行爬虫等数据采集任务，将爬取的页面保存成mhtml页面的时候，往往会遇到一些页面，存在懒加载的问题，这样就算将网页保存下来，里面的图片等都会丢失。这里介绍使用自动化测试工具解决懒加载的问题。首先，懒加载是什么？其实网上有很多的专业介绍，这里我就用一句话概括，为了减轻服务器的压力，用户访问页面的时...

为什么每次直播抽奖都中不了奖?弹幕机器人让你变成最好运的人

在看直播的时候经常会有主播进行弹幕抽奖，然而每次我都不是中奖的那一个，这让我很恼火，为什么穷哥们一直都中不了奖，为什么一直是主播赚我们的钱，而我们却赚不到主播的钱。抱着要薅主播羊毛，赚主播钱的心态，我对为什么弹幕抽奖中不了奖进行了深入分析。我认为导致中不了奖可能有三方向原因。1.这是因为运气不好。...

Python如何构建自动在线刷视频

文章目录二、解决Python软件的坑二、万事具备、准备开工了1.驱动Chrome,让它访问我们需要的网站吧：2.对于比较复杂的class选择器3.对于用户名和密码，可以使用文件读写方式处理3.对于多个视频文件的处理，一般使用4.关闭浏览器的操作（两个操作可选）学习Python的初衷是因为它的实践的...