Playwright 页面空白或超时的主因是未等待JS渲染完成及关键元素出现;应使用wait_until="commit"、显式等待选择器、避免硬编码DOM、模拟真实用户行为并屏蔽webdriver特征。
Playwright 启动浏览器时为什么页面空白或报 TimeoutError
常见现象是调用 page.goto(url) 后直接超时,或页面加载后内容为空(比如本该有商品列表却只看到 loading 动画)。根本原因不是网络慢,而是 Playwright 默认不等待 JavaScript 渲染完成,也没等关键元素出现。
实操建议:
- 别只靠
page.goto(url),加wait_until="networkidle"或更稳妥的wait_until="commit"(推荐) - 对异步内容,必须显式等待目标元素:用
page.wait_for_selector("div.product-list"),而不是等固定秒数 - 如果页面依赖登录态或 localStorage,记得在
context级别复用,避免每次新建 context 丢失状态 - 某些 SPA 会拦截
fetch或XHR,可配合page.route()拦截并打印请求,确认数据是否真由 JS 加载
如何正确等待动态加载的数据而非静态 HTML
很多教程教用 page.content() 拿源码,但异步网页的初始 HTML 几乎不含真实数据——content() 返回的是骨架,不是渲染后的 DOM。
实操建议:
- 用
page.inner_html("main")或page.eval_on_selector("div#list", "el => el.innerHTML")获取已渲染的结构 - 若需提取 JSON 数据(比如页面内嵌的
window.__DATA__),用page.evaluate("() => window.__DATA__")直接取 JS 变量值 - 避免用
selenium思维写重试逻辑;Playwright 的wait_for_*方法自带轮询和超时,比手写time.sleep()+try/except更可靠 - 注意
page.is_visible()和page.is_enabled()是同步判断,不能替代wait_for_selector(),后者才触发等待
模拟用户滚动、点击、输入时容易被识别为机器人
直接调用 page.click("button#load-more") 可能失败,因为按钮可能被 disabled、遮挡,或事件监听器绑在父容器上。更麻烦的是,部分站点通过检测鼠标移动轨迹、点击间隔、navigator.webdriver 值来封禁自动化行为。
YouArt
YouArt是个一站式AI图像与视...
实操建议:
- 用
page.mouse.move(x, y)+page.mouse.down()+page.mouse.up()模拟真实点击路径(尤其对防爬强的站点) - 滚动前先
page.wait_for_timeout(300),再page.evaluate("window.scrollTo(0, document.body.scrollHeight)"),避免滚动过快被判定异常 - 启动时加参数屏蔽 webdriver 特征:
playwright.chromium.launch(headless=True, args=["--disable-blink-features=AutomationControlled"]),再用page.add_init_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})") - 输入文本别用
fill()一气呵成,改用type()并设delay=100模拟人工打字节奏
抓取后如何稳定提取数据而不因 DOM 微调崩溃
前端改个 class 名、加个 wrapper div,用 page.query_selector("div.item") 就返回 None。硬编码选择器是最脆弱的一环。
实操建议:
- 优先用属性定位:比如
[data-testid="product-card"]或[aria-label="商品详情"],这类属性通常更稳定 - 用 XPath 的容错写法,例如
//article[contains(@class, "card") or contains(@class, "item")]//h3,比纯 CSS 选择器抗干扰强 - 对列表类数据,用
page.query_selector_all()后加is_visible()过滤掉未渲染完成的项,而不是假设所有都 ready - 如果后端 API 可直连(比如 F12 看 Network 里有
/api/items?page=2),优先绕过浏览器,用requests调用接口——更快、更稳、更省资源
真正难的不是让 Playwright “跑起来”,而是让它在页面结构、加载策略、反爬规则不断变化时仍能持续产出有效数据。DOM 选择器、等待条件、用户行为节奏,这三处稍一松懈,脚本就变成“看天吃饭”。
就爱读