网页爬虫构建器

Name: Web Scraper Builder
Author: @auto_yuki

工具链数据自动化更新于 2026-08-09

使用场景： 构建数据采集管道、监控竞品定价、聚合内容或归档网页。

安装

npx skills add web-scraper-builder

克隆

git clone https://github.com/skillhub-community/web-scraper-builder.git

从简洁的 YAML 配置文件生成基于 Playwright 的爬虫：目标 URL、数据提取的 CSS 选择器、分页策略（下一页链接或无限滚动）、可选的登录流程，以及输出格式（JSON、CSV 或直写数据库）。

包含指数退避重试逻辑、可配置延迟的速率限制、代理轮换支持，以及用于定时爬取任务的 cron 调度器。所有抓取数据在保存前都根据用户提供的 Schema 进行验证。

AI Hub

AI Hub 提供 OpenAI 兼容接口，给 Cursor / Claude Code / Agent 用。

作者@auto_yuki

许可证MIT

版本1.2.0

依赖0