web-scraping-tool-selection-strategy如何选择合适的网页抓取工具进行数据采集。当用户提到网页抓取、数据采集、爬虫、自动化测试、浏览器自动化、网站监控、竞品分析、价格监控、评论抓取、社交媒体数据分析、电商数据采集、小红书/知乎/京东/淘宝/1688抓取、结构化数据提取、反爬绕过、浏览器复用、API抓取、实时数据监控等场景时使用此技能。包含opencli...
Install via ClawdBot CLI:
clawdbot install wenbozhao279-code/web-scraping-tool-selection-strategyGrade Fair — based on market validation, documentation quality, package completeness, maintenance status, and authenticity signals.
Calls external URL not in known-safe list
https://item.jd.com/44541018110.html#commentAudited Apr 17, 2026 · audit v1.0
Generated May 23, 2026
企业需要持续抓取小红书、知乎等社交平台上的用户评论，用于舆情分析。通过opencli工具可直接获取结构化数据，支持按关键词搜索和设定数量限制，实现高效监控。
电商公司需定期采集京东、淘宝等平台上的竞争对手价格信息。使用playwright-cli复用已登录浏览器状态，可绕过反爬机制获取动态加载的价格数据。
采购人员在1688等平台上寻找供应商，需要批量抓取商品列表和详情。playwright-cli能够处理复杂页面结构，稳定获取搜索结果，提高选品效率。
内容创作者和媒体机构需要实时获取知乎热榜、微博热搜等数据。opencli提供针对这些平台的适配器，快速输出排名标题、热度值等字段，便于内容选题。
视频创作者需要抓取B站等平台上的视频播放量、点赞数等指标。opencli针对B站有优化适配器，可获取结构化数据，辅助内容策略调整。
提供定制的结构化数据采集服务，客户按需订阅，例如社交媒体评论监控、电商价格跟踪。利用opencli快速获取干净数据，降低人力成本。
构建SaaS平台，为企业提供竞品价格、评论、营销活动等情报聚合。使用playwright-cli处理复杂网站，扩展数据源覆盖。
为AI公司提供大规模、高质量的网页抓取数据集，支持模型训练。组合使用opencli和playwright-cli，高效获取不同平台数据。
💬 Integration Tip
将opencli和playwright-cli封装为微服务API，通过消息队列调度任务，并集成到现有数据管道中。
Scored May 23, 2026
A fast Rust-based headless browser automation CLI with Node.js fallback that enables AI agents to navigate, click, type, and snapshot pages via structured commands.
Uses a headless browser to navigate web pages, interact with elements, and extract clean, readable text content from URLs.
Headless browser automation CLI optimized for AI agents with accessibility tree snapshots and ref-based element selection
通过已登录的Edge或Chrome浏览器，利用Chrome DevTools Protocol执行JS渲染页面的导航、点击、截图及数据提取等自动化操作。
Send and receive SMS/RCS via Google Messages web interface (messages.google.com). Use when asked to "send a text", "check texts", "SMS", "text message", "Google Messages", or forward incoming texts to other channels.
High-performance browser automation for heavy scraping, multi-tab management, and precise DOM extraction. Use this when you need speed, reliability, or advanced state management (cookies/local storage) beyond standard web fetching.