web-anti-crawl-fetch使用带 Stealth 插件的无头浏览器抓取网页内容并转换为 Markdown。用于当需要获取特定网页的正文、新闻详情、公司财报或其他长篇网页内容时。支持绕过大多数基础反爬虫检测。
Install via ClawdBot CLI:
clawdbot install dlutwuwei/web-anti-crawl-fetchGrade Fair — based on market validation, documentation quality, package completeness, maintenance status, and authenticity signals.
Calls external URL not in known-safe list
https://finance.sina.com.cn/stock/Audited Apr 16, 2026 · audit v1.0
Generated Jul 18, 2026
金融机构和投资者需要定期从多个财经网站抓取最新新闻、财报和市场数据，以支持投资决策。该技能可以绕过反爬虫机制，自动将网页内容转为结构化Markdown，便于后续文本分析和摘要生成。
企业市场部门需要持续监控竞争对手官网的产品更新、促销活动和战略动态。使用此技能可定时抓取竞争对手网页，自动提取关键变化并生成对比报告。
咨询公司和研究机构需要从多个行业网站（如政府统计局、研究机构博客）抓取报告和文章。该技能可批量抓取网页正文，转换为Markdown后存入知识库，便于团队检索和引用。
律师事务所和合规部门需要跟踪法律法规网站的最新发布，如政策条文、司法解释等。使用无头浏览器可抓取动态加载的页面，确保获取完整内容并转为Markdown存档。
研究人员需要从学术期刊或会议网站抓取论文摘要或开放获取全文，以便本地备份或离线阅读。该技能可处理需要用户模拟的网站，同时保留核心文本内容。
提供基于订阅的网页数据抓取API服务，客户可按月或按年付费获取指定网站的Markdown格式内容快照。收入来源于订阅费，可分为免费试用、基础版、专业版等层级。
构建一个行业情报SaaS平台，自动抓取多个垂直行业网站（如金融、科技、医疗）的内容，经过清洗、分类和摘要后提供给企业客户。收入来自企业会员费或按数据量计费。
为客户提供一次性或周期性爬取服务，输出结构化的Markdown报告，并附加关键词分析、情绪分析等增值服务。按项目收费。
💬 Integration Tip
该技能作为独立命令行工具运行，可通过在AI工作流中调用shell命令与任何支持执行脚本的AI agent集成，例如在Agent配置中将执行结果作为后续LLM的输入上下文。
Scored Jul 18, 2026
Summarize URLs or files with the summarize CLI (web, PDFs, images, audio, YouTube).
AI-optimized web search via Tavily API. Returns concise, relevant results for AI agents.
When user asks to summarize text, articles, documents, meetings, emails, YouTube transcripts, books, PDFs, reports, conversations, or any long content. Also...
Search the web using Baidu AI Search Engine (BDSE). Use for live information, documentation, or research topics.
Automatically fetch YouTube video transcripts, generate structured summaries, and send full transcripts to messaging platforms. Detects YouTube URLs and provides metadata, key insights, and downloadable transcripts.
Search the web with AI-powered answers via Perplexity API. Returns grounded responses with citations. Supports batch queries.