搜索引擎采集器
- 包含在 ScrapeSEO 中
- 最快的爬虫构建
- 多线程连接
- +30 搜索引擎
- 代理支持
- 刷新采集时代理
- 100% 可训练
- 抓取任何查询
- 自定义用户代理
- 收割器统计
- 关键词统计
随着 ScrapeSEO v2.0 的发布，我们打造了史上最快、最强大的搜索引擎抓取工具。它是首款桌面版 SERP 抓取器，其抓取速度首次突破每分钟 100 万个 URL！
ScrapeSEO 配备了一个自定义的搜索引擎抓取工具，能够被训练从几乎任何带有搜索功能的网站中提取 URL。无论是一个带有搜索栏的简单 WordPress 博客，用于根据特定关键字提取所有相关 URL，还是像 Google、Bing 或 Yahoo 这样的大型搜索引擎，ScrapeSEO 都能轻松应对。
该自定义抓取工具预先配置了大约 30 个搜索引擎。只需输入您的关键字并开始运行，或者使用附带的关键字抓取工具，即可轻松上手。除了主流搜索引擎，预配置列表还包括 Lycos、Ask.com、Rambler、AltaVista、Mojeek、Blekko、Excite、HotBot、IXQuick、DogPile 和 Blingo 等平台，以及 ISP 专用的搜索引擎，如 Charter、Verizon、Comcast 和 Orange.co.uk。甚至可以抓取 YouTube 视频 URL 和 Alexa Topsites 中排名最高的网站域名。
ScrapeSEO 支持多线程并提供可调节的连接设置，允许您同时运行多达 3000 个连接，从所有引擎中每秒抓取成千上万甚至数百万个 URL。对于网络速度较慢的电脑，也可以减少连接数，以更保守的方式运行。此外，您还可以配置代理重试选项，在抓取过程中移除无效代理，并动态刷新代理，确保抓取任务的最佳性能。
可训练的抓取器
ScrapeSEO 的抓取器预先配置了 30 多个搜索引擎，并支持轻松添加自定义搜索引擎，让您可以从几乎任何网站中抓取内容。
您可以添加基于国家的搜索引擎，甚至为带有搜索框的 WordPress 网站创建自定义配置，以提取该网站的所有文章 URL。
训练新的搜索引擎非常简单。许多用户通过查看预配置的 30 个搜索引擎的设置，就能够轻松添加新的引擎。我们还提供详细的教程视频，或者您也可以联系技术支持团队，帮助您培训所需的特定引擎。此外，您还可以将搜索引擎配置文件导出，与同样使用 ScrapeSEO 的朋友或同事共享。
对于高级用户，ScrapeSEO 提供了更多的自定义选项。您可以为每个搜索引擎自定义每个请求发送的头部数据，修改用户代理以使用低带宽的移动搜索引擎，设置自定义 Cookie，在每次请求前清除 Cookie，跟踪重定向，甚至为使用相对链接的搜索引擎抓取的 URL 添加域名前缀。
抓取统计
使用 ScrapeSEO，您可以在抓取过程中获取详细的统计数据。我们了解，并非每个人都需要抓取数百万个 URL，一些用户更需要精确和细致的结果。
为此，我们提供了抓取统计功能，可记录每个搜索引擎中每个关键字的结果数量。这让您能够实时监控关键字的抓取效果。
此外，抓取器还能将每个抓取到的 URL 与对应的关键字一起保存，方便您轻松识别哪些关键字生成了哪些结果。这一功能让您的数据组织和分析变得更加简单高效。
发表回复