简体中文
登录开始免费试用
产品

Webpage

用 Webpage 将公开网页转化为可用内容

通过简单 API 获取可读的网页内容与可选 Markdown,无需为每个网站单独搭建清洗逻辑。

适用于受支持的公开网页。输出结果可能因页面结构与配置而不同。

Webpage content extraction

可直接进入工作流的网页内容

Webpage 从受支持的公开网页中提取并整理内容,让抓取、调研、监控与 AI 应用更易接入。

可读内容提取

以更干净、更易用的格式获取有价值的网页内容。

可选 Markdown

当工作流需要可读、结构良好的内容格式时,可开启 Markdown。

简单 API 接入

选择 API Token、填入 URL,即可通过标准 API 流程发起请求。

输入输出预览

运行前检查请求,并在 Output 标签页查看返回内容。

即用请求示例

查看并复制 Playground 中已提供的多语言请求示例。

用量与性能统计

在控制台跟踪请求量、成功率与响应时间。

选择合适的 Webpage 套餐

根据预计用量购买 Webpage 次数。套餐均为单次购买,并在页面显示的有效期内使用。

我们接受以下支付方式: pay icon

适合企业工作流的 Webpage 定制方案

  • 灵活配置请求量
  • 定制套餐方案
  • 可读内容与 Markdown
  • 灵活的套餐有效期
  • 用量与性能统计
  • 专属技术支持

面向调研、监控、搜索与 AI 场景

当您需要从公开网页持续获取可读内容用于分析或下游应用时,选择 Webpage。

AI 应用与助手

为调研、问答与内容分析提供可读的网页内容。

RAG 与知识库

用网页内容构建、更新并检索知识库。

内部搜索与内容发现

将公开网页内容接入内部搜索与内容发现系统。

市场与竞品调研

采集公开的产品页、文章与公司信息用于分析。

网页内容监控

定期抓取公开页面,识别内容随时间的变化。

摘要与分类

将整理后的网页内容送入下游系统做摘要、打标与分类。

Webpage 还是 Web Unlocker?

取决于您需要可用的网页内容,还是需要拿到原始页面响应。

Webpage

Web Unlocker

核心用途
获取可读的网页内容。
访问并解锁网页。
主要输出
可读内容与可选 Markdown。
按配置返回原始页面响应。
适用场景
调研、监控、搜索与 AI 工作流。
自定义抓取与页面解析工作流。
用户工作量
更少的内容清洗与处理。
需自行完成解析与字段提取。
需要可用的网页内容?选择 Webpage。
需要原始页面自行解析?选择 Web Unlocker。

从 URL 到可用内容

1234

选择套餐

购买符合预估用量的 Webpage 额度。

填写请求

选择 API Token,并填入受支持的公开网页 URL。

按需开启 Markdown

需要响应中包含 Markdown 时,开启 Include Markdown。

运行请求

点击 Start Scraping,并在 Output 标签页查看返回内容。

开发者接入

使用 Playground 或文档中的请求示例,将 Webpage 接入现有的存储、搜索、监控或 AI 系统。

webpage.py
import requests

url = "https://scraperapi.thordata.com/v1/webpage"
headers = {"Authorization": "Bearer YOUR_TOKEN"}
payload = {
    "url": "https://example.com/article",
    "markdown": True,
}
resp = requests.post(url, json=payload, headers=headers)
print(resp.json())

常见问题

Webpage 是什么?

Webpage 是 Thordata 的网页内容提取产品,可通过 API 从受支持的公开网页中获取可读内容与可选 Markdown。

Webpage 可以用在哪些场景?

可用于抓取、调研、监控、内部搜索、知识库与 AI 应用等场景。

Webpage 支持 Markdown 吗?

支持。需要响应中包含 Markdown 时,开启 Include Markdown 即可。

Webpage 如何计费?

通过一次性套餐购买 Webpage 额度,按每次请求计算的可计费用量扣减额度。

一次请求一定消耗一个额度吗?

不一定。根据该次请求的可计费用量,可能会消耗多于一个额度。

Webpage 和 Web Unlocker 有什么区别?

Webpage 侧重可读内容,Web Unlocker 侧重访问并返回原始页面响应。

Webpage 的额度能用于 Web Unlocker 吗?

不能。两个产品拥有独立套餐、余额、使用记录与统计数据。

Webpage 支持订阅或自动续费吗?

当前版本不支持,Webpage 套餐均为一次性购买。

任意网站都能用 Webpage 吗?

Webpage 面向受支持的公开网页,结果可能因页面结构与配置而不同。

把网页内容接入你的工作流

从几个公开 URL 开始,查看返回内容,再选择符合预估用量的套餐。

请仅将 Webpage 用于公开或已授权的数据采集,并遵守适用法律、网站条款与合理的请求频率。