我正在尝试使用 R(程序包 rvest)抓取网页上的表格数据。为此，数据需要位于 html 源文件中(这显然是 rvest 寻找它的地方)，但在本例中不是。

但是，数据元素显示在检查面板的元素 View 中:

源文件显示一个空表:

为什么数据显示在检查元素上而不是源文件上？ 如何访问 html 格式的表格数据？ 如果我无法通过 html 访问，我该如何更改我的网页抓取策略？

*网页是 https://si3.bcentral.cl/siete/secure/cuadros/cuadro_dinamico.aspx?idMenu=IPC_VAR_MEN1_HIST&codCuadro=IPC_VAR_MEN1_HIST

源文件: view-source:https://si3.bcentral.cl/siete/secure/cuadros/cuadro_dinamico.aspx?idMenu=IPC_VAR_MEN1_HIST&codCuadro=IPC_VAR_MEN1_HIST

编辑:感谢使用 R 的解决方案

最佳答案

我真的希望“专家”停止说“你需要 Selenium/Headless Chrome”，因为它几乎从来都不是真的，并且会在数据科学工作流程中引入不必要的、重量级的第三方依赖。 p>

该站点是一个 ASP.NET 站点，因此它大量使用 session ，并且这个特定 session 背后的程序员强制该 session 在家中开始(“你好，2000 调用并希望他们的 session 状态保留模型回来。”)

无论如何，我们需要从那里开始并前进到您的页面。这是您浏览器的样子:

我们还可以从 ?? 看到该站点返回了可爱的 JSON，因此我们最终会获取它。让我们像上面的 session 一样开始建模 R httr 工作流:

library(xml2)
library(httr)
library(rvest)

从，嗯，开始!

httr::GET(
  url = "https://si3.bcentral.cl/Siete/secure/cuadros/home.aspx",
  httr::verbose()
) -> res

现在，我们需要从该页面获取 HTML，因为我们需要向 POST 提供许多隐藏值，因为这是 brain-dead ASP 的一部分。 NET 工作流有效(同样，遵循上图中的请求):

pg <- httr::content(res)

hinput <- html_nodes(pg, "input")
hinput <- as.list(setNames(html_attr(hinput, "value"), html_attr(hinput, "name")))
hinput$`header$txtBoxBuscador` <- ""
hinput$`__EVENTARGUMENT` <- ""
hinput$`__EVENTTARGET` <- "lnkBut01"

httr::POST(
  url = "https://si3.bcentral.cl/Siete/secure/cuadros/home.aspx",
  httr::add_headers(
    `Referer` = "https://si3.bcentral.cl/Siete/secure/cuadros/home.aspx"
  ),
  encode = "form",
  body = hinput
) -> res

现在我们已经完成了我们需要做的事情，让网站认为我们有一个正确的 session ，所以让我们请求 JSON 内容:

httr::GET(
  url = "https://si3.bcentral.cl/siete/secure/cuadros/actions.aspx",
  httr::add_headers(
    `X-Requested-With` = "XMLHttpRequest"
  ),
  query = list(
    Opcion = "1",
    idMenu = "IPC_VAR_MEN1_HIST",
    codCuadro = "IPC_VAR_MEN1_HIST",
    DrDwnAnioDesde = "",
    DrDwnAnioHasta = "",
    DrDwnAnioDiario = "",
    DropDownListFrequency = "",
    DrDwnCalculo = "NONE"
  )
) -> res

然后，繁荣:

str(
  httr::content(res), 1
)

## List of 32
##  $ CodigoCuadro       : chr "IPC_VAR_MEN1_HIST"
##  $ Language           : chr "es-CL"
##  $ DescripcionCuadro  : chr "IPC, IPCX, IPCX1 e IPC SAE, variación mensual, información histórica"
##  $ AnioDesde          : int 1928
##  $ AnioHasta          : int 2018
##  $ FechaInicio        : chr "01-01-2010"
##  $ FechaFin           : chr "01-11-2018"
##  $ ListaFrecuencia    :List of 1
##  $ FrecuenciaDefecto  : NULL
##  $ DrDwnAnioDesde     :List of 3
##  $ DrDwnAnioHasta     :List of 3
##  $ DrDwnAnioDiario    :List of 3
##  $ hsDecimales        :List of 1
##  $ ListaCalculo       :List of 1
##  $ Metadatos          : chr " <img runat=\"server\" ID=\"imgButMetaDatos\" alt=\"Ver metadatos\" src=\"../../Images/lens.gif\" OnClick=\"jav"| __truncated__
##  $ NotasPrincipales   : chr ""
##  $ StatusTextBox      : chr ""
##  $ Grid               :List of 4
##  $ GridColumnNames    :List of 113
##  $ Paginador          : int 15
##  $ allowEmptyColumns  : logi FALSE
##  $ FechaInicioSelected: chr "2010"
##  $ FechaFinSelected   : chr "2018"
##  $ FrecuenciaSelected : chr "MONTHLY"
##  $ CalculoSelected    : chr "NONE"
##  $ AnioDiarioSelected : chr "2010"
##  $ UrlFechaBase       : chr "Indizar_fechaBase.aspx?codCuadro=IPC_VAR_MEN1_HIST"
##  $ FechaBaseCuadro    : chr "Ene 2010"
##  $ IsBoletin          : logi FALSE
##  $ CheckSelected      :List of 4
##  $ lnkButFechaBase    : logi FALSE
##  $ ShowFechaBase      : logi FALSE

在 JSON 中挖掘您需要的数据。我认为它在 Grid... 元素中。

关于javascript - HTML 表格不显示在源文件中，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53683792/