Excel VBA 网页抓取 - VBA

在 Excel 中，我们可以使用 VBA（Visual Basic for Applications）来抓取网页数据。VBA 提供了一些内置函数和对象，方便我们获取网页内容和处理数据。

获取网页内容

使用 Web 浏览器对象

使用 VBA 内置的 InternetExplorer 对象，我们可以模拟浏览器的行为，打开一个网页并获取其中的内容。

Sub GetWebPage()
    Dim ie As Object
    Set ie = CreateObject("InternetExplorer.Application")
    ie.Visible = True
    ie.Navigate "https://www.example.com"
    Do While ie.Busy
        Application.Wait DateAdd("s", 1, Now)
    Loop
    Debug.Print ie.Document.DocumentElement.outerHTML
    ie.Quit
End Sub

这个例子中，我们创建了一个 InternetExplorer 对象，打开了一个网页，等待网页加载完成后获取了网页的 HTML 内容，并打印到了调试窗口中。

使用 HTTP 请求

除了使用 Web 浏览器对象外，我们还可以使用 VBA 内置的 XMLHTTP 对象来发送 HTTP 请求，获取网页内容。

Sub GetWebPageHTTP()
    Dim http As Object
    Set http = CreateObject("WinHttp.WinHttpRequest.5.1")
    http.Open "GET", "https://www.example.com", False
    http.Send
    Debug.Print http.responseText
End Sub

这个例子中，我们创建了一个 XMLHTTP 对象，使用 GET 方法发送了一个 HTTP 请求，获取了网页内容，并打印到了调试窗口中。

处理网页数据

获取到网页内容后，我们可以使用 VBA 提供的字符串操作函数和正则表达式对象，对网页数据进行处理。

使用字符串操作函数

对于简单的字符串操作，我们可以使用 VBA 提供的字符串操作函数，如 InStr、Left、Right、Mid、Replace 等。

Sub GetLinksFromWebPage()
    Dim ie As Object
    Set ie = CreateObject("InternetExplorer.Application")
    ie.Visible = True
    ie.Navigate "https://www.example.com"
    Do While ie.Busy
        Application.Wait DateAdd("s", 1, Now)
    Loop
    Dim links As String
    links = ie.Document.DocumentElement.outerHTML
    Dim start As Long
    start = InStr(links, "<a href=")
    While start > 0
        Dim endHref As Long
        endHref = InStr(start, links, ">")
        Dim href As String
        href = Mid(links, start + 9, endHref - (start + 9))
        Debug.Print href
        start = InStr(endHref, links, "<a href=")
    Wend
    ie.Quit
End Sub

这个例子中，我们获取了一个网页的内容，然后使用 InStr 函数和 Mid 函数，逐个获取网页中的链接。

使用正则表达式

对于复杂的字符串操作，我们可以使用 VBA 内置的正则表达式对象，来进行更加灵活的处理。

Sub GetEmailsFromWebPage()
    Dim http As Object
    Set http = CreateObject("WinHttp.WinHttpRequest.5.1")
    http.Open "GET", "https://www.example.com", False
    http.Send
    Dim html As String
    html = http.responseText
    Dim regEx As New RegExp
    regEx.Global = True
    regEx.Pattern = "\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}\b"
    Dim matches As Object
    Set matches = regEx.Execute(html)
    Dim i As Long
    For i = 0 To matches.Count - 1
        Debug.Print matches.Item(i)
    Next i
End Sub

这个例子中，我们使用了正则表达式对象 Regexp，来匹配网页中的电子邮件地址。

总结

通过使用 VBA，在 Excel 中实现网页抓取是非常方便的。我们可以使用 Web 浏览器对象或 HTTP 请求获取网页内容，然后使用字符串操作函数或正则表达式进行数据处理。这样，我们就能够轻松地获取网页数据，并在 Excel 中进行分析和处理。