gpt4 book ai didi

powershell网络蜘蛛解决乱码问题

转载 作者:qq735679552 更新时间:2022-09-29 22:32:09 34 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章powershell网络蜘蛛解决乱码问题由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

抓取(爬取)网上信息的脚本程序,俗称网络蜘蛛。 powershell中自带了这样的两个命令,【Invoke-WebRequest】和【Invoke-RestMethod】,但这两个命令有时候会乱码.

现在转帖分享, 某个【歪果仁】写的脚本。来源于 墙外出处: https://gist.github.com/angel-vladov/9482676 。

核心代码 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
function Read -HtmlPage {
param ([Parameter(Mandatory= $true , Position=0, ValueFromPipeline= $true )][String] $Uri )
 
# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest] $WebRequest = [Net.WebRequest]::Create( $Uri )
[Net.HttpWebResponse] $WebResponse = $WebRequest .GetResponse()
$Reader = New-Object IO.StreamReader( $WebResponse .GetResponseStream())
$Response = $Reader .ReadToEnd()
$Reader .Close()
 
# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc .IHTMLDocument2_write( $Response )
 
# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc
 
#powershell 传教士 转帖并修改的文章 2016-01-01, 允许再次转载,但必须保留名字和出处,否则追究法律责任
 
}

原文函数 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
function Read -HtmlPage {
   param ([Parameter(Mandatory= $true , Position=0, ValueFromPipeline= $true )][String] $Uri )
 
   # Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
   [Net.HttpWebRequest] $WebRequest = [Net.WebRequest]::Create( $Uri )
   [Net.HttpWebResponse] $WebResponse = $WebRequest .GetResponse()
   $Reader = New-Object IO.StreamReader( $WebResponse .GetResponseStream())
   $Response = $Reader .ReadToEnd()
   $Reader .Close()
 
   # Create the document class
   [mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
   $Doc .IHTMLDocument2_write( $Response )
  
   # Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
   $Doc
}

PowerShell function you can use for reading UTF8 encoded HTML pages content. The built in Invoke-WebRequest and Invoke-RestMethod fail miserably. 。

原文链接:http://www.cnblogs.com/piapia/p/5093201.html 。

最后此篇关于powershell网络蜘蛛解决乱码问题的文章就讲到这里了,如果你想了解更多关于powershell网络蜘蛛解决乱码问题的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

34 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com