如何復制網頁上的文字內容 -有解無憂

有一個關于天氣資料的ogimet網頁。我相信這些資料是免費使用的。該網頁提供了一個請求表面觀測資料的腳本，其內容如下

。

curl "http://www.ogimet.com/cgi-bin/getsynop?block=123&begin=200912010000&end=200912040000"/span> -o "your_desired_file_name"/span>

我能夠為我的地區使用這個資料。除此以外，我還想訪問高層空氣觀測資料。沒有提供訪問該資料的腳本。它可以通過以下鏈接手動訪問，例如一個站的資料

。

https://www.ogimet.com/display_sond.php? lang=en&lugar=63741&tipo=ALL&ord=DIR& nil=SI&fmt=html&ano=2021&mes=09&day=02&。 hora=19&anof=2021& mesf=09&dayf=03& horaf=19&send=send。

這給了我文本內容，如截圖圖附。我想知道，一旦我到達這個頁面，是否有可能使用Perl腳本來復制這些文本。不幸的是，我沒有任何最低限度的作業實體，我可以試試。

uj5u.com熱心網友回復：

是的，你可以像這樣從網頁上收獲（"刮取"）資料。下面是一個粗略的路線圖。

通常情況下，你會獲得該網頁--從網路服務器上檢索出一個包含該網頁HTML的字串--使用一個工具，如 LWP::UserAgent Mojo::UserAgent。然后決議HTML以提取感興趣的資料，使用一個類似于 Mojo::DOM。或 HTML::TreeBuilder

這里有許多關于使用這些工具（以及其他工具）的帖子。這里有一個用Mojo::DOM在Perl.com文章中的圓形例子。

如果該網頁使用 JavaScript 來顯示您感興趣的資料，那么這將是一個不同的游戲。這意味著從服務器下載到你的瀏覽器的HTML也包含了JavaScript代碼--程式--它們可以直接在瀏覽器中運行。當你點擊（或懸停等）頁面上的元素時，它們就會被觸發，并重新制作頁面，而無需回到服務器上。

這是一個非常（過度）簡化的解釋，但重點是這些庫需要理解 JavaScript，以便將最后一個頁面交給你進行決議，否則你將只得到最后來自服務器的 HTML。但是上面鏈接的主要庫并不了解任何 JavaScript；它們只是通過 HTTP 轉到服務器，并將服務器回傳的內容交給你。

對于了解 JavaScript 的工具，我推薦 Selenium，它是用來測驗網頁的，但也完全適用于這項作業，它本身就是用 JavaScript 撰寫的。在Perl中使用它的一個方法是使用Selenium::Chrome。 (或 ::Firefox），以及 Selenium::Remote::Driver。

uj5u.com熱心網友回復：

下面是一個使用Mojo::DOM的例子 :

use feature qw（say）。
use strict;
使用警告。
use LWP::UserAgent;
use Mojo::DOM;

my $ua = LWP::UserAgent->new（）。
my $url = 'https://www.ogimet.com/display_sond.php? ' .
  'lang=en&lugar=63741&tipo=ALL&ord=DIR&nil=SI&fmt=html' 。
  '&ano=2021&mes=09&day=02&hola=19&anof=2021&mesf=09&dayf=03&horaf=19&send=send'。
my $res = $ua->get( $url );
if ($res->is_success) {
    die $res-> status_line;
}
my $html = $res-> content;
my $dom = Mojo::DOM->new（$html）。
my @tables_raw_txt = $dom->find('table') -> map('all_text')-> each;
say $tables_raw_txt[1] 。
say "--------------- TABLE DATA --------------
"。
say $tables_raw_txt[2] 。

輸出：

63741, Nairobi / Dagoretti（肯尼亞）。
國際民航組織索引：HKNC。緯度01-18S。經度036-45E。海拔1798米。

--------------- TABLE DATA --------------

 來自63741, Nairobi / Dagoretti（肯尼亞）的TEMP/PILOT
TTAA
02/09/2021 23: 00->
TTAA 52231 63741 99822 14818 14003 70132 0700 8 20507 50584 03975
     01508 40756 15970 09018 30967 31160 21008 25094 41557 23506
     20241 53358 22511 15421 66958 14023 10658 76556 09013 88104
     76957 13519 77999 31313 47708 82323=

TTBB
02/09/2021 23:00->
TTBB 52238 63741 00822 14818 11800 12407 22793 12006 33661 04001
     44645 02 800 55614 02009 66589 01445 77568 00717 88552 00 960
     99526 02366 11513 04160 22500 03975 33450 08773 44389 17571[/span].
     55380 17978 66349 21969 77300 31160 88284 33964 99255 40360
     11200 53358 22142 69558 33128 73757 44114 74556 55104 76957
     21212 00822 14003 11569 31016 22522 01503 33398 09019 44359
     08541 55277 24503 66211 25513 77134 12035 88108 15526 31313
     47708 82323 41414 7543/=

TTCC
02/09/2021 23:00->
TTCC 52237 63741 70867 72760 32520 88999 77999 31313 47708 82323=

淘寶網
02/09/2021 23:00->
TTDD 5223/ 63741 11877 74556 22831 68956 33700 72760 21212 11908 >。
     07010 22729 30529 33652 00000 44543 20020 31313 47708 82323=

uj5u.com熱心網友回復：

OGIMET網站支持TXT格式的資料。這是一個使用regex來提取所需資料的問題。

如果Mojo::DOM模塊不可用，可以用這種方式提取資料。

Perl腳本利用哈希%params代表OP的問題中指定的位置和日期。通過添加模塊Getops::Long，每個引數都可以在命令列上進行單獨調整。

注意：該腳本接受一個引數車站ID

。

use strict;
use warnings;
use feature 'say';

使用LWP::UserAgent。

my $station = shift;

my $url = 'https://www.ogimet.com/display_sond.php?'/span>;
my @params;
my %params = (
            'lang' => 'en', / language
            'lugar' => 63741, /車站
            'tipo' => 'ALL', / 報告型別
            'ord' => 'DIR', / sort順序
            'nil' => 'SI', / 空報告 - SI（是）。
            'fmt' => 'txt', / format
            'ano' => 2021, / 年份
            'mes' => 9, /月
            'day' => 2, /日
            'hora' => 19, / 小時
            'anof' => 2021, //年
            'mesf' => 9, /月
            'dayf' => 3, /日
            'horaf' => 19, / 小時
            'send'=> 'send'
        );

$params{lugar} = $station if defined $station;

while( my($k,$v) = each %params ) {
    push @params, "$k=$v"/span>;
}

$url .= join('& ',@params);

my $ua = LWP::UserAgent->new（）。
my $res = $ua->get( $url );

if (!$res->is_success) {
    die $res-> status_line;
}

my($data) = $res->content =~ m!<pre>(.*?)</pre>! gs;

say $data。

輸出

##########################################################
# Query made at 09/04/2021 05:13:47 UTC。
# Time interval: from 09/02/2021 19:00 to 09/03/2021 19:00 UTC 
##########################################################

##########################################################
# 63741, Nairobi / Dagoretti (Kenya).
# IACO指數。HKNC
# 緯度01-18S。經度036-45E。海拔1798米。
##########################################################

##################################################
# TEMP/PILOT from 63741, Nairobi / Dagoretti (Kenya)。
##################################################
202109022300 TTAA 52231 63741 99822 14818 14003 70132 0700 8 20507 50584 03975
                  01508 40756 15970 09018 30967 31160 21008 25094 41557 23506
                  20241 53358 22511 15421 66958 14023 10658 76556 09013 88104
                  76957 13519 77999 31313 47708 82323=
202109022300 TTBB 52238 63741 00 822 14818 11800 12407 22793 12006 33661 04001
                  44645 02 800 55614 02009 66589 01445 77568 00717 88552 00 960
                  99526 02366 11513 04160 22500 03975 33450 08773 44389 17571[/span].
                  55380 17978 66349 21969 77300 31160 88284 33964 99255 40360
                  11200 53358 22142 69558 33128 73757 44114 74556 55104 76957
                  21212 00822 14003 11569 31016 22522 01503 33398 09019 44359
                  08541 55277 24503 66211 25513 77134 12035 88108 15526 31313
                  47708 82323 41414 7543/=
202109022300 TTCC52237 63741 70867 72760 32520 88999 77999 31313 47708 82323=
202109022300 TTDD 5223/ 63741 11877 74556 22831 68956 33700 72760 21212 11908 >。
                  07010 22729 30529 33652 00000 44543 20020 31313 47708 82323=

轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/311331.html

標籤：

上一篇：如何在perl中減去日期并轉換為分鐘和小時？

下一篇：如何在centos7perlv5.34.0中安裝DBD-SQLite？