wget でスクレーピング

Unixのツールとのことでしたが、Windowsでもいけるんですね。(cygwinなしでもOK)

Windowsでwgetを使う方法

ftp://sunsite.dk/projects/wget/windows/
のFTPサイトからバイナリデータを2つ拝借。

• ssllibs097c.zip
• wget20040408b.zip

解凍したファイル群をすべて同じフォルダに移して、コマンドプロンプトで以下を入力

"wget (URLとか欲しいファイルまでのURI)"
例：wget http://weather.is.kochi-u.ac.jp/FE/00Latest.jpg

すると先ほどのフォルダの中にjpgファイルが収まってます。

早い・簡単・便利！


wget URLを指定するとHTMLファイルがとれます。

あとはお好みで加工していきます。