pythonでスクレイピング

Pythonでもやりたいよね。
とりあえずハローワールドしてみよう。

簡易サンプルコード†

#!/usr/bin/env python

from bs4 import BeautifulSoup
import urllib.request

url = 'https://www.kantei.go.jp/'

req = urllib.request.Request(url)
with urllib.request.urlopen(req) as res:
   body = res.read()
   soup = BeautifulSoup(body.decode('utf-8'), "html.parser")
   print(soup.select("h1"))
   print(soup.select("title"))
   for x in soup.select("p"):
       print(x)

採取したものはリストで来るみたいね。

↑

実行結果†

$ req.py
[]
[<title>首相官邸ホームページ</title>]
<p>当サイトではJavaScriptを使用しております。ご利用のブラウザ環境によっては、機能が一部限定される場合があります。<br/>ブラウザの設定でJavaScriptを有効にしていただくことにより、より快適にご利用いただけます。</p>
<p class="top-lead">＃を押すことにより、関連するものに絞り込みます。</p>
:
(中略)
:
<p>首相が執務を行う首相官邸は、切り出したままの自然石、そして、強くしなやかにすっくと伸びた青い竹がシンボル。「和風」の 建築構想を大切に設計された、素材を生かした簡素で気品のある美しさがあります。</p>
$

簡易サンプルコード†

実行結果†

最新の20件