Python3 Webスクレイピング超入門Python で通販サイトの最低価格を比較するアプリを作るを学んだ

2019年11月26日

またUdemyのpythonスクレイピングを学んだ。

スポンサーリンク

Python3 Webスクレイピング 超入門 Python で通販サイトの最低価格を比較するアプリを作るを学んだ

Python 3 : Web スクレイピング 超入門 - Python で通販サイトの最低価格を比較するアプリを作る

https://www.udemy.com/course/python3-scraping/

スクレイピングの技術を教えているUdemyの講座は少ない。本にはあるようだがどれもAmazonレビューが良くないので購入するには至っていない。この講座は短い。時間にして1時間半。Selenium(セレニュウム)を使っていないのでログインやボタンクリックなどのないシンプルな実装になっている。細かいテクニックを補足する上ではいいのかもしれないと思った。アプリを作ると書いてあるがデプロイするところまでレッスンがないのが残念だった。

 

スクレイピングについて調べを進めているとインターネット上にあるサイトには、スクレイピングで取得できないものはないのだという。ただし禁止されているサイトも多いので法的に問題ない範疇で行わなければいけないようだ。

 

私は以前、はてなブログでブログを書いていた。しかしある時はてなブログを出禁になってしまった。せっかくはてなブログと接点を持っていたことと今回スクレイピングを学んだこともあって、はてなブログ読者数ランキングを作成しようと思った。事実、現在、スクレイピングのコードを書き終え、スクレイピングを行っている。恐らく、はてなブログの総数のなかで更新しているブログは5万ブログくらいではないかと推測する。そこから読者数300人を超すブログを抜き出したいと思う。

 

まだ走り出したばかりの企画だが、せっかくスクレイピングを学んだのだから使ってみたい。今のところプログラムは順調に動いている。この調子でいけば一日に4000件のブログの読者数を調べることができそうだ。なんと11日間でインターネット上に存在するすべてのはてなブログを調べられる計算だ。しかし思った通りには進まないのが人生。それを私の人生が物語っている。中途半端な結果に終わらないようにしないといけない。