すべてのはてなブログおよそ5万件超の読者数ランキングを作ることについて
まず、前回ブログに上げたはてなブログ読者数ランキング2019【暫定版】は暫定版とします。正確なデータを収集でき次第、刷新更新します。
すべてのはてなブログおよそ5万件超の読者数ランキングを作ることについて
完成版を作るにあたって、今日恐らく完成したであろうクローリング＆スクレイピングのプログラムを使って、はてなブログのデータ収集可能なすべてのブログをランキングにしたいと思う。その数5万件超（個人的な推定）。ただし、読者数が0もしくは、aboutページのないブログは値の収集ができないためランキングには掲載できないこととする。それについては私の技術不足。もっともっと実直に精進したいと思う。
つまり5万件とはいえ、すべてのランキングを作成できるわけではなく、おそらくクローラーが収集できる範囲（aboutページがあるブログ）ｎ万件のはてなブログの読者数をデータベースに保存して、それを元に順位付けしたいと思っている。
作ったクローラーの仕組みは単純で起点となる複数のブログから、そのブログの読者のブログのデータを収集して、更にそのブログの読者のデータを収集して・・・といった具合に、ブログが存在しなくなるまでクローラーがスクレイピングを続けるといったプログラム。それに加えてデータを入れるデータベースには一度取得した同一のURLなら重複させないようにしているので、同じブログのデータは入らないようにしてある。起点となるブログを複数用意すれば、誰の読者にもなっていないブログ以外はクローラーが巡回できるというわけだ。
目下、手探り状態ではあるが、何か解決できない不具合が出ない限り達成できるのではないかと思う。そもそもはてはブログ運営が読者数ランキングを作成しないのは理由あってのことだ。私もできることならはてなブログに戻ってブログを書きたいが下ネタで追い出された身、もはや叶わぬ夢なのだ。はてなブログに恨みはないが私のせめてもの償いにさせてもらいたい、そんな心境だ。