よくお魚の「脂ののりが良い」といいますが、実際例えば体脂肪率という形で計測するとどうなるのでしょうか。実はそれを測定するためにフィッシュアナライザ™という製品があり、人間用の体脂肪率計と同じ仕組みで非侵襲的な計測が可能なんだそうです。アジなどでは10%とかいうオーダーの数字とのことで、意外とスリム。
さて、Rubyを使ってWebスクレイピングをするときは、個人的にはNokogiriをよく使っています。
通常はNet::HTTPでとってきたHTMLをそのままNokogiriにぶち込めばOKなのですが、非同期での描画を行うAjaxのサイトの解析はそのままではできません。
そこで、PhantomJSのRubyフロントエンドであるPoltergeistをドライバとしてCapybaraを組み合わせると、深く考えることなく静的ページと同じ感覚で解析ができてしまいます。要は、見えないところでまるっとブラウザを動かしてしまって、DOMから仮想的なHTMLを生成させちゃってNokogiriにぶち込む…というようなアプローチです。
require 'nokogiri'
require 'capybara'
require 'capybara/poltergeist'
def wait_for_ajax(session)
# https://robots.thoughtbot.com/automatically-wait-for-ajax-with-capybara
Timeout.timeout(Capybara.default_wait_time) do
return if session.evaluate_script('jQuery.active').blank?
loop until session.evaluate_script('jQuery.active').zero?
end
end
def access(url)
Capybara.register_driver(:poltergeist) do |app|
Capybara::Poltergeist::Driver.new(app, {
js_errors: false #JSに問題があったとき例外を吐かせない。スクレイピングの際は常にfalseがいいです。
})
end
s = Capybara::Session.new(:poltergeist)
s.visit(url)
wait_for_ajax(s)
s
end
def get_html(url)
s = access(url)
html = s.html
s.reset!
s.driver.quit
html
end
#あとは普通にNokogiriにぶっこんでゴリゴリやってくだけ！
page = Nokogiri::HTML.parse(get_html(url))
page.css('body')
ちなみに、Capybara::Sessionのインスタンス（accessメソッドの戻り値）に対して、ちょうどfeature specで書くようなマッチャを使ってページに対する操作ができるので、例えば「ここをクリックすると出てくる情報を解析したい」という作業も簡単にできます。
s = access(url)
s.click('Submit')
s.find('.text') #findを呼ぶとマッチする要素が現れるまで再描画を(デフォルトで2秒間)待ってくれます。
s.html #これをNokogiriにぶち込めばOK
後ろでブラウザがまるごと動いていることの弊害と言ってはあれですが、スクレイピングにあたっては必要ではない情報も非同期でゴリゴリ取ってくることになり、負荷や時間などが増大します。
ということで、そういった必要でない情報は取ってこないようにして少しでも時間と相手サーバの負荷を低減する方法について。