Nutchを使おうと考えていたんだけど、自分の作りたいアプリケーションとNutchの相性が良くない。特定のURLのみ扱いたくて、なおかつその特定のURLが膨大な数になる。Nutchを使うと、全てのURLを設定ファイルに記述しなければ行けなくなるし、別々に処理したい。さらに、そのURLは頻繁に更新されるから、Nutchが要件にあわない。 さて、どうしようか。サイトをRailsで作ろうかと考えているから、Rubyで書いてしまうか。でも、そこにあんまり力を入れたくないのも会ってかなり躊躇してる。さてどうしたものか。。。おすすめのクローラーがあったら教えてください。