今日も元気にrubyist

こえ部(http://koebu.com)で投稿数が2以上のお題を抽出したいと考えた。

最初はこんな感じでやろうとしたが…

require 'mechanize'

url = 'http://koebu.com/topic/tag/男声向け'

agent = WWW::Mechanize.new
page = agent.get(url)
puts page.body.tosjis

「指定したお題が見つかりません」と言われる。どうやら

url = 'http://koebu.com/topic/tag/男声向け'

が上手く認識できてないみたいで以下のようにURLエンコードしてもダメ。

url = 'http://koebu.com/topic/tag/%E7%94%B7%E5%A3%B0%E5%90%91%E3%81%91'

よってopen-urlを使った。(原因を問い詰めないのが俺流)

• URIモジュールにutf8フラグつきの文字列を食わせたらquery_formのエンコードが化けたでござるの巻 - とあるモバイル系エンジニアの日々
• RubyのNokogiriはHTMLの日本語エンコーディングを保持しないので困る++ - きたももんががきたん。
• 【2009/01/18 11:16】

require 'open-uri'
require 'hpricot'

maxpagenum = 3
limitpost = 2

1.upto(maxpagenum) do |num|
  doc = Hpricot(open("http://koebu.com/topic/tag/%E7%94%B7%E5%A3%B0%E5%90%91%E3%81%91&page=" + num.to_s))
  (doc/%Q[li.unitTi]).each do |elem|
    if elem.inner_text.slice(%r[\((\d+)\)$], 1).to_i >= limitpost
      title = elem.to_html.slice(%r[<a href=".*?">(.*)</a>], 1)
      title = elem.inner_text
      url = "http://koebu.com/" + elem.to_html.slice(%r[<a href="(.*?)" title="], 1)
      puts title
      puts url
    end
  end
end

これでよし。

■ [mechanize]2009年Apple StoreのLucky Bag(福袋)の入荷有無を判定するスクリプト 22:52

require 'mechanize'
require 'kconv'

url = 'http://store.apple.com/jp/browse/home/specialdeals/luckybag'

agent = WWW::Mechanize.new
page = agent.get(url)

while /在庫切れ/ =~ page.body.tosjis
  puts Time.now.to_s + " 在庫切れです"
  sleep 60
  agent = WWW::Mechanize.new
  page = agent.get(url)
end

puts "入荷しました！"

exit

ちなみにこのスクリプトには致命的な欠陥があり、このままコピペしても正しく判定がされないようになっている。どこが間違いかは親切なブックマーカーが指摘してくれるかもしれない。

プログラミング初心者のid:takerunba氏もボットを作ったらしいが、ちょっとプログラムの知識があればPCの前に張り付いてブラウザの更新ボタン連打せずともAppleの福袋を買えたりするわけだ。元々のIT知識レベルにもよるが、はてな記法を使ってはてダをかけるくらい(世間から見ると)レベルが高い人となら、こんなプログラムは小説1冊読み終わるくらいの時間で書けると思う。

■ [ftp]rubyでFTP 22:19

require 'net/ftp'

ftp = Net::FTP.new
ftp.connect('[FTPサーバ名]')
ftp.login('[ユーザー名]', '[パスワード]')
ftp.binary = true
ftp.chdir('[アップロード先のパス]')
ftp.put('[アップロードするファイルのローカルパス+ファイル名]', '[アップロード先のファイル名]')
ftp.quit

net/ftp - バリケンのRuby日記 - Rubyist

ありがとうございました。

アップロードするファイルをフルパスで書かなかったのでちょっと詰まったの内緒。

ところで、net/ftpってあまり良くないって聞いたことあったけど…。気のせいかな。

■ [mechanize]mechanizeでBASIC認証 22:53

# 2008/09/09 自宅ルータのIP取得スクリプト

require 'mechanize'
require 'kconv'

# 0.初期設定
agent = WWW::Mechanize.new
agent.auth('user','password')

# 1.アクセス
page = agent.get('http://192.168.1.1/Status.htm')
puts page.body.tosjis

うちのルータのIPを自動取得したかったがあいにくBASIC認証付き。

そんなときでもmechanizeなら簡単にアクセスできます。

■ [mechanize]某投票サイトに自動で投票するスクリプト 16:12

mechanizeでラジオボタンを操作してみた。

# 2008/09/08 自動投票スクリプト

require 'mechanize'
require 'kconv'

# 0.初期設定
group = '[フォーム名]'
agent = WWW::Mechanize.new
f = open("C:/log.txt", "w") 

# 1.アクセス
page = agent.get('[URL]')

# 2.投票

form = page.forms[0]
form.radiobuttons.name('g_id')[4].check

# 3.念のため投票後のページを取得
mypage = agent.submit(form, form.buttons.first)
f.write(mypage.body.tosjis)

一部箇所は伏字にしておりますw

フォームに文字を書き込む例はたくさんあったけど、チェックボックスやラジオボタンに投票するのはあまりなかったので探すのにちょい苦労した。

Idea, Design, Engineering, Architecture, etc: Ruby: Mechanize GUIDE.txt 日本語訳

_ - きたももんががきたん。

フォームには6つのラジオボタンがあり、その5番目にチェックを入れて投票ボタンを押すスクリプト。簡単っすね。

■ [exerb][mechanize]exerbでmachanizeが動かない。 16:15

404 Not Found

exerbというrubyスクリプトをexe化できる神のようなソフト(?)があるのだが、どうやらmechanizeを使っているスクリプトはちゃんと動かないみたい。まぁ拡張ライブラリが正常に動作しないことがあるって書いてあるから仕方ないんだけどちょと残念。