バリケンのRuby日記 RSSフィード

2008-03-30

[][] Googleニュースを使ってチベット関連のニュースを抜き出す  Googleニュースを使ってチベット関連のニュースを抜き出す - バリケンのRuby日記 を含むブックマーク はてなブックマーク -  Googleニュースを使ってチベット関連のニュースを抜き出す - バリケンのRuby日記  Googleニュースを使ってチベット関連のニュースを抜き出す - バリケンのRuby日記 のブックマークコメント

久しぶりにRubyHTMLスクレイピングをやってみるよ。Windowsで次のようなスクリプトを書いてRubyで実行すると、

$KCODE = 's'

require 'open-uri'
require 'cgi'

require 'rubygems'
require 'hpricot'

search_word = CGI.escape('チベット')
uri = URI.parse("http://news.google.co.jp/news?hl=ja&ned=jp&q=#{search_word}")

news_page = Hpricot.parse(uri.read)

news_page.search("div.lh a") {|e| puts(e.inner_text, e["href"]) }

次のような結果になるよ。

C:\ruby>ruby tibetnews.rb
中国側の説明「不十分」 チベット視察の日本公使
http://www.chunichi.co.jp/s/article/2008033001000555.html
チベット暴動:死者中3人は「暴徒」--自治区主席
http://mainichi.jp/select/world/news/20080330ddm007030028000c.html
中国側見解に沿う回答に終始 チベット視察外交団
http://sankei.jp.msn.com/world/china/080330/chn0803300130000-n1.htm
14日の暴動でデモ側死者3人、チベット自治区当局が認める
http://www.yomiuri.co.jp/world/news/20080330-OYT1T00103.htm
FNN
http://www.fnn-news.com/news/headlines/articles/CONN00129974.html
時事通信
http://www.jiji.com/jc/c?g=pol_30&k=2008032801000
関連記事 59 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1134563168
中国当局、四川のチベット仏教寺院で銃など押収・新華社報道
http://www.nikkei.co.jp/news/kaigai/20080330AT2M3000730032008.html
2008/03/30-18:31 チベット寺院で銃30丁押収=暴動発生の四川省アバ県-中国
http://www.jiji.com/jc/c?g=int_30&k=2008033000153
チベット暴動:仏教寺院で銃30丁押収…中国当局発表
http://mainichi.jp/select/world/europe/news/20080330k0000e030011000c.html
チベット暴動:「僧侶100人拘束」NGO発表--四川省・チベット仏教寺院
http://mainichi.jp/select/world/news/20080329dde007030073000c.html
日本経済新聞
http://www.nikkei.co.jp/news/kaigai/20080329AT2M2803E28032008.html
時事通信
http://www.jiji.com/jc/c?g=int_30&k=2008032900167
関連記事 34 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1132903465
チベット人113人を拘束 ネパール、反中国デモで
http://www.chunichi.co.jp/s/article/2008033001000602.html
チベット人84人を拘束 ネパールで中国に抗議デモ
http://www.chunichi.co.jp/s/article/2008032901000697.html
ネパールでデモ 少年ら60人拘束 チベット問題
http://www.tokyo-np.co.jp/article/world/news/CK2008032902099263.html
抗議の18人が国連事務所に ネパール
http://sankei.jp.msn.com/world/europe/080328/erp0803282236010-n1.htm
関連記事 26 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1135034168
2008/03/30-01:07 中国はチベットと対話を=五輪問題は言及せず-EU
http://www.jiji.com/jc/c?g=int&k=2008033000006
チベット暴動:「建設的対話を」 EUの外相理事会が声明
http://mainichi.jp/select/world/news/20080330ddm007030030000c.html
「五輪」言及せず対話要請 チベット問題でEU外相
http://www.nishinippon.co.jp/nnp/world/20080330/20080330_002.shtml
EU外相会合、チベット問題で対話促す 五輪問題触れず
http://www.asahi.com/international/update/0330/TKY200803290293.html
中日新聞
http://www.chunichi.co.jp/article/world/news/CK2008033002099508.html
毎日新聞
http://mainichi.jp/select/world/europe/news/20080330k0000m030051000c.html
関連記事 27 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1135449164
EU外相理事会、中国・チベットの対話を
http://www.nikkansports.com/general/news/f-gn-tp1-20080329-341900.html
EU チベット弾圧中止を要求へ
http://sankei.jp.msn.com/world/china/080329/chn0803292327010-n1.htm
チベット暴動:北京五輪開会式、ドイツも閣僚欠席
http://mainichi.jp/select/world/news/20080329ddm007030156000c.html
独首相は五輪の開会式を欠席 「チベット」とは無関係(03/28
http://www.hokkaido-np.co.jp/news/international/84127.html
西日本新聞
http://www.nishinippon.co.jp/nnp/world/20080330/20080330_001.shtml
日本経済新聞
http://www.nikkei.co.jp/kaigai/eu/20080328D2M2803F28.html
関連記事 119 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1134415127
ラサで再び大規模デモ、チベット亡命政府発表
http://www.nikkei.co.jp/news/kaigai/20080330AT2M2902B29032008.html
チベット暴動:ラサで再びデモ 数千人規模、亡命政府が発表
http://mainichi.jp/select/world/news/20080330ddm001030007000c.html
ラサで数千人規模のデモか チベット亡命政府発表
http://www.tokyo-np.co.jp/s/article/2008032901000804.html
ラサで数千人規模のデモが発生…チベット亡命政府
http://www.yomiuri.co.jp/world/news/20080330-OYT1T00082.htm
朝日新聞
http://www.asahi.com/international/update/0329/TKY200803290275.html
MSN産経ニュース
http://sankei.jp.msn.com/world/china/080330/chn0803301854007-n1.htm
関連記事 43 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1135402042
チベット暴動:ダライ・ラマ14世「中国からの接触待つ」
http://mainichi.jp/select/world/europe/news/20080330k0000m030077000c.html
米豪首脳、チベット情勢に懸念
http://sankei.jp.msn.com/world/america/080329/amr0803290951005-n1.htm
米豪首脳が中国に対話促す チベット情勢で
http://www.tokyo-np.co.jp/s/article/2008032901000158.html
ダライ・ラマ会見、「銃で調和発展せず」・中国政府の対応批判
http://www.nikkei.co.jp/news/kaigai/20080330AT2M2901V29032008.html
中日新聞
http://www.chunichi.co.jp/s/article/2008032901000793.html
MSN産経ニュース
http://sankei.jp.msn.com/world/china/080328/chn0803281959006-n1.htm
関連記事 63 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1134186182
EU非公式外相会合、チベット騒乱で中国に平和的解決要求
http://www.nikkei.co.jp/kaigai/eu/20080329D2M2900K29.html
首相「声高な批判、適当ではない」・チベット騒乱で
http://www.nikkei.co.jp/news/seiji/20080330AT3S2900N29032008.html
首相の「対中融和」路線を象徴 チベット問題で欧米と一線
http://sankei.jp.msn.com/politics/policy/080329/plc0803292344009-n1.htm
【ウイークリーワールド】外国報道陣が見たチベット・ラサ
http://sankei.jp.msn.com/world/china/080329/chn0803291600001-n1.htm
朝日新聞
http://www.asahi.com/international/update/0328/TKY200803280402.html
日本経済新聞
http://www.nikkei.co.jp/news/main/20080328AT2M2702Q27032008.html
関連記事 11 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1134545981
USA TODAY チベット騒乱で“糾弾” 「IOCはなぜ沈黙する」
http://sankei.jp.msn.com/world/america/080329/amr0803292244017-n1.htm
2008/03/29-12:38 五輪の北京開催は「間違い」=チベット問題で中国批判-米下院議長
http://www.jiji.com/jc/c?g=int_30&k=2008032900198
北京五輪開催は「誤り」米下院議長が声明、ボイコットは反対
http://www.sanspo.com/shakai/top/sha200803/sha2008033003.html
五輪開催地に中国選んだIOCを批判、ペロシ米下院議長
http://www.cnn.co.jp/sports/CNN200803290006.html
デイリースポーツ
http://www.daily.co.jp/newsflash/2008/03/28/0000894502.shtml
日本経済新聞
http://www.nikkei.co.jp/news/kaigai/20080329AT2M2901129032008.html
関連記事 31 件??
http://news.google.co.jp/news?hl=ja&ned=jp&ie=Shift_JIS&ncl=1135224233
チベットは「自国の問題」・中国首相
http://www.nikkei.co.jp/news/kaigai/20080330STXKA014330032008.html

C:\ruby>

このスクリプトを書くにはDOMインスペクタとかHpricotライブラリの使い方とかCSSセレクタとかの知識が要るけど、解説はまた今度。

トラックバック - http://rubyist.g.hatena.ne.jp/muscovyduck/20080330