blogmapでmainichi-msnのページのタイトル文字列を取得しようとすると、curlベースで作ったライブラリでHTTP GETするのに失敗する。timeoutを短めに設定しているんで、もっと待ったら成功するのかもしれないけど、少なくとも数秒程度ではアクセスできない。

ググったら、curlやw3mではうまくアクセスできないらしい（DNS解決周りの問題？）んで、curlを使うのをやめて、PEARのHTTP_Requestベースに書き直したら、ちゃんとタイトルを取得できるようになった。ついでに、クローラーがcontent-encoding: gzipに対応するようになったけど、どのくらい意味があるかな？