日記
自前の更新チェックを追加 (15:37)Edit

blogmapは基本的に、他のアンテナ・pingサイトから取得した更新時刻情報を使って、各blogサイトが更新されたかどうかを確認し、更新が確認できたサイトに対してのみ巡回を行っているわけだけど、それだと他のアンテナ・pingサイトから更新情報を取得できなくなってしまった場合に、クローリングできないことになってしまう。それはそれでいいかと思っていたんだけど、やっぱりそういう場合でも更新されているところには巡回した方がいいような気もしてきたんで、自力で更新チェックをしつつ巡回する機能を追加。48時間以上更新が確認できなかったサイトには、自動的に更新チェックを兼ねた巡回を行う。ただ、毎回48時間おきというわけではなく、巡回時に最終更新日をチェックして、最終更新から現在までの更新されていない期間に応じて、更新頻度を調整する。要は、長く更新されていないサイトには、滅多に更新チェックには行かなくなる。ただし、アンテナやpingを通して新しく更新を確認できた場合は、通常の巡回処理対象に戻る。というわけで、なにやらそういう処理が追加されたという報告兼メモでした。

Published At2004-12-31 00:00Updated At2004-12-31 00:00