Home

日記
URLの圧縮Edit

url_compressを見て、ふと気になって今まで1470.netのデータベースに保存されたURLの情報を調べてみた。1470.netのデータベース上では、

http://example.com/foo/bar?baz=hoge#fuga

みたいなURLを、

という形式に分解して保存している。これもURLに関する情報量を圧縮するのが目的ね。

で、今まで収集したURLごとに、上記に分解した要素がどの程度重複するのか見てみた。

  • URL総数: 12,922,530
  • protocol: 2 (httpとhttpsのみ収集対象としているので)
  • hostname: 580,683
  • path: 8,572,046
  • querystring: 2,352,518
  • fragment: 545,343
1470.netで収集対象としているURLがある程度偏っているというのはあるだろうけど、実際に使われているURLの特徴がなんとなく見える気がする。

Published At2010-10-21 15:52Updated At2010-10-21 15:52

日記
1470.netへの削除依頼についてEdit

1470.net上のアカウントwhikkyさんが投稿されたメモについて、削除依頼が来ています。ブックマークされたURL自体はすでに消えていてよくわからないんですが、ググるとhttp://www.tohoku.meti.go.jp/s_syohisha/topics/090807.htmlに関連した話題のようで、内容自体はそれなりに正しい内容が含まれているようにも見えるんですが、

  • もともとのブックマーク先URLが消えている
  • タグに個人名やネガティブワードが含まれている
  • whikkyさんはこの関連メモしか投稿しておらず、whikkyさんがログインに使ったtypekeyアカウントをたどっても、そのアカウントを常用している気配がないので、何となく捨てアカウントっぽく見える
  • 私自身はこの話題には特に興味がない
という理由で、今月(2010年10月)中にwhikkyさんから連絡がなかった場合は、該当のデータを削除してしまうつもりです。というわけですので、削除されたくない場合はwhikkyさん、私宛に連絡ください。削除要求を出している方の連絡先を教えますので、直接話し合ってもらいます。

削除しました@2010/11/01

whikkyさんから特に連絡がなかったので、削除要求にあった文言が含まれるメモタイトルおよびタグ、グループを削除しました。

Published At2010-10-27 16:33Updated At2010-10-27 16:33