robots.txt ファイルとは? にも書いたのですが、Wayback Machine というサイトがあります。

Wayback Machine は、世界中のウェブサイトをクロールして保存し、誰でもが保存されたサイトを検索して見ることができるようになっているサービスです。1つのウェブサイトに対して、期間をおいて何度も保存するため、時系列で複数時期の姿を見ることができます(1つのウェブサイトの全てのページが保存されるわけではありません)。
これはこれで便利な面もあるのですが、自分が運営するサイトが勝手に保存されていつまでも見られるようになっていることを気持ちが悪いと思う人もいるのではないでしょうか?
しかも、保存されたページを削除させるには、削除依頼を出す必要があり結構な手間が掛かります。この点において、悪質なサービスである印象も強いです。(Google もやっていることはほとんど同じなのですが、削除方法がきちんと用意されています)
ということで、Wayback Machine に自分のウェブサイトを保存させたく場合は、新しくウェブサイトを作成した時点で robots.txt
ファイルに以下を記述しておくことをお勧めします。
User-agent: ia_archiver
Disallow: /
robots.txt
ファイルについては、以下のページを参照してください。