Tips

Wayback Machine にサイトを保存させない

投稿日:

robots.txt ファイルとは? にも書いたのですが、Wayback Machine というサイトがあります。

Wayback Machine
Wayback Machine

Wayback Machine は、世界中のウェブサイトをクロールして保存し、誰でもが保存されたサイトを検索して見ることができるようになっているサービスです。1つのウェブサイトに対して、期間をおいて何度も保存するため、時系列で複数時期の姿を見ることができます(1つのウェブサイトの全てのページが保存されるわけではありません)。

これはこれで便利な面もあるのですが、自分が運営するサイトが勝手に保存されていつまでも見られるようになっていることを気持ちが悪いと思う人もいるのではないでしょうか?

しかも、保存されたページを削除させるには、削除依頼を出す必要があり結構な手間が掛かります。この点において、悪質なサービスである印象も強いです。(Google もやっていることはほとんど同じなのですが、削除方法がきちんと用意されています)

ということで、Wayback Machine に自分のウェブサイトを保存させたく場合は、新しくウェブサイトを作成した時点で robots.txt ファイルに以下を記述しておくことをお勧めします。

User-agent: ia_archiver
Disallow: /

robots.txt ファイルについては、以下のページを参照してください。

robots.txt ファイルとは?

2018.05.24

-Tips

執筆者:fitallright

関連記事

エックスサーバーのWAF機能について

エックスサーバーの WAF (Web Application Firewall) 機能について書きます。 目次1. WAF機能(エックスサーバー)の良いところ2. WAF機能(エックスサーバー)の残念 …

エックスサーバーで logrotate を使う

目次1. はじめに2. logrotate とは?3. エックスサーバーで logratote を使う手順1. logrotate 関連のファイルを配置するディレクトリを作る2. logrotate …

【VPS, クラウドサーバー】MySQL (MariaDB) が突然停止する場合は、innodb_buffer_pool_size が大きすぎるかもしれません

VPS や クラウドサーバー(OS は Linux)を借りて、MySQL (MariaDB) を使っている場合のお話しです。 目次現象調査my.cnf で innodb_buffer_pool_siz …

エックスサーバーに Node.js をインストールする

エックスサーバーは、SSH を使ってターミナルエミュレータでログインすることができますが、そのままだと Node.js が使えません。つまり、node コマンド(npm, npx も)が使えません。 …

Windows で、.htaccess(先頭がドットで始まり拡張子を持たないファイル名の)ファイルを作成する方法

レンタルサーバーでは、.htaccess ファイルを使ってサーバー側の設定を変更することが許されているものが多くあります。 そこで、この機能を利用しようと思い Windows のエクスプローラー上で …

ロリポップ!「スタンダードプラン」
さくらのレンタルサーバ「スタンダードプラン」