サブドメインのページを検索エンジンに引っかからなくする

検索で出ないようにする。robots.txtはやったほうがよく、Google Search Consoleは任意。

robots.txtの設定

ルートにrobots.txtを作成し、以下を記述してクローラをブロック

User-agent: *
Disallow: /
Sitemap: https://your-subdomain.example.com/doku.php?do=sitemap

全ページをDisallowし、検索エンジンのクローリングを停止。

Google Search Consoleの活用

Search Consoleでサブドメインを登録し「noindex」タグを適用する。またはサイトマップ送信を停止する。

やらなくても良いがやったほうが確実。

（Dokuwiki限定）conf/local.phpファイルの設定

Dokuwikiの場合はやったほうが良い。
下記を追加する。

indexdelay = 0;  （インデックスを許可しない）
userewrite = 1;  （URL書き換え有効）

クローラの頻度を抑え、SEO関連のメタを最小化。