robots.txtでクロールを禁止する

BtoBアプリならWEB全体を禁止に設定したりしますね。
ドキュメントルートに「robots.txt」に以下を記述。

User-agent: *
Disallow: /

Google Search Consoleの設定から確認もできますが、公開禁止にしたものをGoogle Search Consoleに登録するのも変な話ですね。