robots.txt とは
サイトの一番上（https://example.com/robots.txt）に置く小さなテキストファイルで、
検索エンジンのロボットに「どこを見に来てよいか」を伝えます。
正しく使えば、管理画面や検索結果ページなど載せる意味のないURLへのクロールを省け、
本当に見てほしいページに回してもらえます。
いちばん怖い事故：全ページ禁止のまま公開
制作中に Disallow: /（全ページ禁止）にしておき、
公開時に戻し忘れる——これでサイトごと検索から消える事故が、実際にとても多いです。
このツールは「サイト全体をクロール禁止」を選ぶと、赤い警告を出すようにしています。
非公開にする機能ではありません
robots.txt は「読みに来ないでね」というお願いにすぎません。
禁止したページでも、他サイトからリンクされていればURLだけ検索結果に出ることがあります。
本当に隠したいものは、robots.txt ではなく、ログインや noindex、アクセス制限で守ってください。
このツールについて
入力内容はブラウザの中だけで処理され、サーバーに送信されることはありません。