ROBOTS

検索エンジンの巡回クロールを回避する方法

サイトの運営をしていく中で、サイトが公開前の準備段階である場合や管理画面URLなど、検索エンジンにクロールされては困る状況があると思いますが、そういった時はHTMLの「metaタグ」による設定方法や「robots.txt」を利用してそれらを...