返信の受付は終了いたしました。
-
-
- 読み込み中...
ご回答ありがとうございます！
例えが非常にわかりやすくて、疑問が解決しました！
meta+.htaccessはクローラーに家のルールを読んでもらって公開リスト入れないでねって伝えた上で出禁にする措置なんですね…！！そして.htaccessに記載されていないすり抜けクローラーにもmetaが効くからインデックスされなくて済む…！
併用をおすすめされる理由がとてもとてもよくわかりました。。。
お知恵を貸してくださりありがとうございました！早速設置してまいります。 -
役割がごっちゃになってるので整理しましょう。
クローラーは家を一件ずつ訪ねて公開リストを作る人のイメージで、
robots.txtは｢うちを覗かれないようにするカーテン｣(中は見られませんが、｢カーテンのしまった家｣の存在はリストに書かれてしまう)
noindex等は｢うちをリストに足さないでください、家の中を歩き回らないでください｣(家に来るなとは言えてない、家の中のルールの話)
.htaccessは名指しで敷地出禁(名指されてない新顔は普通に来る)
なので、.htaccessをすり抜けサーバーに入られた場合でも、robots.txtではサイトの存在に勘づかれてしまうので、併用NGなんです。
ここでのことは忘れてもらうと言わんばかりにmetaタグを併用し、その後出禁にすれば良いということになります。