Indeedなどの「クローリング（自動転載）」に勝手に登録されるのを防ぐ方法
自社で運営する採用ページや求人情報が、意図しない求人検索エンジンや、いわゆる「求人まとめサイト」に勝手に転載されるケースが増えています。
特に、悪質な業者が運営するサイトに自社の求人が掲載されると、情報の更新がされずに古い条件のまま放置されたり、自社のブランドイメージを損なうような文脈で掲載されたりするリスクがあります。また、最悪の場合、これらのサイトが「求人広告詐欺」の温床となり、貴社がトラブルに巻き込まれる可能性もゼロではありません。
今回は、クローリングを拒否するための技術的な対策と、悪質なサイトへの法的対処法について、弁護士の視点から解説します。
クローリングを拒否する技術的設定「robots.txt」
検索エンジンやクローラーに対して「このページを読み込まないでほしい」と伝えるための標準的な方法が、robots.txtというテキストファイルを作成し、サーバーのルートディレクトリに設置することです。
robots.txtの設定方法
自社サイトのサーバー内に「robots.txt」という名前のファイルを作成し、以下の記述を行うことで、主要なクローラーに対して巡回を拒否するよう指示できます。
User-agent: *
Disallow: /recruit/※「/recruit/」の部分は、実際に自社の求人ページが格納されているディレクトリ名に書き換えてください。
この設定を行うことで、GoogleやIndeedといった検索エンジンのクローラーは、そのディレクトリ内を読み込まなくなります。ただし、注意点として、すでにインデックス（検索結果への登録）されている情報が即座に消えるわけではありません。設定後、各プラットフォームの管理画面からURLの削除申請を行うなどのステップが必要になる場合があります。
なぜ「勝手に転載」されるのか？法的背景とリスク
Indeedなどの大手プラットフォームは、求職者の利便性向上のために「クローリング」という技術を用いてインターネット上の求人情報を収集しています。これ自体は多くのサイトで一般的ですが、問題なのは「悪質な求人サイト」による無断転載です。
こうした悪質な業者は、以下の目的でクローリングを悪用します。
- SEO目的のコンテンツ収集：他社の求人情報を無断で自社サイトに掲載し、検索順位を上げて広告収益を得る。
- 求人広告詐欺：架空の求人や古い情報を掲載し、応募者から個人情報を収集したり、求人掲載料を騙し取ったりする。
もし貴社の求人情報が詐欺サイトに掲載され、応募者から「求人内容と実態が違う」といったクレームが貴社に寄せられた場合、貴社の社会的信用が大きく低下する恐れがあります。
悪質なサイトへの対応策：技術的拒否が効かない場合
robots.txtによる拒否設定は、あくまで「良識あるクローラー」に対するお願いに過ぎません。悪意を持って情報をスクレイピング（抽出）している業者や、法を無視する詐欺サイトは、この設定を意図的に無視します。
もし、貴社の求人情報が勝手に転載され、実害が出ている場合は、以下の手順で対応を検討してください。
1. サイト運営者への削除依頼（通知書送付）
まず、サイト内の「お問い合わせフォーム」や「運営者情報」を確認し、掲載の取り消しを求めるメールを送ります。改善されない場合は、弁護士名義で「送信防止措置依頼書」や「掲載削除請求書」を送付することが非常に有効です。
2. サーバー管理者・ドメイン登録者への通報
運営者と連絡がつかない場合、Whois情報を調査し、そのサイトをホスティングしているサーバー会社や、ドメイン管理会社に対して「違法なコンテンツである」として通報を行います。
3. 警察および専門機関への相談
求人広告詐欺の疑いがある場合は、管轄の警察署のサイバー犯罪相談窓口や、消費者庁の「不当表示相談窓口」へ相談してください。
まとめ：自社を守るための「予防」と「毅然とした対応」
デジタル社会において、自社の情報を完全にコントロールすることは困難ですが、robots.txtによるクローリング制限は最低限の防衛策として必ず実施しておくべきです。
しかし、技術的な対策だけでは防げない悪質なケースも存在します。万が一、貴社の求人情報を悪用した詐欺サイトによって被害が発生しそうな場合、あるいは既にトラブルに巻き込まれている場合は、放置せずに早急に弁護士へ相談してください。
特に、「求人広告の無料掲載」を謳いながら、後から多額の請求を行うようなトラブルに発展している場合は、契約の無効や請求の拒絶など、法的な防御策を講じる必要があります。自社のブランドを守るためにも、毅然とした対応を心がけましょう。
