生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘さ ...

Twitter（現・X）で、Google以外の検索エンジンのクローラーを巡回させないよう設定されたことが判明して波紋を呼んでいる。 これはTwitterが設置している「robots.txt」ファイルに7月25日ごろに加えられた変更によるもので、GoogleのクローラーであるGooglebotだけ ...

Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれる ...