投稿

5月, 2022の投稿を表示しています

アクセスの大半がBOT

 Botの利点・欠点 こういった弱小ブログとかウェブサイトとかやってると必ず目に付く物... BOT 別に1日100とか200PVもあればあまり気にならないのでしょうが、私は1週間に1人見てくれたら良い方。それくらいPV数が少ないと、どうしてもアクセスログのユーザーエージェント欄とにらめっこしてしまう。 ユーザーエージェント というのは、簡単に言うと「 どんなPCのどんなブラウザのどのようなバージョンで見ているか 」を示す文字列なんですが、多くのBot(G◯◯gleとかBlNGとか)はそこに「GoogleBot;」とか「BingBot」みたいな文字が書いてあります。ようするに、「僕はGoogleのボットだよ~」って知らせてくれているんですね。 普通の「人間」がアクセスしているPCなら、「 {ブラウザの名前/バージョン}|{OSの名前/バージョン}{その他色々} 」(例えば投稿者の場合「 Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0 」)って感じなんですが、 あまりにもBotからのアクセスが多いとアクセスログのユーザーエージェントの欄にBotの名前が大量に並ぶ のです。  「Botって何が駄目なの?」と疑問に思う方も多いでしょう。 Bot とは、タスク化された処理を自動で実行するアプリケーションを指します。インターネット上では「自動的にウェブサイトにアクセスしてデータを収集/検証するようなアプリケーション」を意味することもあります。 Botの用途は多くの場合、 検索エンジンなどがBotを利用してウェブサイトからデータを収集 し、検索結果に反映します。( クローラ とも呼ばれます) ...「多くの場合」と言いましたが、勿論例外もあります。 ウェブサイトの データをそっくりそのままコピーする Bot。コピーされたデータは不正利用されることもあり、非常に厄介です。また、 過度なアクセスによりサーバに過負荷をかける危険性 も孕んでいます。 検索エンジンなどのクローラを除けば 、百害あって一利無し 、です。 そんなBotたちですが、もろちんアクセスを拒否する方法もあります。  アクセス拒否 1.robots.txtで拒否 robots.txt は、 Botやクロー