AhrefsBot

Ahrefs を強化する Web クローラーについて学ぶ。

バージョン
7.0
Bot タイプ
Good(自らを識別し、公式な呼称がある)
カテゴリ
マーケティング
robots.txt に従う
はい
クロール遅延に従います
はい
User-agent 文字列
Mozilla/5.0 (互換性あり; AhrefsBot/7.0; +http://ahrefs.com/robot/)
リバース DNS サフィックス
ahrefs.com or ahrefs.net
IP アドレスの範囲

Webサイトステータス

ウェブサイトのステータスとクロール可能かどうかを確認する

AhrefsBot とは?

AhrefsBot は、オンラインのデータツールセットである Ahrefs と、収益分配型 Web検索エンジンである Yep 両方のデータベースを強化する ウェブクローラー です。それは Google に次いで 2 番目に活発なクローラーであり、24 時間ごとに80億以上の Web ページにアクセスし、15 ~ 30 分ごとにインデックスを更新します。

当社のボットは、ウェブサイトとそのコンテンツについての正確な最新情報や、お互いのリンク状況をインデックスします。このデータは非常に有用であり、様々な方法で活用することができます。

  • Yepで検索すると、よいコンテンツ作成者に収益を渡すことを目的とした代替検索エンジンをサポートしながら、最高品質のコンテンツと必要なすべての情報が見つけられるでしょう。

  • ウェブサイト所有者であれば、Ahrefs を使ってパフォーマンスのインサイトを提供するウェブサイトの構造、コンテンツ、被リンクを分析することができます。これを最適化して、ユーザーエクスペリエンスを向上させ、検索エンジンで上位にランクインし、より多くのトラフィックを獲得しましょう。

  • ウェブ規模の調査に関しては、Ahrefs を使用すると、ウェブサイトや特定トピックの人気が時間経過とともにどう変化したか、どのウェブサイトがどのような種類のコンテンツにリンクしているか、ブランドが最近何回言及されたか、などを詳しく調べることができます。

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

AhrefsBot

Ahrefs

Search Engine Optimization

3

Qualys

Qualys

Security

4

BingBot

Microsoft

Search Engine Crawler

5

Amazonbot

Amazon

AI Search

Botをリクエスト数でランキング。2024年12月時点のデータ提供

質問がありますか?私たちがお答えします

  • AhrefsBot は robots.txt ファイルを尊重しますか?

    はい。もちろんです。Robots.txt の disallow と allow の両方のルールを厳密に尊重しています。
  • 自分のウェブサイトで AhrefsBot を制御するにはどうすればよいですか?

    AhrefsBot はウェブサイトの robots.txt ファイルに厳密に従いますので、AhrefsBot が行うことを完全にコントロールすることができます。AhrefsBot がサイトを訪問する頻度を変更するには、robots.txt ファイルに 2 つの連続したリクエスト間の、許容できる最小の遅延を指定するだけです:
    ユーザーエージェント:AhrefsBotクロール遅延:[value](ここでの Crawl-Delay の値は秒単位の時間である。)
    AhrefsBot のサイト訪問を止めたい場合は、サーバの robots.txt ファイルに以下の 2 行を追加してください:
    ユーザーエージェント:AhrefsBot許可しない: /
    AhrefsBot が robots.txt ファイルの変更を認識するのに、時間がかかる場合がありますのでご注意ください。この作業は次回クロールの前に行われます。また、robots.txt にエラーが含まれていると、AhrefsBot はコマンドを認識できず、以前と同じようにウェブサイトをクロールし続けます。Robots.txt についての詳細はwww.robotstxt.orgをご覧ください。AhrefsBotがあなたのウェブサイトで誤動作をしていると思われる場合、または質問がある場合は、 [email protected] までご連絡ください。

他にご質問はありますか?

ご質問がある場合は、
お問い合せ までお問い合わせください。