|
本栏分类
热门文章
Googlebot 有哪几种? -
Googlebot 我们一般称为Google 机器人或Google 探测器。Google “派遣”了不同的Googlebot 对网页内容进行获取。主要包括:Googlebot:抓取网页中的文字内容。获取的内容保存于Google 网页搜索和新闻搜索的数据库。我们一般谈的Google 机器人主要指这个。Googlebot-Mobile:抓取网页中的文字内容,用于Google 手机搜索。Googlebot-Image:抓取网页内的图片内容,保存入Google 图片搜索数据库。Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense 分析关键词。只有投放了Google Adsense?的网页才会被?Mediapartners-Google 探测器爬取。Adsbot-Google:抓取网页中的文字内容,用于为Google?AdWords 提供参考。只有Google?AdWords??的目标网页才会被?Adsbot-Google 探测器爬取。Googlebot 和Mediapartners-Google 是非常勤奋的机器人,如果他们影响到你服务器的承受力,你可以通过 robots.txt 文件加以制止。阅读本文的人还感兴趣Google网站管理员工具Robot是什么?
下一篇:如何设置首选域? -
本站源码和一些文章收集于互联网如有侵权或其它问题请及时联系我们,以便及时处理!