网易搜索引擎
有道是采用“顺藤摸瓜”的方法抓取网站
为什么有道不抓取我的网站呢?
有道是采用“顺藤摸瓜”的方法抓取网站的。您的站点必须被其它网站所指向才会被有道抓取到,也就是说在外部网页上有一个或多个链接指向您这里。您还可以主动向有道提交您的站点。
为什么有道没有抓取我的网站里的每一个网页?
虽然我们不断的增加索引量,但是有道不能保证抓取每个站点的所有内容。通常,如果贵站提供的信息越有价值,内容质量越高,网页模式越规范,您的网页被收录的比率就越高。
为什么我的“秘密”链接会被有道抓到?
有道没有试图攻击您的站点,“秘密”链接被抓取的原因在于它一定曾经出现在某个网页中,有道只是提取了这些链接。不公开某个链接并不是保存秘密的安全做法,建议您采取一些加密或者认证的措施。
如何让有道不抓取某网页上的所有链接?
您可以在该网页的meta头加入这样的信息:
<META NAME="YodaoBot" CONTENT="nofollow">
那么该网页的所有链接就不会被有道跟进,但网页本身有可能被索引。
如何让有道不抓取某网页上的某个链接?
您可以对某个链接加上rel="nofollow"属性,例如:
<a href="http://www.somehost.com/" rel="nofollow">不跟进的链接</a>
该链接就不会被有道跟进,但该网页的其他链接都会被跟进。
为什么有道多次抓取同一个网页?
有道并不知道您的某个网页是否更新,它每隔一段时间就会重新抓取一次该网页。在重新抓取时,有道都会带上一个"IF-MODIFIED-SINCE"的HTTP头信息,以通知您的服务器返回更新的网页。如您的服务器能正确处理这样的头信息就可以节约一定带宽。一般情况下,有道不会在8个小时内两次抓取同一个网页,但也会有例外。
我的站点被抓得太频繁了!
很抱歉,请把您的站点以及被抓取过频繁的URL发邮件到yodaobot@corp.yodao.com告诉我们,并附上您的日志文件,我们将尽快找到并解决问题。关于您网站的任何信息都不会被泄漏给第三方。
我不希望有道抓取我的站点,该怎么办?
有道遵循Robots这一用于禁止爬虫抓取部分网站内容的互联网标准协议。我们推荐您使用标准的robots.txt文件。有道在抓取站点时会首先读取robots.txt文件,然后根据robots.txt文件的要求进行抓取和索引。关于robots.txt文件的更多信息,请看帮助中心里"关于robots.txt"这一节内容。如果您的robots.txt文件符合标准,有道在抓取和索引时仍存在问题,请致信:yodaobot@corp.yodao.com ,我们的工程师将会尽快解决。
 
经典短信推荐
资讯中心 | 电子商务 | 搜索营销 | 设计学院 | 中医养生 | 养生保健 | 节日祝福 | 民俗文化 | 奇闻趣事
建站知识 | 人世百态 | 网站导航 | 传统节日 | 搜索热点 | 星座运势 | 趣闻轶事 | 祝福的话 | 短信大全
© 2023 QicaiSpace.Com