• 几天闲来无事,就打开网站的文件管理器开了下,发现有robots_log.txt.lock这个文件,lock锁的意思,我就看了一下根目录下的robots_log.txt文件,不看不知道,一看吓一跳,只有13年12月30日之前的记录(现在已恢复,截图没保留),我想是robots_log.txt.lock文件只是不让搜索引擎抓取的地址显示在robots_log.txt中吗,还是不让爬虫来爬行,要是不让爬虫来爬行就操蛋了,到站...
    作者:熊猫| 发布:2014年1月19日| 阅读:2,494次| 分类:seo优化, 心情随笔| 标签:,