Training_WWW_Robots


Training-WWW-Robots

进去就有提示

robots.txt文件是为了告诉爬虫程序或者搜索引擎哪些资源不能爬,你就可以从这些资源中找到你要用的,然后进行你的操作


文章作者: 0xdadream
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 0xdadream !
评论
  目录