robots.txt 使用

简介

robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。 此文件主要用于避免您的网站收到过多请求；

• [谷歌](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=zh-cn) 对于这个文件的说明，比官方的要好点

• 测试是否起作用是 这个网址[Yandex](https://webmaster.yandex.com/tools/robotstxt/)

---