Robots.txt disallow all в nginx

Оригинал https://alanivey.com/posts/2017/robots.txt-disallow-all-with-nginx/ от Alan Ivey

Если хотите запретить ботам индексировать трафик, то обычно вы добавляете файл robots.txt в две строки в корень вашего сайта. Чтобы не создавать такой файл для каждого домена, можно прописать в конфиге nginx:

```
location = /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /\n";
}
```