Robots.txt disallow all в nginx

Оригинал https://alanivey.com/posts/2017/robots.txt-disallow-all-with-nginx/ от Alan Ivey

Если хотите запретить ботам индексировать трафик, то обычно вы добавляете файл robots.txt в две строки в корень вашего сайта. Чтобы не создавать такой файл для каждого домена, можно прописать в конфиге nginx:

location = /robots.txt {
    add_header Content-Type text/plain;
    return 200 "User-agent: *\nDisallow: /\n";
}