Bobr.pw - Бобровая сила

Не так много полезного в моих строках, сколько попытка собрать в одном месте все "хаки", который приходится делать.
И так чтобы у нас при полном HTTPS был доступен для роботов файл robots.txt  с правильной директивой Host необходимо его создать. И в этом нет проблем, но если у вас как в моем случае закрыт доступ по HTTP более чем полностью, то как же донести до роботов ваш robots.txt . 
На данный момент я не нашёл ничего проще, чем открыть доступ только к robot.txt по 80 порту для этого в разделе настроек https для вашего домена добавляем следующее:

location / {
            location = /robots.txt {
                    rewrite ^ /robots.txt break;
         }
}

Смотрите также: Редирект 301 c http на https и с no-www на www