Не так много полезного в моих строках, сколько попытка собрать в одном месте все "хаки", который приходится делать.
И так чтобы у нас при полном HTTPS был доступен для роботов файл robots.txt с правильной директивой Host необходимо его создать. И в этом нет проблем, но если у вас как в моем случае закрыт доступ по HTTP более чем полностью, то как же донести до роботов ваш robots.txt .
На данный момент я не нашёл ничего проще, чем открыть доступ только к robot.txt по 80 порту для этого в разделе настроек https для вашего домена добавляем следующее:
location / {
location = /robots.txt {
rewrite ^ /robots.txt break;
}
}
Смотрите также: Редирект 301 c http на https и с no-www на www