Можно ли в robots.txt писать адреса кириллицей?

Писать кириллические символы в директориях robots.txt, а также HTTP-заголовках сервера запрещено.

Чтобы указывать названия кириллических доменов, воспользуйтесь Punycode. URL-адреса указывайте в кодировке, которая соответствует структуре ресурса.

Использование кириллицы запрещено в файле robots.txt и HTTP-заголовках сервера.

Для указания имен доменов используйте Punycode. Адреса страниц указывайте в кодировке, соответствующей кодировке текущей структуры сайта.

Так как файл robots.txt не поддерживает кириллические символы, необходимо перевести их в так называемый punycode. Punycode (по-русски «паникод») — это метод преобразования Unicode-символов (в нашем случае кириллицу) в ACE-последовательности, которые состоят из алфавитно-цифровых символов. Так как именно такие последовательности латинских символов поддерживаются в доменных именах.