Закрывают ли noindex и robots.txt от индексации

Западные SEO-специалисты активно обсуждают вопрос возможности индексирования URL при закрытой noindex или файлом robots.txt странице. Специалисты спорили, может ли считаться URL проиндексированным, если в результатах поиска Google выдаются ссылки с ограниченным доступом для поискового робота.

Но оптимизаторы, возможно, забыли, что говорил Мэтт Катт в 2009 году об индексации закрытых robots.txt страниц. Если данные о закрытой странице имеются в каталогах или другие ресурсы ссылаются на нее, то поисковик Google использует ссылку, но индексация страницы при этом не происходит. Чтобы исключить возможность появление страниц в SERP, необходимо пользоваться noindex.