Если Вы индексируете свои собственные ресурсы и
имеете возможность отредактировать их, то, возможно,
для более оптимальной работы индексации и поиска,
имеет смысл специальным образом подготовить документы,
"спрятав" от робота отдельные их части, такие как меню
навигации, и др.
Текст между <!-- .... --> считается
HTML-комментарием.
Текст между тэгами
<!--UdmComment--> .... <!--/UdmComment--> становится невидимым
для индексации.
Также, предусмотрено использование <NOINDEX>
... </NOINDEX> в качестве синонимов для <!--UdmComment--> и
<!--/UdmComment-->
Для совместимости с ASPSeek, <!--noindex-->
... <!--/noindex--> также являются синонимами для <!--UdmComment--> и
<!--/UdmComment-->
Специальные комментарии Google <!-- google_ad_section_start -->, <!-- google_ad_section_start(weight=ignore) --> и
<!-- google_ad_section_end --> рассматриваются как тэги для включения/исключения контента из индексирования.