вопрос - ответ файл robots.txt для сайта ucoz  и страхование грузоперевозок

Всем привет друзья ! продолжая методично отвечать на ваши вопросы недавно наткнулся на вопросы про файл robots.txt для сайта ucoz , и сегодня попытаюсь доходчиво объяснить как и зачем он нужен .

1) Этот файл нужен для нормальной индексации поисковиками системами вашего сайта , 

Если вы только создали сайт на ucoz то сразу изменить этот файл у вас не получится ,ваш сайт будет в карантине и только спустя месяц можно будет его изменить .

вот сам файл , но вам нужно его немного изменить под себя 

User-agent: * 
 Disallow: /a/ 
 Disallow: /stat/ 
 Disallow: /index/1 
 Disallow: /index/2 
 Disallow: /index/3 
 Disallow: /index/5 
 Disallow: /index/7 
 Disallow: /index/8 
 Disallow: /index/9 
 Disallow: /panel/ 
 Disallow: /admin/ 
 Disallow: /secure/ 
 Disallow: /informer/ 
 Disallow: /mchat 
 Disallow: /search 
 Disallow: /shop/order/ 
 Disallow: /?ssid= 

Sitemap: http://site.ru/sitemap.xml 
Sitemap: http://site.ru/sitemap-forum.xml 
Sitemap: http://site.ru/sitemap-shop.xml

Этот код хорошо подходит почти ко всем сайтам , так что если не сильно понимаете что к чему то лучше ни чего не трогайте , а если решили что то заменить то все изменения проводите очень аккуратно .

Друзья непременно заходите на страхование грузоперевозок Самые лучшие товары и услуги по самым низким ценам .

теперь более подробно , что какой код значит 

User-agent  - значит что следующая инструкция предназначена для всех поисковых роботов (на самом деле предназначены для всех других роботов, которые не прописаны отдельно, но у нас в стандартном файле ни один из роботов отдельно не прописано )

так для яндекса User-agent: Yandex , так для гугла User-agent: Googlebot 

Дальше следует ряд инструкция с Disallow . Это значит запрет на индексацию отдельных страниц.

Disallow / - запрещает индексировать совершенно весь сайт

Disallow /name - запрещает индексировать всё, что начинается c  '/name'

Disallow /name/ - запрещает индексировать весь каталог name (т.е. если есть страницы site.ru/name/kldfgjdffgkg - они все запрещены к индексации)

Sitemap это также стандартный файл ucoz и о них я напишу в другой раз .

Вот собственно и все но есть еще несколько фишек которые вы можете использовать 

Allow  противоположная инструкция  Disallow   которая разрешает индексацию , другими словами если вы пропишете

Disallow: / 
Allow: /blog/  

то будет индексироваться только блог 

инструкцию  Host  можно использовать при указании главного зеркала , другими словами если ваш сайт доступен по адресам site1.ru, site2.ru и site3.ru, а вы хотите что бы в поиске виден был именно site1.ru, вы пишете  Host: http://site1.ru

Всем удачи а пока !