Blokowanie dostępu robotom wyszukiwarek do strony

1. Plik robots.txt\r\n\r\nTen plik tekstowy jest sprawdzany przez roboty wyszukiwarek. Można go wykorzystać do zablokowania określonych lokalizacji na serwerze, wykorzystując specjalny protokół Robots Exclusion Protocol.\r\n\r\nPlik "robots.txt" umieszcza się w katalogu głównym strony, aby zablokować wszystkie roboty wyszukiwarek (gwiazdka określa wszystkie roboty). Należy skorzystać z poniższego kodu:\r\n\r\nbash\r\nUser-agent: \r\nDisallow: /\r\n\r\n\r\n user-agent - określa które roboty mają przestrzegać podane warunki,\r\n disallow - określa lokalizację która jest blokowana,\r\n\r\nPodanym sposobem zablokujemy wszystkie katalogi wraz z plikami, które znajdują się na serwerze w katalogu głównym strony ("Disallow: /").\r\n\r\nJeżeli chcemy zablokować np. robotowi wyszukiwarki Google, tylko określone katalogi wraz z ich zawartością, należy:\r\n\r\nbash\r\nUser-agent: googlebot\r\nDisallow: /dokumenty/\r\nDisallow: /kopie-robocze/dokument.html\r\n\r\n\r\n## 2. Deklaracja znacznika META\r\n\r\nTaką deklarację należy umieścić w ramach HEAD, w dokumencie HTML.\r\n\r\nhtml\r\n<meta name="Robots" content="index, follow">\r\n\r\n\r\n* index - indeksowanie wszystkiego,\r\n* noindex - brak indeksacji,\r\n* follow - indeksowanie stron, do których można dotrzeć przez linki,\r\n* nofollow - brak indeksacji stron, do których linki znajdują się na danej witrynie,\r\n* none - odpowiednik noindex, nofollow,\r\n* all - odpowiednik index, follow,