robots.txt - tas ir iemesls
Ja izmantojat vietni, iespējams, ka savā FTP programmā jau esat atradis failu ar nosaukumu robots.txt. Šajā praktiskajā padomā varat uzzināt, kas ir aiz šī teksta faila un kāpēc tas ir svarīgi.
robots.txt - prasības meklētājprogrammām
Katrā domēnā jābūt robots.txt. Tā ir svarīga SEO sastāvdaļa.
- Meklētājprogrammas strādā ar rāpuļprogrammām. Tās ir nelielas, patstāvīgi strādājošas programmas. Viņi meklē saturu internetā. Vietnes tiek nolasītas un indeksētas.
- Tā kā roboti darbojas neatkarīgi, tos sauc arī par meklētājprogrammu robotiem vai robotiem.
- Jūsu vietnes robots.txt šiem rāpuļprogrammām norāda, kurus direktorijus var un ko nevar lasīt.
- Lai iegūtu šo informāciju, roboti vispirms meklē domēna robots.txt. Šī iemesla dēļ robots.txt jāatrodas direktorijas struktūras augšējā līmenī. To nedrīkst pārvietot uz direktoriju - tad robotprogrammatūras neatradīs šos teksta failus.
- Vienkārši sakot, robots.txt meklētājprogrammām ļauj pārmeklēt divus informācijas veidus. Ierakstā “Lietotāja aģents:” tiek norādīts, kuram robotam - uz to robots.txt adresēts kā lietotāja aģents - attiecas šī instrukcija.
- Tam seko ieraksts "atļaut:" vai "neatļaut:". Pēc tam tiek uzskaitīti direktoriji un apakšdirektorijas, kurās robotprogrammatūrai ir atļauts pārmeklēt un kuras direktorijas viņam jāatstāj, indeksējot.
- Ieraksts “atļaut:” ir mazāk svarīgs. Jebkurš, kas nav skaidri izslēgts, robots jebkurā gadījumā indeksē to.
- Daži CMS, piemēram, Drupal, izveido robots.txt tieši instalēšanas laikā. Izmantojot WordPress, jūs varat izveidot robots.txt, izmantojot spraudni.
Ja saņemat Google ziņojumu "Neparasti daudz pieprasījumu", mūsu nākamajā praktiskajā padomā varat uzzināt, ko jūs varat darīt.