Semalt: Darodar Robots.txt-i nädip blokirlemeli

Robots.txt faýly, web gözlegçileriniň ýa-da botlaryň bir sahypany nädip gözlemelidigi barada görkezmeleri öz içine alýan adaty tekst faýlydyr. Olaryň ulanylyşy köp sanly optimal web sahypalarynda giňden ýaýran gözleg motory botlarynda aýdyň görünýär. Robotlary çykarmak protokolynyň (REP) bir bölegi hökmünde robots.txt faýly web sahypasynyň mazmunyny indeksirlemegiň möhüm bir tarapyny emele getirýär, şeýle hem ulanyjynyň isleglerini tassyklamak üçin serwere mümkinçilik berýär.

Semalt” müşderi üstünlikleriniň dolandyryjysy Julia Waşnewa, baglanyşyk gözleg motory optimizasiýasynyň (SEO) bir tarapydygyny, bu ýeriňizdäki beýleki domenlerden traffik gazanmagy öz içine alýandygyny düşündirýär. Baglanyş şiresini geçirmek üçin "yzarlamak" baglanyşyklary üçin, serweriň sahypaňyz bilen nähili arabaglanyşygynyň tälimçisi hökmünde çykyş etmek üçin robots.txt faýlyny web sahypaňyza ýerleşdirmeli. Bu arhiwden, käbir ulanyjy agentleriniň özüni alyp barşyna rugsat bermek ýa-da rugsat bermezlik bilen görkezmeler bar.

Robots.txt faýlynyň esasy formaty

Robots.txt faýlynda iki möhüm setir bar:

Ulanyjy-agent: [ulanyjy-agentiň ady]

Rugsat berme: [URL setiri gözlenmeli däl]

Doly robots.txt faýlynda bu iki setir bolmaly. Şeýle-de bolsa, olaryň käbiri ulanyjy-agentleriň we görkezmeleriň köp setirini öz içine alyp biler. Bu buýruklarda rugsat bermek, rugsat bermezlik ýa-da gezelenç etmek ýaly taraplar bolup biler. Adatça her görkezme toplumyny bölýän setir arakesmesi bolýar. Rugsat berýän ýa-da rugsat bermeýän görkezmeleriň her biri, bu setir arakesmesi bilen bölünýär, esasanam birnäçe setirli robot.txt üçin.

Mysallar

Mysal üçin, robots.txt faýlynda aşakdaky ýaly kodlar bolup biler.

Ulanyjy-agent: darodar

Rugsat berme: / plugin

Rugsat berme: / API

Rugsat berme: / _comments

Bu ýagdaýda, Darodar web gözlegçisiniň web sahypaňyza girmegini çäklendirýän blok robots.txt faýly. Aboveokardaky sintaksisde kod web sahypasynyň pluginler, API we teswirler bölümi ýaly taraplaryny bloklaýar. Bu bilimlerden, robotyň tekst faýlyny netijeli ýerine ýetirmekden köp peýdalary gazanyp bolýar. Robots.txt faýllary köp sanly funksiýany ýerine ýetirip biler. Mysal üçin, olar taýýar bolup bilerler:

1. webhli web gözlegçileriniň mazmunyny web sahypasyna girmäge rugsat beriň. Mysal üçin;

Ulanyjy-agent: *

Rugsat berme:

Bu ýagdaýda, ulanyjy mazmunyna web sahypasyna girmegi haýyş edilýän islendik web gözlegçisi girip biler.

2. Belli bir bukjadan belli bir web mazmunyny bloklaň. Mysal üçin;

Ulanyjy-agent: Googlebot

Rugsat berme: / mysal-bukja /

Googlebot ulanyjy-agent adyny öz içine alýan bu sintaksis Google-a degişlidir. Botyň www.ourexample.com/example-subfolder/ setirindäki islendik web sahypasyna girmegini çäklendirýär.

3. Belli bir web sahypasyny belli bir web sahypasyndan bloklaň. Mysal üçin;

Ulanyjy-agent: Bingbot

Rugsat berme: /example-subfolder/blocked-page.html

Ulanyjy-agent Bing bot Bing web gözlegçilerine degişlidir. Bu görnüşdäki robots.txt faýly, Bing web gözlegçisiniň www.ourexample.com/example-subfolder/blocked-page setiri bilen belli bir sahypa girmegini çäklendirýär.

Möhüm maglumat

  • Her ulanyjy robts.txt faýlyňyzy ulanmaýar. Käbir ulanyjylar muny äsgermezlik edip bilerler. Şeýle web gözlegçileriniň köpüsine Troýan we zyýanly programma üpjünçiligi girýär.
  • “Robots.txt” faýlynyň görünmegi üçin iň ýokary derejeli web sahypasynyň katalogynda elýeterli bolmaly.
  • "Robots.txt" nyşanlary baş harp bilen ýazylýar. Netijede, käbir taraplaryň baş harplaryny goşmak bilen olary hiç hili üýtgetmeli däl.
  • "/Robots.txt" köpçülige açykdyr. Islendik adam, islendik URL-iň mazmunyna goşup, bu maglumatlary tapyp biler. Şahsy bolmagyny isleýän möhüm jikme-jiklikleri ýa-da sahypalary görkezmeli däl.