Semalt. Ինչպե՞ս արգելափակել Darodar Robots.txt- ը

Robots.txt ֆայլը տիպիկ տեքստային ֆայլ է, որը պարունակում է ցուցումներ այն մասին, թե ինչպես են վեբ սողացողները կամ բոտերը պետք է սողոսկեն կայքը: Դրանց կիրառումը ակնհայտ է որոնման բոտերում, որոնք տարածված են բազմաթիվ օպտիմիզացված կայքերում: Որպես ռոբոտների բացառման արարողակարգի (REP) մաս ՝ robots.txt ֆայլը ձևավորում է վեբ կայքի բովանդակության ինդեքսավորման կարևոր ասպեկտ, ինչպես նաև սերվերին հնարավորություն է տալիս համապատասխանաբար վավերացնել օգտագործողի հարցումները:

Senուլիա Վաշնևան, Semalt- ի Հաճախորդների հաջողության հաջողության մենեջերը, բացատրում է, որ կապը որոնիչի օպտիմիզացիայի (SEO) կողմն է, որը ներառում է ձեր խորշի շրջանակներում այլ տիրույթներից երթևեկություն ստանալը: Հղման հյութը փոխանցելու համար «հետևեք» հղումների համար անհրաժեշտ է ձեր կայքի հոստինգի տարածքում ներառել robots.txt ֆայլ ՝ գործելու որպես հրահանգիչ, թե ինչպես է սերվերը շփվում ձեր կայքի հետ: Այս արխիվից հրահանգները ներկայացված են թույլատրելով կամ չթողնելով, թե ինչպես են պահվում որոշ հատուկ գործակալներ:

Robots.txt ֆայլի հիմնական ձևաչափը

Robots.txt ֆայլը պարունակում է երկու հիմնական տող.

Օգտագործող գործակալ. [User-agent name]

Չի թույլատրվում. [URL տողը չպետք է սողալ]

Robots.txt- ի ամբողջական ֆայլը պետք է պարունակի այս երկու տողը: Այնուամենայնիվ, դրանցից ոմանք կարող են պարունակել օգտագործողի գործակալների և հրահանգների մի քանի տողեր: Այս հրամանները կարող են պարունակել այնպիսի կողմեր, ինչպիսիք են թույլատրելը, չթույլատրելը կամ սողալ-ձգձգումը: Սովորաբար կա մի գծի ընդմիջում, որն առանձնացնում է ցուցումների յուրաքանչյուր փաթեթ: Թույլտվություններից կամ թույլ չտալու յուրաքանչյուր հրահանգ առանձնացված է այս գծի ընդմիջմամբ, հատկապես robots.txt- ի համար ՝ բազմաթիվ տողերով:

Օրինակներ

Օրինակ ՝ robots.txt ֆայլը կարող է պարունակել այնպիսի ծածկագրեր, ինչպիսիք են.

Օգտագործող-գործակալ `darodar

Արգելել. / Plugin

Հրաժարում ՝ / API

Հրաժարում. / _ Մեկնաբանություններ

Այս դեպքում սա բլոկ robots.txt ֆայլ է, որը սահմանափակում է Darodar վեբ սողացողը ձեր վեբ կայք մուտք ունենալու համար: Վերոհիշյալ շարահյուսության մեջ կոդն արգելափակում է վեբ կայքի ասպեկտները ՝ հավելանյութեր, API և մեկնաբանությունների բաժնում: Այս գիտելիքներից հնարավոր է հասնել բազմաթիվ օգուտների `ռոբոտի տեքստային ֆայլը արդյունավետորեն գործարկելուց: Robots.txt ֆայլերը կարող են իրականացնել բազմաթիվ գործառույթներ: Օրինակ ՝ նրանք կարող են պատրաստ լինել.

1. Թույլատրել բոլոր վեբ crawlers բովանդակությունը կայքի էջում: Օրինակ;

Օգտագործող գործակալ. *

Արգելել.

Այս դեպքում օգտագործողի բոլոր բովանդակությանը կարելի է մուտք գործել ցանկացած վեբ սողացող, որին խնդրվում է կայք այցելել:

2. Արգելափակել հատուկ վեբ բովանդակությունը որոշակի թղթապանակից: Օրինակ;

Օգտագործող գործակալ `Googlebot

Հրաժարում ՝ / օրինակ-ենթաֆայլ /

Օգտագործողի գործակալ Googlebot պարունակող այս շարահյուսը պատկանում է Google- ին: Այն սահմանափակում է ռոտացիան `www.ourexample.com/example-subfolder/ տողի ցանկացած վեբ էջ մուտք ունենալուց:

3. Արգելափակել հատուկ վեբ սողացողը որոշակի վեբ էջից: Օրինակ;

Օգտագործող գործակալ ՝ Bingbot

Արգելքը ՝ /example-subfolder/blocked-page.html

Օգտագործող գործակալ Bing bot- ը պատկանում է Bing վեբ սողացողներին: Robots.txt ֆայլի այս տեսակը սահմանափակում է Bing վեբ սողացողը `էջի www.ourexample.com/example-subfolder/blocked-page- ի որոշակի էջ մուտք գործելով:

Կարեւոր տեղեկություններ

• Յուրաքանչյուր օգտվող չի օգտագործում ձեր robts.txt ֆայլը: Որոշ օգտվողներ կարող են որոշում կայացնել անտեսել այն: Նման վեբ սողացողների մեծ մասը ներառում է Trojans և չարամիտ ծրագրեր:
• Որպեսզի Robots.txt ֆայլը տեսանելի լինի, այն պետք է հասանելի լինի ամենաբարձր մակարդակի կայքի գրացուցակում:
• «Robots.txt» նիշերը գործի զգայուն են: Արդյունքում, դուք չպետք է որևէ կերպ փոխեք դրանք ՝ ներառյալ որոշ ասպեկտների կապիտալիզացիա:
• «/Robots.txt» - ը հանրային սեփականություն է: Յուրաքանչյուրը կարող է գտնել այս տեղեկատվությունը, երբ այն ավելացնում է ցանկացած URL- ի բովանդակությանը: Դուք չպետք է նշեք հիմնական մանրամասները կամ էջերը, որոնք ցանկանում եք, որ դրանք մնան մասնավոր: