Semalt. Ինչպե՞ս արգելափակել Darodar Robots.txt- ը

Robots.txt ֆայլը տիպիկ տեքստային ֆայլ է, որը պարունակում է ցուցումներ այն մասին, թե ինչպես են վեբ սողացողները կամ բոտերը պետք է սողոսկեն կայքը: Դրանց կիրառումը ակնհայտ է որոնման բոտերում, որոնք տարածված են բազմաթիվ օպտիմիզացված կայքերում: Որպես ռոբոտների բացառման արարողակարգի (REP) մաս ՝ robots.txt ֆայլը ձևավորում է վեբ կայքի բովանդակության ինդեքսավորման կարևոր ասպեկտ, ինչպես նաև սերվերին հնարավորություն է տալիս համապատասխանաբար վավերացնել օգտագործողի հարցումները:
Senուլիա Վաշնևան, Semalt- ի Հաճախորդների հաջողության հաջողության մենեջերը, բացատրում է, որ կապը որոնիչի օպտիմիզացիայի (SEO) կողմն է, որը ներառում է ձեր խորշի շրջանակներում այլ տիրույթներից երթևեկություն ստանալը: Հղման հյութը փոխանցելու համար «հետևեք» հղումների համար անհրաժեշտ է ձեր կայքի հոստինգի տարածքում ներառել robots.txt ֆայլ ՝ գործելու որպես հրահանգիչ, թե ինչպես է սերվերը շփվում ձեր կայքի հետ: Այս արխիվից հրահանգները ներկայացված են թույլատրելով կամ չթողնելով, թե ինչպես են պահվում որոշ հատուկ գործակալներ:
Robots.txt ֆայլի հիմնական ձևաչափը
Robots.txt ֆայլը պարունակում է երկու հիմնական տող.
Օգտագործող գործակալ. [User-agent name]
Չի թույլատրվում. [URL տողը չպետք է սողալ]
Robots.txt- ի ամբողջական ֆայլը պետք է պարունակի այս երկու տողը: Այնուամենայնիվ, դրանցից ոմանք կարող են պարունակել օգտագործողի գործակալների և հրահանգների մի քանի տողեր: Այս հրամանները կարող են պարունակել այնպիսի կողմեր, ինչպիսիք են թույլատրելը, չթույլատրելը կամ սողալ-ձգձգումը: Սովորաբար կա մի գծի ընդմիջում, որն առանձնացնում է ցուցումների յուրաքանչյուր փաթեթ: Թույլտվություններից կամ թույլ չտալու յուրաքանչյուր հրահանգ առանձնացված է այս գծի ընդմիջմամբ, հատկապես robots.txt- ի համար ՝ բազմաթիվ տողերով:

Օրինակներ
Օրինակ ՝ robots.txt ֆայլը կարող է պարունակել այնպիսի ծածկագրեր, ինչպիսիք են.
Օգտագործող-գործակալ `darodar
Արգելել. / Plugin
Հրաժարում ՝ / API
Հրաժարում. / _ Մեկնաբանություններ
Այս դեպքում սա բլոկ robots.txt ֆայլ է, որը սահմանափակում է Darodar վեբ սողացողը ձեր վեբ կայք մուտք ունենալու համար: Վերոհիշյալ շարահյուսության մեջ կոդն արգելափակում է վեբ կայքի ասպեկտները ՝ հավելանյութեր, API և մեկնաբանությունների բաժնում: Այս գիտելիքներից հնարավոր է հասնել բազմաթիվ օգուտների `ռոբոտի տեքստային ֆայլը արդյունավետորեն գործարկելուց: Robots.txt ֆայլերը կարող են իրականացնել բազմաթիվ գործառույթներ: Օրինակ ՝ նրանք կարող են պատրաստ լինել.
1. Թույլատրել բոլոր վեբ crawlers բովանդակությունը կայքի էջում: Օրինակ;
Օգտագործող գործակալ. *
Արգելել.
Այս դեպքում օգտագործողի բոլոր բովանդակությանը կարելի է մուտք գործել ցանկացած վեբ սողացող, որին խնդրվում է կայք այցելել:
2. Արգելափակել հատուկ վեբ բովանդակությունը որոշակի թղթապանակից: Օրինակ;
Օգտագործող գործակալ `Googlebot
Հրաժարում ՝ / օրինակ-ենթաֆայլ /
Օգտագործողի գործակալ Googlebot պարունակող այս շարահյուսը պատկանում է Google- ին: Այն սահմանափակում է ռոտացիան `www.ourexample.com/example-subfolder/ տողի ցանկացած վեբ էջ մուտք ունենալուց:
3. Արգելափակել հատուկ վեբ սողացողը որոշակի վեբ էջից: Օրինակ;
Օգտագործող գործակալ ՝ Bingbot
Արգելքը ՝ /example-subfolder/blocked-page.html
Օգտագործող գործակալ Bing bot- ը պատկանում է Bing վեբ սողացողներին: Robots.txt ֆայլի այս տեսակը սահմանափակում է Bing վեբ սողացողը `էջի www.ourexample.com/example-subfolder/blocked-page- ի որոշակի էջ մուտք գործելով:
Կարեւոր տեղեկություններ
- Յուրաքանչյուր օգտվող չի օգտագործում ձեր robts.txt ֆայլը: Որոշ օգտվողներ կարող են որոշում կայացնել անտեսել այն: Նման վեբ սողացողների մեծ մասը ներառում է Trojans և չարամիտ ծրագրեր:
- Որպեսզի Robots.txt ֆայլը տեսանելի լինի, այն պետք է հասանելի լինի ամենաբարձր մակարդակի կայքի գրացուցակում:
- «Robots.txt» նիշերը գործի զգայուն են: Արդյունքում, դուք չպետք է որևէ կերպ փոխեք դրանք ՝ ներառյալ որոշ ասպեկտների կապիտալիզացիա:
- «/Robots.txt» - ը հանրային սեփականություն է: Յուրաքանչյուրը կարող է գտնել այս տեղեկատվությունը, երբ այն ավելացնում է ցանկացած URL- ի բովանդակությանը: Դուք չպետք է նշեք հիմնական մանրամասները կամ էջերը, որոնք ցանկանում եք, որ դրանք մնան մասնավոր: