Վեբ գրություններ. Լավ և վատ բոտեր - Semalt բացատրություն

Բոտերը ներկայացնում են վեբ տրաֆիկի գրեթե 55 տոկոսը: Դա նշանակում է, որ ձեր վեբ-տրաֆիկի մեծ մասը գալիս է ոչ թե մարդու, այլ ինտերնետ բոտերից: Բոտը ծրագրային ապահովման ծրագիր է, որը պատասխանատու է թվային աշխարհում ավտոմատացված առաջադրանքների կատարման համար: Բոտերը սովորաբար մեծ արագությամբ կատարում են կրկնվող առաջադրանքներ և հիմնականում դրանք անցանկալի են մարդու կողմից: Նրանք պատասխանատու են այն փոքր աշխատանքների համար, որոնք մենք սովորաբար ընդունում ենք որպես ստանդարտ, ներառյալ որոնիչների ինդեքսավորումը, վեբ կայքի առողջության մոնիտորինգը, դրա արագությունը չափելը, API- ների հզորացումը և վեբ բովանդակությունը դուրս բերելը: Բոտերը նաև օգտագործվում են անվտանգության աուդիտը ավտոմատացնելու և ձեր կայքերը սկանելու համար ՝ խոցելիություններ գտնելու համար, դրանք անմիջապես շտկելով:

Լավ և վատ բոտերի տարբերությունը ուսումնասիրելով.

Բոտերը կարելի է բաժանել երկու տարբեր կատեգորիաների ՝ լավ բոտեր և վատ բոտեր: Լավ բոտերը այցելում են ձեր կայքեր և օգնում են որոնիչները սողալ տարբեր վեբ-էջեր: Օրինակ ՝ Googlebot- ը սողում է բազմաթիվ կայքեր Google- ի արդյունքների մեջ և օգնում է գտնել նոր ինտերնետային էջեր ինտերնետում: Այն օգտագործում է ալգորիթմներ ՝ գնահատելու, թե որ բլոգերը կամ կայքերը պետք է սողալ, որքան հաճախ պետք է կատարվի սողալը և քանի էջ է մինչ այժմ ինդեքսավորվել: Վատ բոտերը պատասխանատու են վնասակար առաջադրանքների կատարման համար, ներառյալ վեբ կայքի գրությունը, մեկնաբանության սպամը և DDoS գրոհները: Դրանք ներկայացնում են ինտերնետի ամբողջ տրաֆիկի ավելի քան 30 տոկոսը: Հակերները կատարում են վատ բոտերը և կատարում են մի շարք չարամիտ առաջադրանքներ: Նրանք սկանավորում են միլիոնավոր միլիարդավոր ինտերնետային էջեր և նպատակ ունեն ապօրինի գողանալ կամ քերել պարունակությունը: Նրանք նաև սպառում են թողունակությունը և անընդհատ փնտրում են հավելվածներ և ծրագրաշարեր, որոնք կարող են օգտագործվել ձեր կայքեր և տվյալների բազաներ թափանցելու համար:

Ի՞նչ վնաս է

Սովորաբար, որոնիչները քերծված բովանդակությունը դիտում են որպես կրկնօրինակ բովանդակություն: Դա վնասակար է ձեր որոնիչի դասակարգման համար, և գրությունները կբռնեն ձեր RSS հոսքերը ՝ ձեր բովանդակությունը հասանելի և վերահրապարակելու համար: Նրանք շատ մեծ գումար են վաստակում այս տեխնիկայով: Դժբախտաբար, որոնիչները ոչ մի միջոց չեն իրականացրել `վատ բոտերից ազատվելու համար: Դա նշանակում է, որ եթե ձեր բովանդակությունը կանոնավոր կերպով պատճենվում և տեղադրվում է, մի քանի շաբաթվա ընթացքում ձեր կայքի վարկանիշը վնասվում է: Որոնիչները պատժում են այն կայքերը, որոնք պարունակում են կրկնօրինակ բովանդակություն, և նրանք չեն կարող ճանաչել, թե որ կայքը առաջին անգամ հրապարակեց բովանդակության մի կտոր:

Ոստայնի ոչ բոլոր գրությունները վատն են

Մենք պետք է ընդունենք, որ գրությունը ոչ միշտ է վնասակար և վնասակար: Դա օգտակար է կայքերի սեփականատերերի համար, երբ նրանք ցանկանում են տվյալները տարածել հնարավորինս շատ անձանց: Օրինակ ՝ պետական կայքերը և ճանապարհորդական պորտալները օգտակար տվյալներ են պարունակում լայն հասարակության համար: Տվյալների այս տեսակը սովորաբար մատչելի է API- ների միջոցով, և քերիչներն օգտագործվում են այս տվյալները հավաքելու համար: Ոչ մի դեպքում դա վնասակար է ձեր կայքի համար: Նույնիսկ երբ դուք ջնջում եք այս բովանդակությունը, դա չի վնասի ձեր առցանց բիզնեսի հեղինակությանը:

Վավերական և օրինական գրություններ հանձնելու մեկ այլ օրինակ են հավաքագրման վայրերը, ինչպիսիք են հյուրանոցների ամրագրման պորտալները, համերգների տոմսերի կայքերը և լրատվամիջոցները: Այն բոտերը, որոնք պատասխանատու են այս վեբ-էջերի բովանդակությունը բաշխելու համար, տվյալներ են ստանում API- ի միջոցով և այն գրանցում են ըստ ձեր հրահանգների: Դրանք նպատակ ունեն խթանել երթևեկությունը և տեղեկատվություն քաղել վեբ վարպետների և ծրագրավորողների համար: