Re: www trafikas nuo bot [ni puxa @ 2017-09-29 08:17:09]

Tema: Re: www trafikas nuo bot
Autorius: ni puxa
Data: 2017-09-29 08:17:09
ei sifilitike, pasakyk to sako www adresa. Gal butu aiskiau ka tam tavo tupam saite galima pisdinti.

cD-r0m <adomas.trinti@gmail.com> wrote in message

> Ačiū už mintis! Galvojau, kad normalūs botai patys prisistato. 
> Nujaučiu, kad tas htaccessas nelabai suveikė.. Pasidomėsiu dėl logų, čia 
> pigus hostingas, tai ne viskas ten "kaip namie".
> 
> 
> On 2017.09.28 21:16, Laimis wrote:
>> -----BEGIN PGP SIGNED MESSAGE-----
>> Hash: SHA256
>>
>> cD-r0m rašė:
>>
>>> Vienintelė metrika, kurioje tas trafikas atsispindi AwStatsuose
>>> prie botų: Unknown robot (identified by 'bot' followed by a space
>>> or one of the following characters _+:,.;/\-)    1,000,529    33.43
>>> GB
>>>
>>> Bandžiau su htaccesu nežinomus botus užkišt, bet arba neveikia,
>>> arba per durnas:
>>>
>>> RewriteCond %{HTTP_USER_AGENT} bot RewriteCond %{HTTP_USER_AGENT}
>>> !(bing|Google|msn|MSR|Twitter|Yandex|Yahoo|spider) RewriteRule
>>> !^robots\.txt$ - [F]
>>>
>>>
>>> Kaip spręst?
>>
>>
>> Žiūrėk apačio log'us ir gali paaiškėti, kad tas nežinomas bot'as yra
>> koks 'Yandexbot' ar koks kitas (kurių Awstats'ai neidentifikuoja, kaip
>> žinomų; google'ą, yahoo gal ir pažįsta priklausomai nuo versijos),
>> kurį ir praleidi (antra RewriteCond taisyklė)... :-)
>>
>> Perrašyčiau taip:
>>
>> RewriteCond %{HTTP_USER_AGENT} bot [NC]
>> RewriteCond %{HTTP_USER_AGENT} !(priimtinų bot'ų alternatyvos, tačiau
>> pilnesnio vardo, bent jau su 'bot' priesagomis)
>> RewriteRule !^robots\.txt$ - [F]
>> -----BEGIN PGP SIGNATURE-----
>> Version: GnuPG v2
>>
>> iQIcBAEBCAAGBQJZzTyUAAoJEIGZp48fbGsmLVoP/iTh8KEAKfbisH2XKaV5FK7m
>> /evT0CJRKGG9vqH9wprWt1TYnhhTcAq1ces0ivrfbJm9W85WGXqM9NJOnaJo7POP
>> A3z8XIjBM+qkbrgI6J9y1CSWLgnb7x6p9JwkVhFSHERVDUJUstTM4JgwA8R/S8Tp
>> QCbeU4oe3/xIqMZPxKgGRGpq3VC5G1UQpVMdXpSSr0QOSTG/F4OH/WJvefKZQyGT
>> qqr9KxRJhWAka3cZT3pUMVNyF1Wt14pWgV6TqaVW4GYuoDs2TKPeEEdANyX0+7t/
>> V10jm9S+cB1INipUPoG03Y4VHK8hwfr1Mfk08Wquo78384RemyO5oNWfhq4GkDpC
>> 24rxm/kiT5g2DeOlIiw177o9982mTERmoBvJkwvzR9zvIP+0qgkX7ZJF4q1xuqM2
>> 3w/6/RDqNyVo+7atQaNLkE+myb1K6vsdSRYOfUf08zPtc/Sw9TZUjGrwbEI9fKaB
>> utGfJZKEa7a8OpwpRikx2oURrAqfzlqw+UhG4BILIp25G0irul2s5XHcMPjYGo3x
>> x60rBHr8L3ORjeENgYDMgtIGzC3rDKy29HnIdo24+vlvPzCwmuElUiANW3Px2V79
>> 3BW/YogE10nSajG6sZca55XMDoLCSa235YbJtJkW5znmH9RwHvDGZkIo0N2yE2rb
>> wE4rUVlryq5+noEdN/Nc
>> =d1fD
>> -----END PGP SIGNATURE-----
>>