-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256
cD-r0m rašė:
> Vienintelė metrika, kurioje tas trafikas atsispindi AwStatsuose
> prie botų: Unknown robot (identified by 'bot' followed by a space
> or one of the following characters _+:,.;/\-) 1,000,529 33.43
> GB
>
> Bandžiau su htaccesu nežinomus botus užkišt, bet arba neveikia,
> arba per durnas:
>
> RewriteCond %{HTTP_USER_AGENT} bot RewriteCond %{HTTP_USER_AGENT}
> !(bing|Google|msn|MSR|Twitter|Yandex|Yahoo|spider) RewriteRule
> !^robots\.txt$ - [F]
>
>
> Kaip spręst?
Žiūrėk apačio log'us ir gali paaiškėti, kad tas nežinomas bot'as yra
koks 'Yandexbot' ar koks kitas (kurių Awstats'ai neidentifikuoja, kaip
žinomų; google'ą, yahoo gal ir pažįsta priklausomai nuo versijos),
kurį ir praleidi (antra RewriteCond taisyklė)... :-)
Perrašyčiau taip:
RewriteCond %{HTTP_USER_AGENT} bot [NC]
RewriteCond %{HTTP_USER_AGENT} !(priimtinų bot'ų alternatyvos, tačiau
pilnesnio vardo, bent jau su 'bot' priesagomis)
RewriteRule !^robots\.txt$ - [F]
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v2
iQIcBAEBCAAGBQJZzTyUAAoJEIGZp48fbGsmLVoP/iTh8KEAKfbisH2XKaV5FK7m
/evT0CJRKGG9vqH9wprWt1TYnhhTcAq1ces0ivrfbJm9W85WGXqM9NJOnaJo7POP
A3z8XIjBM+qkbrgI6J9y1CSWLgnb7x6p9JwkVhFSHERVDUJUstTM4JgwA8R/S8Tp
QCbeU4oe3/xIqMZPxKgGRGpq3VC5G1UQpVMdXpSSr0QOSTG/F4OH/WJvefKZQyGT
qqr9KxRJhWAka3cZT3pUMVNyF1Wt14pWgV6TqaVW4GYuoDs2TKPeEEdANyX0+7t/
V10jm9S+cB1INipUPoG03Y4VHK8hwfr1Mfk08Wquo78384RemyO5oNWfhq4GkDpC
24rxm/kiT5g2DeOlIiw177o9982mTERmoBvJkwvzR9zvIP+0qgkX7ZJF4q1xuqM2
3w/6/RDqNyVo+7atQaNLkE+myb1K6vsdSRYOfUf08zPtc/Sw9TZUjGrwbEI9fKaB
utGfJZKEa7a8OpwpRikx2oURrAqfzlqw+UhG4BILIp25G0irul2s5XHcMPjYGo3x
x60rBHr8L3ORjeENgYDMgtIGzC3rDKy29HnIdo24+vlvPzCwmuElUiANW3Px2V79
3BW/YogE10nSajG6sZca55XMDoLCSa235YbJtJkW5znmH9RwHvDGZkIo0N2yE2rb
wE4rUVlryq5+noEdN/Nc
=d1fD
-----END PGP SIGNATURE-----