Ačiū už mintis! Galvojau, kad normalūs botai patys prisistato. 
Nujaučiu, kad tas htaccessas nelabai suveikė.. Pasidomėsiu dėl logų, čia 
pigus hostingas, tai ne viskas ten "kaip namie".


On 2017.09.28 21:16, Laimis wrote:
> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA256
>
> cD-r0m rašė:
>
>> Vienintelė metrika, kurioje tas trafikas atsispindi AwStatsuose
>> prie botų: Unknown robot (identified by 'bot' followed by a space
>> or one of the following characters _+:,.;/\-)    1,000,529    33.43
>> GB
>>
>> Bandžiau su htaccesu nežinomus botus užkišt, bet arba neveikia,
>> arba per durnas:
>>
>> RewriteCond %{HTTP_USER_AGENT} bot RewriteCond %{HTTP_USER_AGENT}
>> !(bing|Google|msn|MSR|Twitter|Yandex|Yahoo|spider) RewriteRule
>> !^robots\.txt$ - [F]
>>
>>
>> Kaip spręst?
>
>
> Žiūrėk apačio log'us ir gali paaiškėti, kad tas nežinomas bot'as yra
> koks 'Yandexbot' ar koks kitas (kurių Awstats'ai neidentifikuoja, kaip
> žinomų; google'ą, yahoo gal ir pažįsta priklausomai nuo versijos),
> kurį ir praleidi (antra RewriteCond taisyklė)... :-)
>
> Perrašyčiau taip:
>
> RewriteCond %{HTTP_USER_AGENT} bot [NC]
> RewriteCond %{HTTP_USER_AGENT} !(priimtinų bot'ų alternatyvos, tačiau
> pilnesnio vardo, bent jau su 'bot' priesagomis)
> RewriteRule !^robots\.txt$ - [F]
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v2
>
> iQIcBAEBCAAGBQJZzTyUAAoJEIGZp48fbGsmLVoP/iTh8KEAKfbisH2XKaV5FK7m
> /evT0CJRKGG9vqH9wprWt1TYnhhTcAq1ces0ivrfbJm9W85WGXqM9NJOnaJo7POP
> A3z8XIjBM+qkbrgI6J9y1CSWLgnb7x6p9JwkVhFSHERVDUJUstTM4JgwA8R/S8Tp
> QCbeU4oe3/xIqMZPxKgGRGpq3VC5G1UQpVMdXpSSr0QOSTG/F4OH/WJvefKZQyGT
> qqr9KxRJhWAka3cZT3pUMVNyF1Wt14pWgV6TqaVW4GYuoDs2TKPeEEdANyX0+7t/
> V10jm9S+cB1INipUPoG03Y4VHK8hwfr1Mfk08Wquo78384RemyO5oNWfhq4GkDpC
> 24rxm/kiT5g2DeOlIiw177o9982mTERmoBvJkwvzR9zvIP+0qgkX7ZJF4q1xuqM2
> 3w/6/RDqNyVo+7atQaNLkE+myb1K6vsdSRYOfUf08zPtc/Sw9TZUjGrwbEI9fKaB
> utGfJZKEa7a8OpwpRikx2oURrAqfzlqw+UhG4BILIp25G0irul2s5XHcMPjYGo3x
> x60rBHr8L3ORjeENgYDMgtIGzC3rDKy29HnIdo24+vlvPzCwmuElUiANW3Px2V79
> 3BW/YogE10nSajG6sZca55XMDoLCSa235YbJtJkW5znmH9RwHvDGZkIo0N2yE2rb
> wE4rUVlryq5+noEdN/Nc
> =d1fD
> -----END PGP SIGNATURE-----
>