2012.12.31 12:18, Vytautas Butkus rašė:
> Sveiki,
>
> pasidare idomu ar yra kazokie apribojimai, jeigu noriu crawlinti
> webpage'us, kaip kad pvz google'as daro ir duomenis atitinkamai saugoti
> pas save, su mintimi, jog veliau juos atvaizduosiu savo page'o user'iams?
>
> Ar yra kazkokie istatymai(international, lietuviski), kuriuos reiketu
> pasiskaityti uzsiimant tokiu reikalu? Ar galima crawlinti viska is eiles
> ir naudoti tuos duomenis(pateikiant nuoroda i ten is kur jie buvo
> istraukti)?
>
> Dekui
>
Skaityt "Terms of Use", jei tokia info yra puslapyje.
Reiktu laikytis standartu, atsizvelgt i robots.txt, noindex, nofollow...