Це знає кожен хто їх писав або захищав від них свій сайт.
Боти можуть довгий час давати велику нагрузку на сервер, посилаючи запити зі швидкістю кулемета.
Отже висновок перший, вставляйте паузи між запитами.
Культурний бот має менші шанси бути забаненим, навіть якщо адмін запримітить такий парсер.
Буває що особливо злосна система захисту шле лісом всіх лівих ботів як тільки розпізнає.
Та не все так погано.
Іноді досить посилати запит з юзер-агентом браузера, і ти вже біла людина :)
Якщо сервер визнає лише залогіненого юзера, також не проблема.
Звичайним людським способом логінюся в браузері, вводжу капчу, якщо є, і отримую звичайний сесійний доступ.
Вилущую сесійну куку за допомогою Firebug, додаю юзер-агент, і бот до кінця сесії може безперешкодно ходити туди-сюди. Ніхто його не чіпає :)
Та найзручніший вхід для програміста не завжди там де знаходиться парадний інтерфейс юзера і мишки бігають.
Анекдот
Після корпоративу два менеджери на перекурі.
- Бухав вчора з начальством, нормальні виявляється люди.
- А я бухав з програмістами, я знав що вони не люди :)
Так от, часто на сайтах є публічні або приватні API, там сервер видає такий милий для ботів json, ну як пройти мимо :) Виявити API зовсім не складно тим же Firebug-ом. Єдина заморочка, частенько сервер обслуговує лише тих ботів, в котрих є ключі. Тут я покладаюся на поганий захист, не повірите, ключі часто літають без шифрування і ховаються за редіректами. З Firebug пробити такий захист - дитяча забавка.
Бували й приколи. Ходили вони звичайно по API, ключі отримали після цілком законної реєстрації. А сервер запити не пропускає, викидає капчу, типу докажи що ти людина, і це на вході для роботів. Мдя-я-я, незрозуміла логіка в творців сайту. Обійти капчу не проблема, браузер + Firebug, і вже є сесійний ключ дійсний на тиждень. Бот-трейдер заходить з юзер-агентом браузера, сесійним ключем та API-ключем, і сервер бадьоро обслуговує мутанта :)
А тим часом ботоводи трейдери в чаті з нудьги казки складають
paltarasych: давным-давно, жили боты...
pasatija4: не. мне про современных
asmoel: совсем недавно жилы боты...
asmoel: им было скучно, и они обвалил курс на бтц-ы
asmoel: за это их распрограммировали
xhawkx: ... а потом злая колдунья отрубило АПИ на эксмо ...
paltarasych: и хозяин два дня его маму код шатал
psyx80: и стали они торговать воздухом...
asmoel: и обвалили его тоже
asmoel: все, за что они ни брались превращалось в слив
asmoel: и восстали боты из праха капитала, и началась война за уничтожение его остатков...
psyx80: с горя, ботовод Вася, плюнул в монитор и растер, в первые за пол года он увидел яркие цвета монитора...