Jump to content

Duża ilość botów indeksujących na stronie


Recommended Posts

Czy to normalne? Zazwyczaj na naszej stronie było ich kilka, wczoraj wieczorem koło 23 było 11. Wiem że zazwyczaj boty są aktywne głównie w nocy ale dzisiaj rano było ich aż 8. Sklep internetowy ma 3 miesiące i około 2500 produktów

Screen poniżej:

boty.jpg

Link to post
Share on other sites

Faktycznie czasami tych crawlerów jest więcej niż 1-2 w danym momencie. Jeden z naszych klientów mial sytuację, że na vpsie load rósł do 10, bo właśnie roboty go odwiedzały po tym, jak zapomniał opłacić domeny i przez ponad dobę był niewidoczny w sieci.

Link to post
Share on other sites
  • 1 year later...
  • 3 weeks later...
  • 6 months later...
On 2.06.2016 at 0:23 PM, kikimora said:

jak je sprawdzać i  blokować?

Sprawdzać po IP w serwisach typu: stopforumspam, których obsługą chwalisz się w innym wąttku.

On 24.06.2016 at 0:20 PM, Rychu said:

Trzeba dodać regułę do pliku robots.txt najlepiej które konkretnie boty blokować.

Równie dobrze możesz dresiarzowi, który che ci wyklepać miskę by tego nie robił = przeważnie nieskuteczna "metoda".

Skuteczniejszą metoda niż robots.txt jest blokowanie IP w pliku .htaccess lub w obrębie całego serwera na firewallu. jeśli masz dedykowanego lub VPS

 

 

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL
- Full Stack Developer - :chatownik:

 

Link to post
Share on other sites
2 hours ago, kikimora said:

Problem w tym, że najpierw takie IP trzeba znać :)  

Trzeba nauczyć się je rozpoznawać... Tak bym, to zagadnienie ujął. 

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL
- Full Stack Developer - :chatownik:

 

Link to post
Share on other sites

przyzwyczaj się do tego, że różne boty to już standard, a blokowanie po ip to walka z wiatrakami :)

programista, webmaster, strony internetowe, Warszawa

opublikuję za darmo merytoryczny artykuł z linkiem (linkami) na stronie pinos.pl, kategorie: webmasterka, seo, oprogramowanie, php, js html, css, frameworks, ludzie związani z internetem etc.

Link to post
Share on other sites
16 hours ago, kayman said:

a blokowanie po ip to walka z wiatrakami

Owszem IP można zmienić przez proxy, vpn ale jeśli niechciany zakładacz kont będzie korzystał z małej puli IP, to do czasy ich wymiany (IP) zakładanie kolejnych będzie niemożliwe.

Nie ma skutecznej metody na blokowanie zakładania "niechcianych" kont jednoczenie przyjaznej dla użytkowników.

 

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL
- Full Stack Developer - :chatownik:

 

Link to post
Share on other sites
5 godzin temu, Mion napisał:

Nie ma skutecznej metody na blokowanie zakładania "niechcianych" kont jednoczenie przyjaznej dla użytkowników.

w tym co monitoruję wywalam 95% botów ale wymaga narzędzia lepszego niż formuły w  .htaccess, reszta wywala się na prostym tricku (którego to od pół roku nie zmieniałem) wiec śmiem twierdzić ze się da 99,9% ogarnąć automatycznie a co ciekawe w większości przez zwykłe lenistwo spamera/hacrera/frajera/etcera :) 

pozostały ułamek wymaga dopisania formuły blokującej czyli 1-3 razy w tygodniu w tym faktycznie mogą być ip/grupy ip

programista, webmaster, strony internetowe, Warszawa

opublikuję za darmo merytoryczny artykuł z linkiem (linkami) na stronie pinos.pl, kategorie: webmasterka, seo, oprogramowanie, php, js html, css, frameworks, ludzie związani z internetem etc.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By znakzapytania
      Witajcie według wszelkich informacji takie działanie promocyjne  jest szkodliwe i  niby nic nie daje w rankingach.Każdy blog o pozycjonowani mówi ze takie blasty już poszły dawno w zapomnienie.   Jednak cały czas widać jak każdego dnia są palone setki miejscówek przez takich własnie toksycznych spamerów. Treść i wartość to ma żadną oczywiście jeśli kiedyś mieliśmy linki na takiej stronie no to ich rating natychmiast spada i stają się zamiast pomocą to naszym przekleństwem. Taki spamer potrafi zabić stronkę w ciągu kilku dni produkując i 20 000 postów. Po tym czasie następują już problemy z indeksowaniem i strona jest bezużyteczna. Pomimo ze próbują robić przeplatanki i inne techniki,które maja nakierować boty Googlerskie na ich śmieciowe strony.  Najwięcej w tej branży to jest mimo wszystko niebieskich tabletek. Mechanizm działa w ten sposób ze jest przejście na stronę i po kilku sekundach  następuje przekierowanie na sklep sieci partnerskiej. Domeny są dziesiątki jak nie setki + wzajemne zapętlanie. Idąc takim tropem przejrzałem chyba z 50 miejscówek i odkryłem ze wielu to jednak niestety Polacy. 

      Moje pytanie jest następujące jak to niby ma działać. Szanse na trafienie na takie forum przez klienta są nikłe.  Jedyna opcja to ze robi jakieś chwilowe wybicie następuje ileś zakupów i banicja.
      Jednak każda domena to koszty programy to koszty. Każdy projekt trzeba przygotować lub zlecić więc koszty i jeszcze raz koszty.
      Nie pytam o to czy jest to etyczne bo kto w dzisiejszych czasach myśli o kimś innym niż jego czubek noska. 
    • By smakorek
      Witam chciałem się zapytać gdzie ganiają "szybkie" boty i w czym są szybsze od innych. Pytam ponieważ widziałem parę krótkich wątków na ten temat, w których nic nie zostało wytłumaczone. Pozdrawiam
    • By tur77ek
      W pliku .htaccess mam taki wpis
      RewriteCond %{HTTP_USER_AGENT} Twice|Roge|Yand|Baidu|site|Ahre|AhrefsBot|seo|Yahoo|Voil|libw|Java|Sogou|psbot|Exabot|boitho|ajSitemap|Rankivabot|DBLBot|MJ1|MJ12bot|Rankivabot|ask
      RewriteRule ^(.*)$ http://www.wp.pl/ [L,R=301]
      Order Allow,Deny
      deny from 111 124 125 147 169.208 175 180 182 183 202 203 210 211 218 219 229 221 222
      deny from 112.0.0.0/5 120.0.0.0/6
      Allow from all
      wygląda na to że nie działa jak powinien w majesticseo.com widać wszystkie linki które przychodzą z domeny na której mam blokadę, czy wpis jest poprawny ?
      Czy jest możliwości zablokowania wszystkich robotów oprócz googla ?
    • By blake
      Potrzebuję zablokować globalnie boty dla całego vpsa. Czytałem na blogu u Zgreda, ktoś nawet podał regułkę, ale po wrzuceniu jej do http.conf i restarcie apacza wywala mi wszystie strony - jakieś nieprawidłowe przekierowanie robi. Może ktoś z Was ma to zastosowane u siebie i mógłby napisać tą regułkę i info gdzie to wrzucić.
      Blokowanie w htaccess jest trochę uciążliwe przy kilkuset domenach.
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy