Obciążenie serwera linuxpl.info - problem

[amb]

Witam,

bardzo proszę o pomoc w następującej sprawie:

Moja strona utrzymywana w linuxpl została już drugi raz zablokowana z powodu generowania zbyt dużego obciążenia. Nie wiem, co może być tego przyczyną - nic w niej nie zmieniałem, nawet od dłuższego czasu nie dodałem nowej treści.

Debug jaki otrzymałem od pracowników wygląda następująco:

/tmp:/usr/local/lib/php/:/usr/sbin/:/usr/bin/:/usr/local/bin/:/usr/local/sbin/:/bin/:/sbin/) in "..., 8192) = 8192

write(3, "\1\7\0\1\37\370\0\0/:/tmp:/usr/local/lib/php/:/usr/sbin/:/usr/bin/:/usr/local/bin/:/usr/local/sbin/:/bin/:/sbin/) in /home/nazwa_konta/domains/moja-domena.pl/public_html/wp-includes/functions.php on line 1425\
nPHP Warning:  is_dir() [<a href='function.is-dir'>function.is-dir</a>]: open_basedir restriction in effect. File(/) is not within the allowed path(s): (/home/nazwa-konta/:/tmp:/usr/local/lib/php/:/usr/sbin/:/usr/bin/:
/usr/local/bin/:/usr/local/sbin/:/bin/:/sbin/) in /home/nazwa-konta/domains/moja-domena.pl/public_html/wp-includes/functions.php on line 1425\nPHP Warning:  is_dir() [<a href='function.is-dir'>function.is-dir</a>]:
open_basedir restriction in effect. File(/) is not within the allowed path(s): (/home/nazwa-konta/:/tmp:/usr/local/lib/php/:/usr/sbin/:/usr/bin/:/usr/local/bin/:/usr/local/sbin/:/bin/:/sbin/) in /home/nazwa-konta
/domains/moja-domena.pl/public_html/wp-includes/functions.php on line 1425\nPHP Warning:  is_dir() [<a href='function.is-dir'>function.is-dir</a>]: open_basedir restriction in effect. File(/) is not within the allowe"..., 8192) = 8192

Na końcu debugu znajdują się jeszcze takie odwołania:

odwolania

199.58.86.206 - - [07/Aug/2014:14:30:20 +0200] "GET /author/zacmienieksiezyca/ HTTP/1.0" 200 11086 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
199.58.86.206 - - [07/Aug/2014:14:30:23 +0200] "GET /film/amber-laura-heard/ HTTP/1.0" 200 13501 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
199.58.86.206 - - [07/Aug/2014:14:30:26 +0200] "GET /film/house-of-cards/ HTTP/1.0" 200 12492 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
83.4.185.238 - - [07/Aug/2014:14:30:19 +0200] "GET /wp-content/uploads/2012/03/Gra-o-Tron-okladka-audiobooka-300x300.jpg HTTP/1.1" 200 27490 "https://precyl.com/martin-george-rr-gra-o-tron-id1945301/?
hl=%2Btron+%2Baudiobook" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0"
199.58.86.206 - - [07/Aug/2014:14:30:28 +0200] "GET /film/house-of-cards-serial-jednego-dnia/ HTTP/1.0" 200 13401 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
199.58.86.206 - - [07/Aug/2014:14:30:31 +0200] "GET /film/juno%E2%80%93komedia-o-ciazy-z-elementami-dramatu/ HTTP/1.0" 200 14135 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
199.58.86.206 - - [07/Aug/2014:14:30:35 +0200] "GET /film/opetani-the-crazies-2010/ HTTP/1.0" 200 13138 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
199.58.86.206 - - [07/Aug/2014:14:30:37 +0200] "GET /film/spring-breakers/ HTTP/1.0" 200 13503 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
199.58.86.206 - - [07/Aug/2014:14:30:41 +0200] "GET /gry/disney-zamknal-lucasarts/ HTTP/1.0" 200 12708 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
199.58.86.206 - - [07/Aug/2014:14:30:51 +0200] "GET /konkursy/wyniki-konkursu-z-hyper/ HTTP/1.0" 200 14053 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; https://www.majestic12.co.uk/bot.php?+)"
78.9.153.7 - - [07/Aug/2014:14:30:53 +0200] "GET / HTTP/1.1" 200 14813 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.198

[websign]

Jak widać Majesticbot chodzi dużo po stronie, trzeba go zablokować

[amb]

Zablokowane, dziękuję. Pomogło. :-)

Mam jeszcze pytanie - czy rzeczywiście ten bot generuje takie duże obciążenia czy też hosting jest aż tak beznadziejny?

[Gość]

Możliwe, że hosting beznadziejny albo po prostu jest o zbyt małych parametrach w porównaniu do ruchu - ja blokuje jedynie Azję plus doraźnie prywatne boty, które udają użytkowników... i wystarcza.

[ar4]

Zablokuj niepotrzebne boty. Listę znajdziesz na pewno gdzieś w sieci. U mnie dedyk był na wykończeniu, nie wyrabiał itp. Zablokowałem dostęp dla większości botów, głównie azja i obciążenie na poziomie 30% a więc coś niewyobrażalnie ogromnego...

[Radeq]

Moim zdaniem, za dużo robotów.

Aby zdiagnozować: W panelu directadmin powinny być zainstalowane statystyki Awstats (jeśli masz starsze konto to musisz je zainstalować bezpośrednio z DA i poczekać z tydzień aż zbierze się trochę danych). "Hosts, Robots/Spiders visitors" pozwoli na zdiagnozowanie które IP/roboty często wchodzą na stronę, natomiast "HTTP Status codes>404" pozwoli sprawdzić które zasoby nie są dostępne na stronie. Wtedy możesz podjąć odpowiednie kroki.

Blokada robotów: Jako, że trochę się tego przewija przez moje zaplecze na blogu upubliczniłem swoją listę

https://www.blog.radeq.info/blokada-robotow-i-chin-na-stronach-zapleczowych-399.html

. Pamiętaj, że czasami WP nadpisuje plik .htaccess w katalogu domeny dlatego polecam umieszczenie pliku blokującego jak najwyżej ( home/nazwa_konta/.htaccess ).

Klasyka: Może warto jakąś wtyczkę cache zainstalować?

[amb]

Dziękuję wszystkim za pomoc, myślę że temat jest do zamknięcia.

Do zablokowania wykorzystałem plik robots, mam nadzieję, że takie rozwiązanie jest ok.

[mghost.pl]

Niestety nie wszystkie crawlery honorują plik robots.txt

Możesz spróbować stronę za cloudflare. Odciążysz nieco serwer z serwowania statyki, a przy okazji bardzo wygodnie możesz zablokować dostęp z wybranych krajów. W razie problemów, chętnie pomogę.

[amb]

Dziękuję. W razie kolejnych problemów na pewno się zgłoszę.