Problem z obciążeniem hostingu

[LUser]

Dobry wieczór.

 

Mam problem ze swoją stroną. Jest to amatorski blog, kilkaset postów i kilkadziesiąt tysięcy komentarzy.

 

Ludzie lubią wpadać i coś czasmai napisać. ;-)

 

Dostałem notki z firmy hostingowej, że generuję zbyt duże obciążenie serwera.

 

Wszedłem do panelu adinistratora i np. wczoraj wyglądao to tak:

 

Cytat

Log z dnia: 2017.11.01
------------------------
Wywołań: 41857
Czas procesora: 3060900 ms (średnio 73 ms na wywołanie)
Obciążenie referencyjne: 6.65%
Obciążenie przez roboty indeksujące: 898693 ms (%)  1.95% ref.

-----Obciążenie w zależności od typu wywołania-----
GET                  2083271         68.1% - 4.52% ref. (Wywołań 39031 , średnio 53 ms, maksymalne 1222 ms )
POST                 973397          31.8% - 2.11% ref. (Wywołań 2684 , średnio 362 ms, maksymalne 654 ms )
HEAD                 4232            0.138% - 0.01% ref. (Wywołań 142 , średnio 29 ms, maksymalne 346 ms )

-----Obciążenie w zależności od robota indeksującego-----
bingbot              558426           18.2% - 1.21% ref. (Wywołań 2545 , średnio 219 ms)
Googlebot            285038           9.31% - 0.62% ref. (Wywołań 975 , średnio 292 ms)
Yahoo!               45344            1.48% - 0.10% ref. (Wywołań 173 , średnio 262 ms)
YandexBot            9559             0.312% - 0.02% ref. (Wywołań 23 , średnio 415 ms)
Baiduspider          326              0.0107% - 0.00% ref. (Wywołań 1 , średnio 326 ms)

-----Obciążenie w zależnosci od kodu zwróconego przez wywołanie-----
200                  2757243          90.1% - 5.99% ref. (Wywołań 34885 , średnio 79 ms, maksymalne 1222 ms )
301                  158279           5.17% - 0.34% ref. (Wywołań 499 , średnio 317 ms, maksymalne 735 ms )
503                  107320           3.51% - 0.23% ref. (Wywołań 1193 , średnio 89 ms, maksymalne 422 ms )
304                  23394            0.764% - 0.05% ref. (Wywołań 5165 , średnio 4 ms, maksymalne 561 ms )
404                  14071            0.46% - 0.03% ref. (Wywołań 71 , średnio 198 ms, maksymalne 664 ms )
500                  529              0.0173% - 0.00% ref. (Wywołań 32 , średnio 16 ms, maksymalne 46 ms )
302                  50               0.00163% - 0.00% ref. (Wywołań 5 , średnio 10 ms, maksymalne 22 ms )
206                  14               0.000457% - 0.00% ref. (Wywołań 7 , średnio 2 ms, maksymalne 2 ms )

-----Obciążenie w zależnosci od adresu IP-----
94.152.145.195       356751          11.7% - 0.77% ref. (Wywołań 1038 , średnio 343 ms, maksymalne 654 ms )
40.77.167.102        262109          8.56% - 0.57% ref. (Wywołań 677 , średnio 387 ms, maksymalne 1135 ms )
40.77.167.124        197479          6.45% - 0.43% ref. (Wywołań 510 , średnio 387 ms, maksymalne 989 ms )
213.136.76.162       144561          4.72% - 0.31% ref. (Wywołań 339 , średnio 426 ms, maksymalne 562 ms )
91.121.144.106       123499          4.03% - 0.27% ref. (Wywołań 307 , średnio 402 ms, maksymalne 1222 ms )
157.55.39.249        97441           3.18% - 0.21% ref. (Wywołań 1354 , średnio 71 ms, maksymalne 134 ms )
173.212.254.158      97278           3.18% - 0.21% ref. (Wywołań 236 , średnio 412 ms, maksymalne 601 ms )
35.184.189.105       66784           2.18% - 0.15% ref. (Wywołań 170 , średnio 392 ms, maksymalne 1154 ms )
5.172.239.161        60766           1.99% - 0.13% ref. (Wywołań 2005 , średnio 30 ms, maksymalne 1007 ms )
66.249.70.4          52250           1.71% - 0.11% ref. (Wywołań 288 , średnio 181 ms, maksymalne 658 ms )
66.249.70.6          51841           1.69% - 0.11% ref. (Wywołań 173 , średnio 299 ms, maksymalne 1122 ms )
66.249.70.8          48391           1.58% - 0.11% ref. (Wywołań 141 , średnio 343 ms, maksymalne 1052 ms )
91.231.24.250        48391           1.58% - 0.11% ref. (Wywołań 127 , średnio 381 ms, maksymalne 809 ms )
68.180.229.181       45344           1.48% - 0.10% ref. (Wywołań 173 , średnio 262 ms, maksymalne 597 ms )
80.51.7.3            24592           0.803% - 0.05% ref. (Wywołań 89 , średnio 276 ms, maksymalne 788 ms )
34.207.98.73         16971           0.554% - 0.04% ref. (Wywołań 45 , średnio 377 ms, maksymalne 505 ms )
37.47.212.101        16836           0.55% - 0.04% ref. (Wywołań 111 , średnio 151 ms, maksymalne 721 ms )
178.21.136.2         15828           0.517% - 0.03% ref. (Wywołań 158 , średnio 100 ms, maksymalne 455 ms )
83.22.255.218        12057           0.394% - 0.03% ref. (Wywołań 114 , średnio 105 ms, maksymalne 433 ms )
185.25.32.38         11711           0.383% - 0.03% ref. (Wywołań 84 , średnio 139 ms, maksymalne 428 ms )

-----Obciążenie w zależności od skryptu (wywołania zawierające parametry)-----
/                                                                                     663696          21.7%  1.44% (Wywołań 1987 , średnio 334 ms, maksymalne 675 ms )
/page/181/                                                                            70480           2.3%  0.15% (Wywołań 170 , średnio 414 ms, maksymalne 590 ms )
/wp-cron.php                                                                          58909           1.92%  0.13% (Wywołań 168 , średnio 350 ms, maksymalne 654 ms )
/page/182/                                                                            39567           1.29%  0.09% (Wywołań 93 , średnio 425 ms, maksymalne 543 ms )
/forum/index.php                                                                      24222           0.791%  0.05% (Wywołań 802 , średnio 30 ms, maksymalne 99 ms )
/page/22/                                                                             20254           0.662%  0.04% (Wywołań 50 , średnio 405 ms, maksymalne 582 ms )
/page/8/                                                                              19356           0.632%  0.04% (Wywołań 46 , średnio 420 ms, maksymalne 575 ms )
/page/179/                                                                            17740           0.58%  0.04% (Wywołań 47 , średnio 377 ms, maksymalne 515 ms )
/page/2/                                                                              17498           0.572%  0.04% (Wywołań 56 , średnio 312 ms, maksymalne 578 ms )
/page/180/                                                                            16977           0.555%  0.04% (Wywołań 46 , średnio 369 ms, maksymalne 499 ms )
/page/24/                                                                             15932           0.521%  0.03% (Wywołań 43 , średnio 370 ms, maksymalne 505 ms )
/page/6/                                                                              10616           0.347%  0.02% (Wywołań 29 , średnio 366 ms, maksymalne 494 ms )
/page/177/                                                                            7455            0.244%  0.02% (Wywołań 21 , średnio 355 ms, maksymalne 510 ms )
/page/21/                                                                             7046            0.23%  0.02% (Wywołań 19 , średnio 370 ms, maksymalne 494 ms )
/page/4/                                                                              6979            0.228%  0.02% (Wywołań 22 , średnio 317 ms, maksymalne 518 ms )
/page/3/                                                                              6729            0.22%  0.01% (Wywołań 23 , średnio 292 ms, maksymalne 510 ms )
/page/20/                                                                             6468            0.211%  0.01% (Wywołań 17 , średnio 380 ms, maksymalne 525 ms )
/page/7/                                                                              5959            0.195%  0.01% (Wywołań 18 , średnio 331 ms, maksymalne 500 ms )
/page/5/                                                                              5892            0.192%  0.01% (Wywołań 19 , średnio 310 ms, maksymalne 525 ms )
/page/23/                                                                             5534            0.181%  0.01% (Wywołań 16 , średnio 345 ms, maksymalne 469 ms )

-----Obciążenie w zależnosci od wywołania-----
/wp-admin/admin-ajax.php                                                              570632          18.6% (Wywołań 1432 , średnio 398 ms, maksymalne 610 ms )
/blog/2017/01/.......                                                                 82187           2.69% (Wywołań 248 , średnio 331 ms, maksymalne 1222 ms )
/robots.txt                                                                           81484           2.66% (Wywołań 239 , średnio 340 ms, maksymalne 464 ms )
/feed/                                                                                59971           1.96% (Wywołań 4237 , średnio 14 ms, maksymalne 653 ms )
/blog/2008/11...................                                                      52758           1.72% (Wywołań 169 , średnio 312 ms, maksymalne 735 ms )
/                                                                                     49727           1.62% (Wywołań 628 , średnio 79 ms, maksymalne 562 ms )
/wp-login.php                                                                         39511           1.29% (Wywołań 122 , średnio 323 ms, maksymalne 523 ms )

 

 

Co do tej pory zrobiłem:

1. Instalacja wtyczki wordfence i blokada (niektórych) IP botów .

2. Wykasowanie około 20 tys. komentarzy (z ok 76 tys. do ok. 50 tys.).

3. Podmiana pliku xmlrpc.php na jakiś 'pusty'.

4. Cofnięcie strony 'mapa strony' (czyli schowałaem ją aby nie była widoczna).

 

Większość tych działań jest wykonana dzisiaj więc zobaczymy jutro/pokutrze jakie rezultaty. Zastanawiam się co można jeszcze zrobić.

Widać spore obciążenie wp-admin/admin-ajax.php

Używam wtyczki wp discuz - bez niej będzie pewnie jeszcze gorzej?

Również mam wp super cache.

 

Może macie jakieś pomysły? Limit obciążenia maszyny mam do 1% :-)

 

[MaxPan]

Kup VPS bo przy tej ilości kontenta lżej już nie będzie. WP tak ma z zasady niestety.

[mojeprogramy.com]

- blokowanie IP

- zabezpieczenie WP

- monitorowanie sytuacji

 

https://mojeprogramy.com/jak-zabezpieczyc-strone-przed-botami
https://mojeprogramy.com/blokwanie-zakresow-ip
https://mojeprogramy.com/zabezpieczenie-wordpress

[ttah]

Działasz na PHP7? Jak nie, to się przełącz, może się uda bez zmiany hostingu.

[mghost.pl]

Masz limit 1%?

A masz tam cache skonfigurowany?

 

 

[LUser]

Dziękuję za odpowiedzi.

 

Spróbuje odpisać na poszczególne wątki:

1. Mam wtyczkę Super cache,
2. PHP jest w wersji 5.4 - co da przejście na 7.0?
3. VPS.. nie wiem ile to kosztuje ale moja strona to nie jest komercyjny serwis, jak mam do tego dokładać to...
4. o blokowaniu IP itp pisałem. Na razie nie blokuje botów z Googla. Czy blokady wpływają na pozycjonowanie?

[mghost.pl]

Przejście na php 7.0 przyspieszy znacznie Twoją stronę, skróci czas wykonywania skryptów co powinno zmniejszyć obciążenie.

[LUser]

Słuchajcie, jeżeli chciałbym poblokować roboty indeksujące to:

1. stworzyłem w notatniku plik robots.txt

2. wpisałem tam taką treść:

Cytat

User-agent:bingbot
Disallow: /
User-agent:Yahoo!
Disallow: /
User-agent:YandexBot
Disallow: /
User-agent:Baiduspider
Disallow: /
User-agent:Googlebot
Allow: /
Crawl-delay: 500

3. wysyłam plik do głównego katalogu z WP (z moją domeną).

 

Dobrze?

 

 

I jeszcze jedno, plik .htaccess wygląda tak:

Cytat

RewriteEngine On
RewriteBase /

#uploaded files
RewriteRule ^(.*/)?files/$ index.php [L]
RewriteRule ^(.*/)?files/(.*) wp-content/blogs.php?file=$2 [L]

RewriteCond %{REQUEST_FILENAME} -f [OR]
RewriteCond %{REQUEST_FILENAME} -d
RewriteRule . - [L]
RewriteRule  ^([_0-9a-zA-Z-]+/)?(wp-.*) $2 [L]
RewriteRule  ^([_0-9a-zA-Z-]+/)?(.*\.php)$ $2 [L]
RewriteRule . index.php [L]
 

Czy to jest potrzebne? Chciałbym w tym pliku umieść tę treść: sblam-czarna lista

[Mion]

1 godzinę temu, LUser napisał:

Słuchajcie, jeżeli chciałbym poblokować roboty indeksujące to: [..] Czy to jest potrzebne?

Nawet prawidłowo skonfigurowany plik robots.txt nie ograniczy wejść robotów "niefirmowych". W tej kwestii jedynie blokady IP + ewentualnie po user-agentach.

 

Dnia 2.11.2017 o 22:16, LUser napisał:

VPS.. nie wiem ile to kosztuje ale moja strona to nie jest komercyjny serwis, jak mam do tego dokładać to...

To dla obciążonego hostingu nie ma znaczenia.

 

Dnia 2.11.2017 o 22:16, LUser napisał:

Czy blokady wpływają na pozycjonowanie?

TAK w zablokowanych wyszukiwarkach.

[Tomek K85]

@LUser - już lepiej? daj znać co pomogło, bo wątek ciekawy!

[LUser]

@Tomek K85 a guzik, teraz jest kole dziesięciu procent...

Nikt nie odpowiedział czy te moje propozycje mają dobrą skłądnie: 

Nie mam pomysłu. Myślałem, że WP Super Cache lepiej sobie z tym  poradzi.

 

Cytat

Log z dnia: 2017.11.16
------------------------
Wywołań: 63607
Czas procesora: 4581483 ms (średnio 72 ms na wywołanie)
Obciążenie referencyjne: 9.95%
Obciążenie przez roboty indeksujące: 720016 ms (%)  1.56% ref.

-----Obciążenie w zależności od typu wywołania-----
GET                  2795884          61% - 6.07% ref. (Wywołań 56525 , średnio 49 ms, maksymalne 2162 ms )
POST                 1783672         38.9% - 3.87% ref. (Wywołań 6992 , średnio 255 ms, maksymalne 697 ms )
HEAD                 1901            0.0415% - 0.00% ref. (Wywołań 88 , średnio 21 ms, maksymalne 50 ms )
PROPFIND             26              0.000568% - 0.00% ref. (Wywołań 2 , średnio 13 ms, maksymalne 14 ms )

-----Obciążenie w zależności od robota indeksującego-----
bingbot              619077           13.5% - 1.34% ref. (Wywołań 2405 , średnio 257 ms)
Googlebot            92944            2.03% - 0.20% ref. (Wywołań 549 , średnio 169 ms)
YandexBot            5920             0.129% - 0.01% ref. (Wywołań 16 , średnio 370 ms)
Yahoo!               2075             0.0453% - 0.00% ref. (Wywołań 5 , średnio 415 ms)

-----Obciążenie w zależnosci od kodu zwróconego przez wywołanie-----
200                  3703761          80.8% - 8.04% ref. (Wywołań 48036 , średnio 77 ms, maksymalne 2162 ms )
503                  544674           11.9% - 1.18% ref. (Wywołań 4881 , średnio 111 ms, maksymalne 401 ms )
304                  172571           3.77% - 0.37% ref. (Wywołań 10210 , średnio 16 ms, maksymalne 388 ms )
404                  83420            1.82% - 0.18% ref. (Wywołań 223 , średnio 374 ms, maksymalne 640 ms )
301                  76450            1.67% - 0.17% ref. (Wywołań 220 , średnio 347 ms, maksymalne 497 ms )
403                  298              0.0065% - 0.00% ref. (Wywołań 20 , średnio 14 ms, maksymalne 33 ms )
206                  185              0.00404% - 0.00% ref. (Wywołań 11 , średnio 16 ms, maksymalne 41 ms )
500                  98               0.00214% - 0.00% ref. (Wywołań 4 , średnio 24 ms, maksymalne 59 ms )
405                  26               0.000568% - 0.00% ref. (Wywołań 2 , średnio 13 ms, maksymalne 14 ms )

 

 

Cytat

Obciążenie w zależnosci od wywołania-----
/wp-admin/admin-ajax.php                                                              1327383          29% (Wywołań 3134 , średnio 423 ms, maksymalne 697 ms )
/feed/                                                                                104340          2.28% (Wywołań 4588 , średnio 22 ms, maksymalne 517 ms )
/                                                                                     81856           1.79% (Wywołań 1333 , średnio 61 ms, maksymalne 622 ms )
/robots.txt                                                                           57421           1.25% (Wywołań 201 , średnio 285 ms, maksymalne 539 ms )

itd...

 

W WP Super Cache ustawiłem, aby nawet znani uzytkownicy (zalogowani) widzieli stronę z cache-a. Jaki ustawić czas:

Cache Timeout

seconds

 - tak teraz mam.

 

 

Czy to jest duży ruch?   /ostatnie 7 dni/

• Average Daily Page Views

  2.8K

•  

• Average Daily Unique Visits

  903.4

[Tomek K85]

@LUser swoją drogą wiesz o co chodzi w obciążeniu /wp-admin/admin-ajax.php ? Dużo pracujesz w kokpicie? Zerkałeś w takie rzeczy? -> https://kinsta.com/blog/admin-ajax/ 

Ciekaw jestem czy podniesienie PHP do 7 coś pomoże jak ktoś sugerował. 

Może być też tak jak pisano wyżej - WP na pewnym etapie już tak może mieć... ?

[LUser]

Ostatecznie zmieniłem hosting. Od półtora miesiąca jest cisza...

Zainteresowanie stroną jest nadal takie same.

[Takitam]

@LUser   Możesz powiedzieć z jakiego hostingu na jaki zmieniłeś?