Rosnąca liczba zablokowanych stron w GWT

[moto-strefa]

Witam serdecznie

Od pewnego czasu zauważyłem w GWT rosnącą liczbę zablokowanych stron rzekomo przez plik robots.txt.

Pomimo tego, że mój plik robots.txt wygląda na to jakby googlowi nie chciał nic blokować mianowicie:

User-agent: Mediapartners-Google

Disallow: /admin/

User-agent: Adsbot-Google

Disallow: /admin/

User-agent: Googlebot

Disallow: /admin/

User-agent: *

Disallow: /admin/

Disallow: /ips_kernel/

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__

Disallow: /*&view=

Disallow: /*viewtopic.php?

Disallow: /lofiversion/*

Nie mam pojęcia czemu liczba zablokowanych stron przez plik robots.txt tak drastycznie urosła, może w nim coś jest nie tak ?

Jeszcze 04.08.2013 liczba zablokowanych stron wynosiła 0 a teraz to prawie:

Zaindeksowano łącznie Zablokowane w pliku robots.txt

352 691

1 353 514

Proszę o pomoc,

[zgred]

Masz zablokowane np lofiversion ktore na forum rośnie - jesli było keidyś zaindeksowane to będzie to wykazane obecnie jako zablokowane...

Poza tym *viewtopic co oznacza, że blokujesz tematy forum ... więc gdzie logika ?

[Kutang Pan]

Poza tym *viewtopic co oznacza, że blokujesz tematy forum ... więc gdzie logika ?

Pewnie w .ht

[zgred]

jeśli w ht jest rewrite to nei ma sensu tego blokować.

[Kutang Pan]

Strzeżonego Pan Bóg strzeże. Jak zerkniesz w stopkę - jest rewrite, a "viewtopic" to dobry fp.

[moto-strefa]

No tak wszystko się zgadza, ale czy nie jest tak ze dla robotów google są inne reguły zdefiniowane ? i blokowany jest tylko katalog admin ?

W Waszych wypowiedziach znalazłem skrót fp - co on oznacza ?

Jaki Wy byście plik robots.txt zostawili ?

Zmieniłem na taki:

User-agent: Mediapartners-Google

Disallow: /admin/

User-agent: Adsbot-Google

Disallow: /admin/

User-agent: Googlebot

Disallow: /admin/

User-agent: *

Disallow: /admin/

Disallow: /ips_kernel/

[moto-strefa]

W dalszym ciągu nie rozumiem dlaczego GWT wskazuje 1.3 miliona zablokowanych stron przez plik robots.txt a np. w Bingu są one poindeksowane - pomoże ktoś ?

[intruder2600]

Przyjrzyj się dokładnie strukturze urli na swoim forum, ale (nie mam czasu przeglądać całej struktury forum):

Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__
Disallow: /*&view=
Disallow: /*viewtopic.php?
Disallow: /lofiversion/*

To jest do wywalenia.

[moto-strefa]

Wydaje mi się, że tak naprawdę nie chodzi o plik robots.txt gdyż przez kilka dni dałem pełny dostęp do strony. Liczba stron blokowana przez robots jest chyba konsekwencją działań ręcznych czyli Nienaturalne linki z Twojej witryny

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__

Disallow: /*&view=

Disallow: /*viewtopic.php?

Disallow: /lofiversion/*

Inne moje forum ma jeszcze bardziej restrykcyjny plik robots.txt i w GWT jest napisane, że blokowanych stron: 0 (forum na tym samym silniku), zresztą taki robots.txt jest zasadny gdyż zobacz jak wyglądaja strony w bingu

https://www.bing.com/search?q=site%3Aforum.opel24.com&qs=n&form=QBLH&filt=all&pq=site%3Aforum.opel24.com&sc=0-6&sp=-1&sk=

indeksuje zupełnie bezwartościowe witryny