Jak usunąć pliki z indeksu?

[Witoldem]

Witam.

Mój problem polega na tym, że w Google mam zaindeksowanych masę plików z kodem JavaScript. Ustawiłem plik robots.txt tak, aby blokował dostęp do folderu ze skryptami. Było to ok. miesiąca temu, a plików w indeksie nawet przybyło. Może ktoś mi doradzi, co jeszcze powinienem zrobić?

[cenzura]

Wrzuć treść pliku robots.txt i ścieżki na jakich znajdują się skrypty.

[Witoldem]

Pliki są po prostu w folderze "scripts", a treść pliku robots.txt wygląda tak:

User-agent: *
Disallow: /scripts/

[piotr.k]

www.google.com/support/webmasters/bin/answer.py?answer=164734&hl=pl

[Witoldem]

Teraz myślę, że może mają na to wpływ uprawnienia dostępu, choć plik robots.txt i tak powinien zrobić swoje.

Wcześniej miałem chmod dla folderu ze skryptami 555. Teraz ustawiłem na 311. Czy tak powinno być?

[piotr.k]

chmod nie ma znaczenia, a jaki powinien być zależy od serwera - zazwyczaj 444 do js, najlepiej zostawić domyślne i nie zmieniać

www.google.com/support/webmasters/bin/answer.py?answer=93708

po przeczytaniu dalej uważasz, że sam robots.txt wystarczy aby nie było w indeksie?

[Lexy]

Zostaw blokadę w robotsach, ale usuń zaindeksowane dotychczas pliki przez narzędzia dla webmasterów.

[Witoldem]

Ok. Tak spróbuję zrobić, ale czy to normalne, że Google indeksuje pliki JavaScript? Nie pierwszy raz mam taką samą strukturę folderów na stronie i nigdy mi nie indeksowało skryptów. Tym razem doszło do tego, że site w Google dla tej strony wynosi ponad 100, a rzeczywistych podstron jest tylko kilkanaście.

Czy takie zjawisko może mieć jakieś szkodliwe działanie, poza bałaganem w wynikach wyszukiwania?

[piotr.k]

Google czasami łyka wszystko co znajdzie i na co ma ochotę...

Dodatkowo może analizować co robisz poprzez CSS czy JS, czy nie serwujesz użytkownikom innej zawartości niż botowi itp. itd.

Szkody z tego żadnej nie ma (chyba, że masz w tych plikach coś co chcesz przed nimi ukryć).

Bałaganu w wynikach też to raczej nie powoduje, bo niby jak?

[MaTusz]

sory ze w twoim temacie ale nie chce zakladac nowego. po jakim czasie google aktualizuje to co dodal do "bledy w indexie" ? bo mialem tam troche bledow ktore usunalem a codziennie sprawdzam to zamiast ubywac to przybywa :/

[Witoldem]

Witam ponownie.

Usunąłem w GWT adres https://domena.pl/scripts/ z myślą, że zostaną usunięte wszystkie pliki z tego folderu. Tymczasem site w Google nie dość, że się nie zmniejszył, to nawet urósł, choć liczba podstron się nie zmieniła. W GWT w widoku błędów indeksowania widzę, że robots.txt zablokowało dostęp do plików z folderu "scripts", ale dalej dużo dużo jest ich w indeksie.

Czy w GWT powinienem wpisać ręcznie wszystkie adresy plików JS, które są w indeksie, aby je usunąć? Nie wystarczy podanie folderu?