Jump to content
dentro

Jak zablokować zaplecze przed robotami: ahrefs, majestic seo i open site explorer?

Recommended Posts

Google Ci zablokowali?

Przykład:

.htaccess
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* - [F,L]

lub

robots.txt
User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: rogerbot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: *
Disallow: /


Remember to brush your teeth !
tworzenie stron w rozsądnej cenie oraz biuro rachunkowe poznań.

Nie masz jak dojechać? Wynajmij limuzynę w Poznaniu.

Share this post


Link to post
Share on other sites

Ja mam tak:

BrowserMatchNoCase rogerbot bad_bot
BrowserMatchNoCase exabot bad_bot
BrowserMatchNoCase MJ12bot bad_bot
BrowserMatchNoCase dotbot bad_bot
BrowserMatchNoCase gigabot bad_bot
BrowserMatchNoCase AhrefsBot bad_bot
Order Deny,Allow
Deny from env=bad_bot

Edited by czarny

Share this post


Link to post
Share on other sites

Czy ta blokada jest po to aby nie było widać ile jest linków wychodzących do naszej domeny pozycjonowanej? Czy żeby nie było widać ile nasza domena ma bl?


Bezgotówkowo auto zastępcze z oc sprawcy na czas naprawy. Jeśli natomiast chcesz kupić tanie OC naprawdę dobra multiagencja. Czy każdy może mieć apartament na wynajem i na tym zarobić?

Share this post


Link to post
Share on other sites

U mnie reguły to wycinają np. Wszystkie mi znane adresy z ovh, hetznera, całe .ru, .ua, .jp, .cn, .br, .lt, .vn + pojedyncze ip lub cale klasy gry uznam, że to źródło niepotrzebnego ruchu

Edited by Gucci

Share this post


Link to post
Share on other sites

pozostaje jeszcze bing :D

  • Like 1

Blog seo.zgred.pl przestał istnieć, teraz wszystko jest na www.zgred.pl

 

 

Share this post


Link to post
Share on other sites

Zgred gdzieś czytałem jak ty blokujesz roboty ale nie mogę znaleźć może zapodaj prawidłową regułkę dla htaccess

ja mam taką ale w majestic widać wszystko jak na dłoni chyba jest coś nie tak z tym wpisem

RewriteCond %{HTTP_USER_AGENT} Twice|Roge|Yand|Baidu|site|Ahre|AhrefsBot|seo|Yahoo|Voil|libw|Java|Sogou|psbot|Exabot|boitho|ajSitemap|Rankivabot|DBLBot|MJ1|MJ12bot|Rankivabot|ask

RewriteRule ^(.*)$ http://www.wp.pl/ [L,R=301]

Order Allow,Deny

deny from 111 124 125 147 169.208 175 180 182 183 202 203 210 211 218 219 229 221 222

deny from 112.0.0.0/5 120.0.0.0/6

Allow from all

Czy jest możliwości zablokowania wszystkich robotów oprócz googla ?

Edited by tur77ek

Share this post


Link to post
Share on other sites

Co do tego, co widać w Majesticu - kiedy "wyciąłeś" jego roboty? Bo równie dobrze roboty Majestica mogły już przejrzeć Twoją stronę na wylot, a teraz pokazują to, co zebrały wcześniej.

A czy w Majesticu przestaną pokazywać informacje o Twojej stronie po jej ponownym odwiedzeniu (i czy wywalą to od razu) - niech się wypowie ktoś, kto to sprawdzał na własnej skórze.

Czy jest możliwości zablokowania wszystkich robotów oprócz googla ?

Nie sądzę, żeby to było sensownie wykonalne inaczej, niż wymieniając User-Agenty i zakresy IP dla konkretnych botów.

Gdybyś chciał na tej podstawie jawnie "dopuścić" tylko roboty Google'a to wyciąłbyś użytkowników, którzy też jakieś tam User-Agenty i IPki mają.

Od biedy można jawnie wyciąć te lepiej znane po User-Agent i IP, a te mniej znane po User-Agent zawierającym np. bot, spider, crawler itd. (dopuszczając jawnie User-Agenty robotów Google'a). Ale nie wiem, czy warto się w to zagłębiać.

Jeszcze inaczej można poza jawnym wycięciem tych najpopularniejszych dopuszczać tylko określone User-Agenty odpowiadające przeglądarkom, ale moim zdaniem nie warto, nie mówiąc już o tym, że niechcący można stracić jakąś część "niestandardowych" użytkowników.


spacer.png

Synoglota - synonimizator języka polskiego i angielskiego: ZOBACZ - lato się skończyło, a promocja trwa! :)

Share this post


Link to post
Share on other sites

Czy robot

MJ1 i MJ12bot to to samo ? I jak to powinno być wpisane 1 czy 2 ? to samo to poniższych.

Ahre i AhrefsBot

Znalazłem coś takiego

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} .*Twice.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Yand.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Yahoo.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Voil.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*libw.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Sogou.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Exabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*boitho.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*ajSitemap.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*DBLBot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*MJ1.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*ask.*

RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*

RewriteCond %{HTTP_USER_AGENT} .*Roge.*

RewriteCond %{HTTP_USER_AGENT} .*Baidu.*

RewriteCond %{HTTP_USER_AGENT} .*site.*

RewriteCond %{HTTP_USER_AGENT} .*Ahre.*

RewriteCond %{HTTP_USER_AGENT} .*seo.*

RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.*

RewriteRule ^(.*)$ http://anysite.com/ [L,R=301]

Order Allow,Deny

Allow from all

Deny from 110.0.0.0/8

Deny from 111.0.0.0/8

Deny from 112.0.0.0/5

Deny from 120.0.0.0/6

Deny from 124.0.0.0/8

Deny from 125.0.0.0/8

Deny from 147.0.0.0/8

Deny from 169.208.0.0

Deny from 175.0.0.0/8

Deny from 180.0.0.0/8

Deny from 182.0.0.0/8

Deny from 183.0.0.0/8

Deny from 202.0.0.0/8

Deny from 203.0.0.0/8

Deny from 210.0.0.0/8

Deny from 211.0.0.0/8

Deny from 218.0.0.0/8

Deny from 219.0.0.0/8

Deny from 220.0.0.0/8

Deny from 221.0.0.0/8

Deny from 222.0.0.0/8

Share this post


Link to post
Share on other sites

Hej, skopiuje swój post z innego tematu, ale myślę że warto i Ci się przyda :)

Ja używam takich opcji:

1:

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot

RewriteCond %{HTTP_USER_AGENT} ^InnyBot

RewriteRule ^.* - [F,L]

2.

SetEnvIfNoCase User-Agent .*AhrefsBot.* bad_bot

SetEnvIfNoCase User-Agent .*InnyBot.* bad_bot

order allow,deny

deny from env=bad_bot

allow from all

3.

W robots.txt:

user-agent: AhrefsBot

disallow: /

user-agent: InnyBot

disallow: /

Stosuje te trzy techniki i nie mam problemów.


Kocham Polskę

Share this post


Link to post
Share on other sites

Mam kilka domen zapleczowych podlinkowanych zrobiłem przekierowanie 301na docelową , co zrobić aby przekierowanie nie było widoczne w majestic i innych bo w tej chwili wszystko jak na dłoni widać łącznie z linkami z domeny zapleczowej na której są blokady nie wiem dlaczego ale to nie działa.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By iknil
      Chciałbym z Waszą pomocą zrobić test analiz widoczności z 14 narzędzi:
       
      Ahrefs Alli AI Clusteric MOZ Rank Tracker SE Ranking Searchmetrics Semrush Semstorm Senuto Serpstat Sistrix Surfer SEO Ubersuggest  
      Metodologia:
       
      eksportuję frazy usuwam ew. duplikaty biorę pod uwagę top 10, top 50 i szacowany ruch organiczny  
      Na podstawie zebranych danych chciałbym przygotować dwa zestawienia:
       
      porównanie szacunkowego ruchu organicznego z realnym zestawienie ilościowe fraz w top 10 i top 50 na wzór:  


      Potrzebuję od Was adresów 10 stron z informacją o ruchu organicznym:
       
      strony polskojęzyczne dowolna tematyka widoczność najlepiej od kilku do kilkunastu tysięcy fraz ew. zgoda na publikację adresu w zestawieniu, w przypadku braku nazwa domeny zostanie zanimizowana  
      Proszę o wiadomości na PW. W przypadku większego zainteresowania decyduje kolejność.
       
      Z góry dziękuję
    • By Boguś
      Niedawno dodałem ok 15 linków w komentarzach poprzez Disqius - Głównie na blogach.
      Ponadto ok 15 linków w sygnaturkach i profilach - Głównie na forach dyskusyjnych.
      Nie jest to oszałamiająca liczba jak na 4 dni.
       
      Ahrefs natomiast, pokazał przyrost w tym czasie o:
      - 22 nowych domen
      - i co gorsza prawie 5000 linków

      Co może być powodem takiego niepokojącego wzrostu w ciągu 4 dni?
       
       

    • By marecky
      Raport z Ahrefs - sprawdź backlinki (swoje lub konkurencji)
      Dzięki dokładnemu raportowi dotyczącemu backlinków, dowiesz się dokładnie skąd i jak linkowane są strony Twojej konkurencji.
      Możesz również wykorzystać to do swoich stron, (np. stron zapleczowych) w celu np. podlinkowania (blast) miejsc z których linkowane są Twoje strony.
      Raport z Ahrefs zawiera wszystkie dane potrzebne do analizy:
      URL Rating Domain Rating Ahrefs Rank Referring Page Referring Domains Anchors Sitewide / Not Sitewide Koszt:
      10 domen - 100.00 zł
      20 domen - 150.00 zł
      Nie wykonuje raportu stron z milionami backlinków typu onet.pl itp. 
      KONTAKT: marecky@retsat1.com.pl  
    • By okazwłoka
      Do zaoferowania mamy serwis pobierający dane z majestic.com. Pobieramy takie parametry jak:
      Trust Flow Citation Flow External Backlinks (fresh i historical) Referring Domains (fresh i historical) Referring IPs (fresh i historical) Referring Subnets (fresh i historical) External Backlinks (fresh i historical) ilość domen Edu ilość domen Gov ilość linków Edu ilość linków Gov ilość zaindeksowanych URL procent nofollow rozkład anchorów (fraza : procentowy udział : ilość) title  
      Dostępne pakiety (ważne przez 365 dni), ceny brutto za określoną ilość domen do sprawdzenia:
      1 000, cena 15 PLN
      2 500, cena 30 PLN
      5 000, cena 55 PLN
      10 000, cena 100 PLN
       
       
      Adres serwisu: http://mj.i4a.pl
      Właściciel serwisu: Seo Solutions Kustronia 4/90 43-300 Bielsko-Biała NIP. 5472108546 seosolutions@i4a.pl
    • By konst-anty
      mam takie pytanie od jakiegoś miesiąca subskrybuje majestic seo, część dodanych linków do stron, którymi się opiekuje pojawie się w majestic ale znacząca część linków nie widnieje w spisie, czy jest to kwestia niedoskonałości programu czy np. linki jeszcze nie są zaindeksowane ?
       
      moje wrażenie na temat webmaster tools jest jeszcze gorsze jeśli chodzi o wykrywalność dodawanych linków. Tzn link jest dodany, został zrobiony ping a czasem też podlinkowanie go i nie daje to żadnego efektu. 
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy