Jump to content
dentro

Jak zablokować zaplecze przed robotami: ahrefs, majestic seo i open site explorer?

Recommended Posts

Google Ci zablokowali?

Przykład:

.htaccess
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* - [F,L]

lub

robots.txt
User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: rogerbot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: *
Disallow: /


Remember to brush your teeth !
tworzenie stron w rozsądnej cenie oraz biuro rachunkowe poznań.

Nie masz jak dojechać? Wynajmij limuzynę w Poznaniu.

Share this post


Link to post
Share on other sites

Ja mam tak:

BrowserMatchNoCase rogerbot bad_bot
BrowserMatchNoCase exabot bad_bot
BrowserMatchNoCase MJ12bot bad_bot
BrowserMatchNoCase dotbot bad_bot
BrowserMatchNoCase gigabot bad_bot
BrowserMatchNoCase AhrefsBot bad_bot
Order Deny,Allow
Deny from env=bad_bot

Edited by czarny

Share this post


Link to post
Share on other sites

Czy ta blokada jest po to aby nie było widać ile jest linków wychodzących do naszej domeny pozycjonowanej? Czy żeby nie było widać ile nasza domena ma bl?


Bezgotówkowo auto zastępcze z oc sprawcy na czas naprawy. Jeśli natomiast chcesz kupić tanie OC naprawdę dobra multiagencja. Czy każdy może mieć apartament na wynajem i na tym zarobić?

Share this post


Link to post
Share on other sites

U mnie reguły to wycinają np. Wszystkie mi znane adresy z ovh, hetznera, całe .ru, .ua, .jp, .cn, .br, .lt, .vn + pojedyncze ip lub cale klasy gry uznam, że to źródło niepotrzebnego ruchu

Edited by Gucci

Share this post


Link to post
Share on other sites

pozostaje jeszcze bing :D

  • Like 1

Blog seo.zgred.pl inclick przestał istnieć, teraz wszystko jest na Zgred.pl no i powstał Semgence

 

 

Share this post


Link to post
Share on other sites

Zgred gdzieś czytałem jak ty blokujesz roboty ale nie mogę znaleźć może zapodaj prawidłową regułkę dla htaccess

ja mam taką ale w majestic widać wszystko jak na dłoni chyba jest coś nie tak z tym wpisem

RewriteCond %{HTTP_USER_AGENT} Twice|Roge|Yand|Baidu|site|Ahre|AhrefsBot|seo|Yahoo|Voil|libw|Java|Sogou|psbot|Exabot|boitho|ajSitemap|Rankivabot|DBLBot|MJ1|MJ12bot|Rankivabot|ask

RewriteRule ^(.*)$ http://www.wp.pl/ [L,R=301]

Order Allow,Deny

deny from 111 124 125 147 169.208 175 180 182 183 202 203 210 211 218 219 229 221 222

deny from 112.0.0.0/5 120.0.0.0/6

Allow from all

Czy jest możliwości zablokowania wszystkich robotów oprócz googla ?

Edited by tur77ek

Share this post


Link to post
Share on other sites

Co do tego, co widać w Majesticu - kiedy "wyciąłeś" jego roboty? Bo równie dobrze roboty Majestica mogły już przejrzeć Twoją stronę na wylot, a teraz pokazują to, co zebrały wcześniej.

A czy w Majesticu przestaną pokazywać informacje o Twojej stronie po jej ponownym odwiedzeniu (i czy wywalą to od razu) - niech się wypowie ktoś, kto to sprawdzał na własnej skórze.

Czy jest możliwości zablokowania wszystkich robotów oprócz googla ?

Nie sądzę, żeby to było sensownie wykonalne inaczej, niż wymieniając User-Agenty i zakresy IP dla konkretnych botów.

Gdybyś chciał na tej podstawie jawnie "dopuścić" tylko roboty Google'a to wyciąłbyś użytkowników, którzy też jakieś tam User-Agenty i IPki mają.

Od biedy można jawnie wyciąć te lepiej znane po User-Agent i IP, a te mniej znane po User-Agent zawierającym np. bot, spider, crawler itd. (dopuszczając jawnie User-Agenty robotów Google'a). Ale nie wiem, czy warto się w to zagłębiać.

Jeszcze inaczej można poza jawnym wycięciem tych najpopularniejszych dopuszczać tylko określone User-Agenty odpowiadające przeglądarkom, ale moim zdaniem nie warto, nie mówiąc już o tym, że niechcący można stracić jakąś część "niestandardowych" użytkowników.


spacer.png

Synoglota - synonimizator języka polskiego i angielskiego: ZOBACZ - lato się skończyło, a promocja trwa! :)

Share this post


Link to post
Share on other sites

Czy robot

MJ1 i MJ12bot to to samo ? I jak to powinno być wpisane 1 czy 2 ? to samo to poniższych.

Ahre i AhrefsBot

Znalazłem coś takiego

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} .*Twice.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Yand.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Yahoo.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Voil.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*libw.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Sogou.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Exabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*boitho.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*ajSitemap.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*DBLBot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*MJ1.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*ask.*

RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*

RewriteCond %{HTTP_USER_AGENT} .*Roge.*

RewriteCond %{HTTP_USER_AGENT} .*Baidu.*

RewriteCond %{HTTP_USER_AGENT} .*site.*

RewriteCond %{HTTP_USER_AGENT} .*Ahre.*

RewriteCond %{HTTP_USER_AGENT} .*seo.*

RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.*

RewriteRule ^(.*)$ http://anysite.com/ [L,R=301]

Order Allow,Deny

Allow from all

Deny from 110.0.0.0/8

Deny from 111.0.0.0/8

Deny from 112.0.0.0/5

Deny from 120.0.0.0/6

Deny from 124.0.0.0/8

Deny from 125.0.0.0/8

Deny from 147.0.0.0/8

Deny from 169.208.0.0

Deny from 175.0.0.0/8

Deny from 180.0.0.0/8

Deny from 182.0.0.0/8

Deny from 183.0.0.0/8

Deny from 202.0.0.0/8

Deny from 203.0.0.0/8

Deny from 210.0.0.0/8

Deny from 211.0.0.0/8

Deny from 218.0.0.0/8

Deny from 219.0.0.0/8

Deny from 220.0.0.0/8

Deny from 221.0.0.0/8

Deny from 222.0.0.0/8

Share this post


Link to post
Share on other sites

Hej, skopiuje swój post z innego tematu, ale myślę że warto i Ci się przyda :)

Ja używam takich opcji:

1:

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot

RewriteCond %{HTTP_USER_AGENT} ^InnyBot

RewriteRule ^.* - [F,L]

2.

SetEnvIfNoCase User-Agent .*AhrefsBot.* bad_bot

SetEnvIfNoCase User-Agent .*InnyBot.* bad_bot

order allow,deny

deny from env=bad_bot

allow from all

3.

W robots.txt:

user-agent: AhrefsBot

disallow: /

user-agent: InnyBot

disallow: /

Stosuje te trzy techniki i nie mam problemów.


Kocham Polskę

Share this post


Link to post
Share on other sites

Mam kilka domen zapleczowych podlinkowanych zrobiłem przekierowanie 301na docelową , co zrobić aby przekierowanie nie było widoczne w majestic i innych bo w tej chwili wszystko jak na dłoni widać łącznie z linkami z domeny zapleczowej na której są blokady nie wiem dlaczego ale to nie działa.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By iknil
      Wykonam analizę widoczności dowolnej strony w oparciu o dane z:
       
      Ahrefs Alli AI Clusteric Rank Tracker SE Ranking Semstorm Senuto     Keyword Revealer Ubersuggest Google Ads (Planer słów kluczowych) + Search Console (w przypadku nadania dostępu)  
      W SKŁAD ANALIZY WCHODZĄ:
       
      Analiza I - zestawienie wszystkich fraz rankujących w Google na pozycjach 1-100:
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona (desktop)
      kolumna D pozycja (desktop)
      kolumna E: rankująca podstrona (mobile)
      kolumna F: pozycja (mobile)
       
      Analiza II - zestawienie konkretnych podstron rankujących na dane frazy:
       
      Tutaj mamy podane "na tacy" cenne wskazówki, które warto wykorzystać, np.:
       
      podstrona https://moneye.pl/bank-inteligo/ rankuje na:
       

       
      kolumna A: podstrony rankujące na dane frazy
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumny C-D: pozycja w wynikach desktopowych i mobilnych
       
      Mamy wiele słów kluczowych na II i III stronie, więc można ją zreoptymalizować skupiając się na konwertujących frazach czy tych z największą ilością wyszukiwań.
       
      Analiza III - zestawienie wszystkich fraz rankujących w Google na pozycjach 1-100 uzupełnione o sezonowość w poszczególnych miesiącach i sugerowane stawki z Google Ads
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona
      kolumny D-E: pozycja w wynikach desktopowych i mobilnych
      kolumny F-Q: średnia miesięczna ilość wyszukiwań w poszczególnych miesiącach
      kolumna R: konkurencja w reklamach Google Ads
      kolumna S: stawka za górę strony (dolny zakres) w reklamach Google Ads
      kolumna T: stawka za górę strony (górny zakres) w reklamach Google Ads
       
      Wiedząc dużo szybciej, że dane słowa kluczowe będą miały większą ilość wyszukiwań w kwietniu czy maju można zawczasu podjąć działania zmierzające do podniesienia pozycji.
       
      Analiza IV - zestawienie fraz, które w kwietniu mają więcej wyszukiwań niż w marcu.
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona
      kolumny D-E: pozycja w wynikach desktopowych i mobilnych
      kolumna F: ilość wyszukiwań w marcu
      kolumna G: ilość wyszukiwań w kwietniu
      kolumna H: różnica
      kolumna I: konkurencja w reklamach Google Ads
      kolumna J: stawka za górę strony (dolny zakres) w reklamach Google Ads
      kolumna K: stawka za górę strony (górny zakres) w reklamach Google Ads
       
      ---------------------
      Koszt (wystawiam FV):
       
      ok. 1000 fraz - 100 PLN (netto) 1000 - 5000 - 150 PLN (netto) 5000 - 10000 - 250 PLN (netto) powyżej 10000 - cena do negocjacji  
      Przebieg współpracy:
       
      przesłanie adresu strony wystawienie FV płatność realizacja usługi do 5 dni roboczych  
      Kontakt - PW lub mail:


    • By iknil
      Wykonam analizę widoczności dowolnej strony w oparciu o dane z:
       
      Ahrefs Alli AI Clusteric Rank Tracker SE Ranking Semstorm Senuto     Keyword Revealer Ubersuggest Google Ads (Planer słów kluczowych) + Search Console (w przypadku nadania dostępu)  
      W SKŁAD ANALIZY WCHODZĄ:
       
      Analiza I - zestawienie wszystkich fraz rankujących w Google na pozycjach 1-100:
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona (desktop)
      kolumna D pozycja (desktop)
      kolumna E: rankująca podstrona (mobile)
      kolumna F: pozycja (mobile)
       
      Analiza II - zestawienie konkretnych podstron rankujących na dane frazy:
       
      Tutaj mamy podane "na tacy" cenne wskazówki, które warto wykorzystać, np.:
       
      podstrona https://moneye.pl/bank-inteligo/ rankuje na:
       

       
      kolumna A: podstrony rankujące na dane frazy
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumny C-D: pozycja w wynikach desktopowych i mobilnych
       
      Mamy wiele słów kluczowych na II i III stronie, więc można ją zreoptymalizować skupiając się na konwertujących frazach czy tych z największą ilością wyszukiwań.
       
      Analiza III - zestawienie wszystkich fraz rankujących w Google na pozycjach 1-100 uzupełnione o sezonowość w poszczególnych miesiącach i sugerowane stawki z Google Ads
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona
      kolumny D-E: pozycja w wynikach desktopowych i mobilnych
      kolumny F-Q: średnia miesięczna ilość wyszukiwań w poszczególnych miesiącach
      kolumna R: konkurencja w reklamach Google Ads
      kolumna S: stawka za górę strony (dolny zakres) w reklamach Google Ads
      kolumna T: stawka za górę strony (górny zakres) w reklamach Google Ads
       
      Wiedząc dużo szybciej, że dane słowa kluczowe będą miały większą ilość wyszukiwań w kwietniu czy maju można zawczasu podjąć działania zmierzające do podniesienia pozycji.
       
      Analiza IV - zestawienie fraz, które w kwietniu mają więcej wyszukiwań niż w marcu.
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona
      kolumny D-E: pozycja w wynikach desktopowych i mobilnych
      kolumna F: ilość wyszukiwań w marcu
      kolumna G: ilość wyszukiwań w kwietniu
      kolumna H: różnica
      kolumna I: konkurencja w reklamach Google Ads
      kolumna J: stawka za górę strony (dolny zakres) w reklamach Google Ads
      kolumna K: stawka za górę strony (górny zakres) w reklamach Google Ads
       
      ---------------------
      Koszt (wystawiam FV):
       
      ok. 1000 fraz - 100 PLN (netto) 1000 - 5000 - 150 PLN (netto) 5000 - 10000 - 250 PLN (netto) powyżej 10000 - cena do negocjacji  
      Przebieg współpracy:
       
      przesłanie adresu strony wystawienie FV płatność realizacja usługi do 5 dni roboczych  
      Kontakt - PW lub mail:


    • By Robert SEO
      Witam. Czy uzyskam tutaj pomoc w zablokowaniu takich robotów jak Majestic i Ahrefs w htacces?
       
      Mam taki kod, ale nie mam pewności co do poprawności:
       
      RewriteEngine On RewriteBase / RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR] RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot RewriteRule ^.* – [F,L]  
    • By iknil
      Wykonam analizę widoczności dowolnej strony w oparciu o dane z:
      Ahrefs Alli AI Clusteric Rank Tracker SE Ranking Semrush Semstorm Senuto Serpstat Sistrix Keyword Revealer Google Ads (Planer słów kluczowych) + Search Console (w przypadku nadania dostępu)  
      Narzędzia zostały dobrane na podstawie wyników testu:
       
      W SKŁAD ANALIZY WCHODZĄ:
       
      Analiza I - zestawienie wszystkich fraz rankujących w Google na pozycjach 1-100:
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona (desktop)
      kolumna D pozycja (desktop)
      kolumna E: rankująca podstrona (mobile)
      kolumna F: pozycja (mobile)
       
      Analiza II - zestawienie konkretnych podstron rankujących na dane frazy:
       
      Tutaj mamy podane "na tacy" cenne wskazówki, które warto wykorzystać, np.:
       
      podstrona https://moneye.pl/bank-inteligo/ rankuje na:
       

       
      kolumna A: podstrony rankujące na dane frazy
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumny C-D: pozycja w wynikach desktopowych i mobilnych
       
      Mamy wiele słów kluczowych na II i III stronie, więc można ją zreoptymalizować skupiając się na konwertujących frazach czy tych z największą ilością wyszukiwań.
       
      Analiza III - zestawienie wszystkich fraz rankujących w Google na pozycjach 1-100 uzupełnione o sezonowość w poszczególnych miesiącach i sugerowane stawki z Google Ads
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona
      kolumny D-E: pozycja w wynikach desktopowych i mobilnych
      kolumny F-Q: średnia miesięczna ilość wyszukiwań w poszczególnych miesiącach
      kolumna R: konkurencja w reklamach Google Ads
      kolumna S: stawka za górę strony (dolny zakres) w reklamach Google Ads
      kolumna T: stawka za górę strony (górny zakres) w reklamach Google Ads
       
      Wiedząc dużo szybciej, że dane słowa kluczowe będą miały większą ilość wyszukiwań w kwietniu czy maju można zawczasu podjąć działania zmierzające do podniesienia pozycji.
       
      Analiza IV - zestawienie fraz, które w kwietniu mają więcej wyszukiwań niż w marcu.
       

       
      kolumna A: fraza
      kolumna B: średnia miesięczna ilość wyszukiwań
      kolumna C rankująca podstrona
      kolumny D-E: pozycja w wynikach desktopowych i mobilnych
      kolumna F: ilość wyszukiwań w marcu
      kolumna G: ilość wyszukiwań w kwietniu
      kolumna H: różnica
      kolumna I: konkurencja w reklamach Google Ads
      kolumna J: stawka za górę strony (dolny zakres) w reklamach Google Ads
      kolumna K: stawka za górę strony (górny zakres) w reklamach Google Ads
       
      ---------------------
      Koszt (wystawiam FV):
       
      do 1000 fraz - 200 PLN (netto) 1000 - 5000 - 300 PLN (netto) 5000 - 10000 - 500 PLN (netto) powyżej 10000 - cena do negocjacji  
      Przebieg współpracy:
       
      przesłanie adresu strony wystawienie FV płatność realizacja usługi do 5 dni roboczych  
      Kontakt - PW lub mail:

       
       
       
    • By iknil
      Chciałbym z Waszą pomocą zrobić test analiz widoczności z 14 narzędzi:
       
      Ahrefs Alli AI Clusteric MOZ Rank Tracker SE Ranking Searchmetrics Semrush Semstorm Senuto Serpstat Sistrix Surfer SEO Ubersuggest  
      Metodologia:
       
      eksportuję frazy usuwam ew. duplikaty biorę pod uwagę top 10, top 50 i szacowany ruch organiczny  
      Na podstawie zebranych danych chciałbym przygotować dwa zestawienia:
       
      porównanie szacunkowego ruchu organicznego z realnym zestawienie ilościowe fraz w top 10 i top 50 na wzór:  


      Potrzebuję od Was adresów 10 stron z informacją o ruchu organicznym:
       
      strony polskojęzyczne dowolna tematyka widoczność najlepiej od kilku do kilkunastu tysięcy fraz ew. zgoda na publikację adresu w zestawieniu, w przypadku braku nazwa domeny zostanie zanimizowana  
      Proszę o wiadomości na PW. W przypadku większego zainteresowania decyduje kolejność.
       
      Z góry dziękuję
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy