Jump to content

pabel

Forumowicze
  • Content Count

    694
  • Joined

  • Last visited

  • Days Won

    1

pabel last won the day on July 25 2018

pabel had the most liked content!

Community Reputation

16 Good

About pabel

  • Birthday 06/28/1974

Profile Information

  • Gender
    Male
  • Location
    Wawa

Recent Profile Visitors

2,935 profile views
  1. Uruchamiał może ktoś Xneolinksa na Win 2016 serwer? Po latach zachciało mi się przenieść soft na wirtualkę. Rozpakowuję nową wersję. Klikam i zero reakcji. Może do uruchomienia potrzebne są jakieś dotnety albo visual c++ ?
  2. Coś w ten deseń. Wyłączyłem w czasie testów CSS - zaraz leci ban.
  3. Nie znam się na tak dużych rozwiązaniach ale sprawdzenie ip + wygenerowanie raz statycznej strony (przy kolejnych zapytaniach już z cache) i kierowanie na nią np przez 5 minut wydaje się mniej obciążająca niż np. obsłużenie w tym czasie 1000 zapytań. Kiedyś tak się robiło przy niezbyt dużych atakach DDoS (nie wywalających całego serwera) tj. static screen i poczekać aż się znudzą. Obecnie nie wiem.
  4. Ale odpowiedź idzie statyczna przy banie. Nie obciąża to tak bardzo.
  5. Ja podobnie. I na tą chwilę wystarczy ale pewnie jak ten nowe proxy zbiorą za dużo minusów to wylecą jak poprzednie. Tak jak wspomniałem - proxy które ciągle łapały bana w Stat4seo przy innych warunkach pobierania danych (nie przez cURL, pełne pobieranie przeglądarkowe) działają znakomicie (czy to od Młodego czy z Proxymarket). Myślę, że Google po prostu odcięło te boty, które sprawdzają nie kilka tys fraz dziennie a setki tys. albo miliony. Żeby obecnie tak dużą ilość sprawdzać to trzeba dużo więcej kasy wydać, zmieniać infrastrukturę całą (ogromna ilość proxy, więcej pobieranych dany
  6. Ja zauważyłem, że np. przy braku ładowania css-ów po kilku sprawdzeniach leci blokada na proxy. Wersja 1. Silnki chrome + CSS + grafiki bez JS przy prędkości ok 1 zapytanie na minutę. Dla 800 fraz był jeden ban Wersja 2. Silnik chrome bez bez CSS bez ładowania grafiki bez JS ok 1 zapytanie na minutę. Ban po 4-5 zapytaniach (tak na 2-5 minut). Sprawdzałem na 3 proxy. Zwiększając prędkość do np 3 zapytań na minutę/proxy - bany lecą bardzo szybko bez znaczenia co włączone a co wyłączone. Globalnie. Wygląda to na to o czym wspominał @Mion tj scoring adresów IP. Im bardziej przypo
  7. Po kilku godzinach sprawdzania, póki co wygląda to na prymitywny licznik zapytań. Tak po ok 20-25 zapytań do Googla/h na proxy Jak proxy się zablokuje to po równej godzinie od startu wyszkiwania blokada znika. Przy prędkości ok 100 zapytań/h dla 1 proxy - po 15 minutach działania blokada na 45 minut Przy prędkości ok 25 zapytań/h na 1 proxy - po 58 minutach działania blokada na 2 minuty. Żadnej Googlowej AI, przeszukiwania baz, analizy ciach, sprawdzania działania JS itd. Będą monitorował dalej. Dzięki i @mlody0072 @makauer za proxy do testów.
  8. Hym. Nie jestem przekonany. IP od Ciebie w stat4seo zablokowane. W zenku działa ok. Nie pamiętam jaki silnik jest tam używany. Pewnie chrome. Jak będę przy kompie to sprawdzę. Być może o to chodzi.
  9. Od biedy jak ktoś ma Zenka to chyba może zapisywać sprawdzone wyniki bezpośrednio do bazy stat4seo (mam zamiar to sprawdzić). Ale to tak bardzo okrężną drogą zrobione. Jak mi Młody albo Proxymarket podrzucą na PW ze 2 czy 3 prywatnie proxy to będę mógł z większą pewnością napisać że z proxy jest oki a w wolnej chwili potestować co dokładnie powoduje bana w G.
  10. Sprawdziło wszystkie frazy bez jednej captchy na 1 IP (a od 12 w nocy do teraz Stat4seo sprawdził 6). Sprawdzało ok 2h (można oczywiście szybciej - to Zenek i można mu dać x wątków). Po 9 wrzucę większą paczkę (800 fraz) i dam rotację na 3 prywatne IP tj jeden IPv4 + 3 różne porty (paczka z proxymarket).Wygląda na to że trzeba będzie zmodyfikować monitory pozycji ale wygląda na to że udało się wykluczyć kilka teorii z tego wątku czyli że Goole tnie zakresy IP i że JS tworzy fingerprinta w ciachach przy odpytywaniu albo pozwala na odpytywanie tylko zalogowanym do G. To dobrze.
  11. Zrobiłem mały test. Odpaliłem Zenka i na szybko, z palca napisałem scrapera wyników. Wziąłem jedno z prywatnych proxy, które w stat4seo jest jako zbanowane. Wyłączyłem JS (reszta - obrazki, css ... włączone). Ustawiłem szukanie n=10 a jak nie ma wyniku to n=100. Dałem interwały czasowe między "kliknięciem", ponownym wyszukaniem... Wrzuciłem listę ok 350 fraz do sprawdzenia. Uruchomiłem w ProjectMakerze a nie w samym Zenku. Obecnie jest przy 150 frazie, zero captch - śmiga bez problemu (na jednym proxy - niby zbanowanym). Nie chce mi się czekać aż skończy. Rano dam znać czy sprawd
  12. @sylver Czyli jak to w SEO. Trzeba mieszać Pewnie postawię trochę za cloudflare a trochę na różnych IP. Zyskiem będzie łatwiejsza administracja na jednym zamiast kilkunastu VPS i hostingów. Mam tam VPS-y. Sprawdziłem że np. dla Polski już nie ma promocji. Dlatego też integracja zaplecz na jednym VPS (oczywiście poza zagrożeniem wywalenia ich wszystkich na raz) powinna zmniejszyć koszty i czas pracy.
  13. Pewnie używają innych mechanizmów ale zawsze można by sprawdzać nie wejście a wyjście... Jak głęboko by się zastanowić to kilka rozwiązań się znajdzie. Nieważne. To nie moja bajka i nie chcę być ich konkurencją. Cloudflare - czytałem (nie sprawdzałem), że można na zasyfione IP trafić. @Mion Dzięki za pomoc. Zawsze można na Ciebie liczyć.
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy