[program] GHarvester - program do linków z SERP

[Finan]

nie jest, to efektywny sposób harvestowania

Ale może skuteczny? Bo na tym polega harvest.

[Mion]

Jakich proxy użyłeś do tego harvestu?

Z ProxyMarketu

 

 

[Klocek123]

@Mion, A jaka ich ilość była potrzebna do tego harvestu, co pokazałeś wyżej? ;D 

[Mion]

To był pakiet 100 proxy jednak w praktyce pakiet nie był tankowany do pełna i czasami szło tylko 30 lub może i mniej .. dlatego tak długo cała operacja trwała. Na pełnym pakiecie tak jak kiedyś serwował ProxyMarket ten czas był by znacznie krótszy

---

Szybkość bardzo zależy od zastosowanych footprint w tym przypadku były z intext.

 

Dla porównania też na proxy z proxy marketu  i klasycznych zapytaniach proces nawet na 30 proxy przebiega relatywnie szybki: https://www.forum.optymalizacja.com/topic/142775-startup-proxymarketpl-szybkie-proxy/?p=1472434

[cinmar]

Jest szansa dodania sytemu do łamania captchy przy proxy?

[Mion]

Nie ma.

[qazy]

program bardzo fajny i na pewno wart swojej ceny. Jakby jeszcze ściągał proxy z pliku na dropboxie to jak dla mnie byłoby już naprawdę świetnie

[mghost.pl]

@Up użyj https://mountainduck.io podmontuj sobie w windowsie dropboxa i po problemie.

[Mion]

Taka ciekawostka, co  przed chwilą empirycznie zauważyłem, a mianowicie jak już mamy wypalone proxy po przez operatory i proces pobierania się zatrzymał warto zmienić ilość pobieranych na 10 i np 100 wątków,  przejść na HTTP lub odwrotnie.

 

 

Prędkość pobierania będzie mniejsza, bo maksymalnie po 10 na SERP ale lepsze po 10 ale zawsze do przodu

 

 

[janpos]

Macie jakiś sprawdzony sposób na odblokowanie prywatnych proxy? Zrobiłem templatę w Zennoposterze do tego, wchodzi przez proxy na zapytanie, uzupełnia captche, przechodzi dalej, dostaję wynik wyszukiwania i niby wszystko jest ok. Ale przy następnym zapytaniu znowu woła o uzupełnienie captchy co w przypadku pracy z harvesterem całkowicie mija się z celem. Mogę prosić o jakieś wskazówki? Nie do końca wiem jak to ugryźć.

[Mion]

Tak jak Piszesz raczej nie da rady, bo inny UserAgent robi zapytania w GH, a inny odblokowuje w ZP .. do tego dochodzi kwestia cookies.

 

======

 

Doby, bo skuteczny sposób na mniejsze spalenie proxy, to harvestować nie po 100, ale po 10 na SERP

https://www.forum.optymalizacja.com/topic/198887-program-gharvester-program-do-linkow-z-serp/?p=1478502

---------

Screen - nawet chińskie wbijały:

 

Małą łyżeczką, ale po 24 H >  3,7 M url  pobranych

 

 

[janpos]

Tak jak Piszesz raczej nie da rady, bo inny UserAgent robi zapytania w GH, a inny odblokowuje w ZP .. do tego dochodzi kwestia cookies.

 

 

Właśnie dlatego pytam, bo zauważyłem, że mój sposób jest nieskuteczny. To co napisałeś na pewno będę stosował na przyszłość.

 

Nadal jednak mam pytanie o skuteczne odblokowanie proxy. Czytałem, że jest to możliwe i byłbym wdzięczny za każdą pomoc/wskazówkę.

[janekszeryf]

Nadal jednak mam pytanie o skuteczne odblokowanie proxy. Czytałem, że jest to możliwe i byłbym wdzięczny za każdą pomoc/wskazówkę.

 

Podpięcie OCR np. 2captcha

[Mion]

@UP - To nie jest skuteczna metoda, bo po przy zapytaniach z operatorami palącymi proxy captcha wyskakuje, co kolejne zapytanie i to nawet w przeglądarce która obsługuje SERP inaczej niż pojedyncze żądanie HTTP

 

... Można, to sprawdzić w empirycznie, wiec koszt całego harvestu był by dosyć duży.

[janpos]

 

 

Podpięcie OCR np. 2captcha

 

 

Tak jak napisał @Mion jest to u mnie całkowicie nieskuteczne i co zapytanie musiałbym wpisywać captche. Zrobiłem templatkę w Zenku, która dokładnie to robi - wykonuje zapytanie, uzupełnia captche, zmienia proxy i powtarza proces itd. Problem w tym, że daje to efekt do wykonania następnego zapytania. Gdyby to było skuteczne w 5 min miałbym wszystkie proxy odblokowane.