Skrypt sprawdzający pozycję

[michalk]

Witam!

Już jakiś czas temu otrzymałem kilka podpowiedzi jak napisać taki skrypt, ale po miesiącu prawidłowej pracy niestety mi się znowu rozleciał i teraz to chyba na amen. Do tej pory działał w ten sposób:

Z listy fraz pobiera dane do sprawdzenia

Z listy proxy pobiera adres i się do niego podłącza np.

https://www.proxydust.com/faq/index.php?____pgfa=aHR0cDovL3d3dy5nb29nbGUucGwvc2VhcmNo&hl=pl&q=fraza&btnG=Szukaj+w+Google&lr=&start=0

zmienia sobie zmienną start=+10 za każdym zapytaniem i leci tak do 110.

przy każdej kolejnej zmiennej start zmienia proxy czyli kiedy dla start=0 było podane proxydust to dla start=10 jest

https://adminvip.com/index.php?____pgfa=aHR0cDovL3d3dy5nb29nbGUucGwvc2VhcmNo&hl=pl&q=fraza&btnG=Szukaj+w+Google&lr=&start=10

Dzisiaj Google zablokowało wszystkie proxy na frazy które sprawdzam, odblokowałem sobie część z nich przez podane kodu i jako user takiego proxy mogę sprawdzić, ale kiedy program robi file_get_contents($proxy) to już jest error 503 i google nie daje odpowiedzi.

Dwa minusy jakie widzę to file_get_contents zamiast curl i zmienianie proxy przy każdej kolejnej zmiennej start. Pytanie tylko czy jesli to naprawię to podziała dłużej niż ten miesiąc? Co gorsza nie mogę znaleźć nawet proxy które by ruszyło bo Google zablokował chyba wszędzie frazy które sprawdzałem.

Moje pytanie. Jak wy robicie sprawdzarkę pozycji?

Jeśli nie otrzymam odpowiedzi na powyższe to jak sprawdzacie pozycje? Czy są jakieś komercyjne rozwiązania jak seograf? Jeśli nie uda mi się doprowadzić mojego skryptu do stanu używalności to mogę płacić za takie rozwiązanie, ale chciałbym z niego legalnie pobierać raz dziennie pozycje i wstawić do swojego panelu, żeby to w nim klienci mogli wszystko sprawdzać.

[michalk]

Z programowanie mi idzie, tylko gorzej z oszukaniem Google

Ref na pewno będzie, mi najbardziej zależy żebym mógł sobie wejść jakimś robotem do takiego skryptu i ściągać dane do swojego. Chodzi o te żeby klient myślał, że to moja platforma, a nie kogoś.

[Czachapl]

Chodzi o te żeby klient myślał, że to moja platforma, a nie kogoś.

Nie rozumie takich stwierdzeń. Po co to a jak nawet twoja nie będzie to platforma tylko na licencji to co?? Jesteś jak gorsza firma czy co??

Nie szkoda czasu na kombinowanie i nie pewność wyników??

Nie lepiej zakupić gotowy produkt na licencji

https://www.web-tools.pl/narzedzia.xhtml

Przemyśl to sobie

[michalk]

Nie rozumie takich stwierdzeń.

W stwierdzeniu którego nie rozumiesz chodziło to żeby na takiej platformie nie reklamowała się inna firma zajmująca się pozycjonowaniem jak to jest w przypadku seografu.

Narzędzie które podałeś mi jak najbardziej odpowiada i właśnie o coś takiego prosiłem. Czy są jeszcze jakieś tego typu które możecie polecić?

[patro]

https://www.forum.optymalizacja.com/index.p...c=69248&hl=

sam się nad tym skryptem zastanawiałem, jeśli kupisz to daj znać jak się sprawuje

[Mion]

Czy są jeszcze jakieś tego typu które możecie polecić?

Ja mogę polecić dział zlecenia. Nie oczekuj, że będziemy się tutaj zwierzać z zastosowanych rozwiązań w naszych systemach o przedmiotowej funkcjonalności.

[General_Depet]

Moje pytanie. Jak wy robicie sprawdzarkę pozycji?

Zupełnie inaczej niż Ty.

1. Jeśli proxy to CURL

2. Proxy jest złe bo znaleźć dobre darmowe proxy graniczy z cudem

3. Zmienia się user agentów

4. Nie sprawdza się wszystkiego na hurra tylko cronem leci co kilka minut kilka haseł

5. Sprawdzaj w Google po liście 100 wyników a nie pojedynczo po 10.

6. Jak haseł jest dużo robi się "przybudówki" systemu sprawdzającego na innych serwerach o innym IP.

[Lesiu]

2. Proxy jest złe bo znaleźć dobre darmowe proxy graniczy z cudem

A kto powiedział, że musi być darmowe?

[General_Depet]

A kto powiedział, że musi być darmowe?

Racja nikt ale za cenę tych niepublicznych proxy wolę kupić sobie różne serwery o minimalnych parametrach u kilku różnych hostingodawców - taniej wyjdzie a dodatkowo można tam jeszcze jakieś zaplecze wrzucić

[Ptaq]

5. Sprawdzaj w Google po liście 100 wyników a nie pojedynczo po 10.

Zdecydowanie jest do zły pomysł, jeżeli zależy nam na dokładnych wynikach - przy odpytywaniu 100 od razu różnice mogą być nawet do 10 pozycji ! Choć w praktyce są 3-5, ale niekiedy to i też dużo.

[General_Depet]

Zdecydowanie jest do zły pomysł, jeżeli zależy nam na dokładnych wynikach - przy odpytywaniu 100 od razu różnice mogą być nawet do 10 pozycji ! Choć w praktyce są 3-5, ale niekiedy to i też dużo.

...ale mówisz tutaj o różnicach w pozycjach poszczególnych stron czy o tym że dla niektórych stron wyświetla się dodatkowo wpis dotyczący podstrony którego w wynikach dziesiętnych nie ma ?

[Ptaq]

Dokładnie tego nie śledziłem - bo w narzędziu z którego ja korzystam jest co 10, ale na pewno różnice są spowodowane pojawiającym się dodatkowym wpisem podstrony, który na wynikach co 10, czasem się pojawia a w odpytywaniu 100, bardzo często się pojawia. A czy jeszcze jakieś różnice są chyba nie, choć podkreślam, że nie daję głowy.

W każdym razie 10x10 nie równa się 1x100 (w większości przypadków).

[michalk]

Ja mogę polecić dział zlecenia. Nie oczekuj, że będziemy się tutaj zwierzać z zastosowanych rozwiązań w naszych systemach o przedmiotowej funkcjonalności.

Liczę bardziej, że ktoś podsunie swoje rozwiązanie które można kupić. Na tym świecie już mało rzeczy jest za darmo i to już wiem.

[wedrowiec]

sprawdzam 4x dziennie około tysiąca fraz, sprawdzanie pierwszej setki w porcjach po 10 (1-10, 11-20...) do momentu aż znajdzie i... odpukać od ponad roku z jednego serwera i zero problemów.

Na innym leci jakieś 600-800 fraz 2x dziennie, również zero problemów.

W międzyczasie testowałem ~500 fraz, 2x dziennie na hostingu za 19,90 brutto rocznie - zero problemów przez 2 miesiące.

Kod php sprawdzający przewijał się na PiO kilka razy co najmniej, jego modyfikacja to 10 minut roboty.

Dodatkowo jeżeli to sprawdzanie "dla siebie" to jeżeli masz więcej fraz to pewnie masz nie jeden a kilka serwerów / kont na różnych serwerach - rozbicie to na wywoływanie "rozproszone" to kilka minut roboty, dane możesz przecież pakować na na jeden serwer ze wszystkich źródeł.

[Mion]

Kod php sprawdzający przewijał się na PiO kilka razy co najmniej, jego modyfikacja to 10 minut roboty.

Do tego wystarczy tylko napisać odpowiednie oprogramowanie które współpracuje z bazą danych pobierając rekordy, dodając nowe, modyfikując istniejące , odpowiednią obsługę błędów w wypadku nie pobrania danych, ustawić wywoływanie danego skryptu z crona, zrobić sensowną prezentację wyników na wykresach itd, itp. Ale dla ciebie to pewnie z 35 minut pracy programisty BU CHA CHA