Jump to content

TrzymaczList - program do przechowywania list z harvestu


Recommended Posts

Witam 
Popełniłem taki o to mały program do przechowywania list z harvestu oraz list docelowych. 
Zalety:

  • sprawdzanie unikalności na podstawie root domeny dla danej grupy skryptu,
  • podział na pojedyncze listy można pobrać cały skrypt lub tylko pojedynczą listę tak jak wrzucaliśmy,
  • przechowywanie loginów i haseł jeśli skrypt tego wymaga,
  • przechowywanie footprintów dla danej grupy skryptów 
  • OSTATNIE I NAJWAŻNIEJSZE możliwość pobierania parametrów z Majestic.com: Trust Flow, Citation Flow, External Backlinks, Referring Domains*

Minusy:

  • NIE ZNALEZIONO ;)

Cena: 60zł netto*
Licencja przypisana do domeny. 
Zamówienia proszę składać przez sklep: http://sklep.piersa.pl/?34,trzymaczlist
 
 

*Pierwsze 3 osoby otrzyma aplikację za 50zł netto. 

// Propozycje modyfikacji mile widziane. 
// Aktualizacje / modyfikacje będą płatne lecz nie obowiązkowe 
 
 
Wymagania: 
- PHP5.3
- MySQL,
- Crontab co 1 minutę,
- Moduł file_get_contents,
- mcrypt_module_open(),
- Moduł cURL,
- Biblioteka IonCube,
 
Galeria  


trzymacz-home.jpg

Strona główna - zarządzaj listami

trzymacz-dodaj-liste.jpg



Dodaj listę


trzymacz-dodaj-skrypt.jpg



Dodaj skrypt


trzymacz-zarzadzaj-skryptami.jpg



Zarządzaj skryptami


trzymacz-zarzadzaj-footpreing.jpg



Zarządzaj skryptami - pokaż footprint


trzymacz-synonimizator-xneolinks.jpg



Synonimizator do xneolinks
 


* nie daję gwarancji jak długo ta metoda będzie działać, ogólnie utrzymuję ją przy życiu już prawie dwa lata. 

  • Like 2

bilbord_opublikuj_mini.png

Link to post
Share on other sites

Można by dać ew. taką funkcję jak np. sprawdzanie danych skryptów po footprincie i na tej podstawie zaklasyfikowanie ich do danego skryptu. Tylko to mogłoby mocno obciążać serwer ale zawsze można by jakieś małe listy tak przefiltrować.

 

Pytanie natomiast o to majestic - ile trwa mniej więcej pobieranie danych dla listy np. 1000 urli?

kodeks-logo-baner-pio.jpg

Blog z informacjami o prawnych aspektach związanych z funkcjonowaniem internetu, w tym problematyka dotycząca SEM i SEO.

Link to post
Share on other sites

Sprawdzanie ms jest ograniczone do sześciu adresów na minutę. Czyli ponad 8 tys na dobę.

Sprawdzania po footprint unikalem właśnie z powodu obciążenia serwera i Mion zrobił dobry soft do rozpoznawania skryptów.

Edited by mlody0072

bilbord_opublikuj_mini.png

Link to post
Share on other sites

Ja bym to widział tak (apropo funkcjonalności programu):
1. Wrzucam liste do Twojego softu.
2. Soft identifykuje (używając regułek które mogą być zmieniane przez użyszkodnika) liste wrzucając ją do odpowiednich plików (discuz, easyblog itp).
3. Gdy robie kolejny harvest, soft ponownie wykonuje to co w punkcie 2, na koniec usuwa unikalne domeny lub url (definiowane w ustawieniach), albo nie sprawdza danego url jeżeli on występuje w bazie zawierajacej wszystkie zidentyfikowane adresy.

4. Soft co X godzin sprawdza ponownie czy dane miejscówki nadal zawierają w kodzie footprint odpowiadający danemu skryptowi.

5. Dodaj w miarę możliwości sprawdzanie domain authority / page authority w moz.com.
6. Sprawdzanie PA/DA/TF/CF etc dla dowolnej listy wrzuconej do softu bez jej identyfikacji, sortowania itp jako dodatkowa opcja. W efekcie można sprawdzić np listę domen expired itp.

 

Sprawdzanie ms jest ograniczone do sześciu adresów na minutę. Czyli ponad 8 tys na dobę.

 

To dla niektórych może być niewiele, każdy kto seo zajmuje się poważnie ma troche priv proxy które mógłby wrzucić również do Twojego softu i zrobić z nich dodatkowy użytek. Albo kupić pakiet anonimowych proxy w proxylive i używać do sprawdzania parametrów majesticseo i moz.
 

Sprawdzania po footprint unikalem właśnie z powodu obciążenia serwera

 

VPSy chodzą dzisiaj naprawdę tanio, każdy może dobrac sobie coś idealnego pod względem kosztów i wydajności. Poza tym podejrzewam że wydajność na linuxie będzie większa niż na windowsie, czyli to co można zrobić GSA platform identifier na windowsowym dedyku Twoim softem będzie można zrobić na vpsie.

 


Mion zrobił dobry soft do rozpoznawania skryptów

 

Zrobił, ale bez takiej funkcjonalności jak Twoja, bez ładnego frontendu. Ludzie kupują oczami ;)

Link to post
Share on other sites

Ja bym to widział tak (apropo funkcjonalności programu):

 

Da się wszystko zrobić lecz muszę nad tym się zastanowić czy warto powielać jest softy które już umieją to robić :) 

 


5. Dodaj w miarę możliwości sprawdzanie domain authority / page authority w moz.com.

 

Mam już na to patent lecz nie jest jeszcze udostępniany. 
 

 


6. Sprawdzanie PA/DA/TF/CF etc dla dowolnej listy wrzuconej do softu bez jej identyfikacji, sortowania itp jako dodatkowa opcja. W efekcie można sprawdzić np listę domen expired itp.

Robimy export do excela i możemy wszystko sortować jak chcemy. 

 


To dla niektórych może być niewiele, każdy kto seo zajmuje się poważnie ma troche priv proxy które mógłby wrzucić również do Twojego softu i zrobić z nich dodatkowy użytek. Albo kupić pakiet anonimowych proxy w proxylive i używać do sprawdzania parametrów majesticseo i moz.

 

Nie chce udostępniać tego bez limitu ponieważ jak się każdy dorwie do sprawdzania to po tygodniu przestanie ta opcja działać, ja reanimuje cały czas tą opcję od prawie dwóch lat i działa do dziś :) Druga spraw parametrów nie sprawdzamy dla samego harvestu ale dla listy docelowej czyli da samych sukcesów a wątpię że ktoś robi takie listy powyżej 10 tys wartościowych miejscówek. Później podniosę limit do 10 na minutę to będzie ponad 14 tys na dobę to powinno każdemu wystarczyć, powyżej mogę zrobić pakiet płatny. 

 

 


VPSy chodzą dzisiaj naprawdę tanio, każdy może dobrac sobie coś idealnego pod względem kosztów i wydajności [....] Twoim softem będzie można zrobić na vpsie.

Wydajność samych połączeń do innych stron to nie problem nawet i 20 tys na minutę lecz obciążenie bazy danych to jest największy problem przy listach powyżej 1 mln adresów a taką listę to nie problem zharvestować :)  

 


Zrobił, ale bez takiej funkcjonalności jak Twoja, bez ładnego frontendu. Ludzie kupują oczami

Mion jak by chciał to by stworzył to w PHP i z ładnym wyglądem lecz postawił na prędkość. Zapewne testował wiele rozwiązań i to przeważyło, że powstała taka aplikacja a nie inna. 

Nie mówię, że jest to nie możliwe ale na pewno jest utrudnione. W php curl jest szybko wykrywany przez większość stron i blokowany taki adres (przerabiałem to przy harvesterze proxy) udało się w pewnym stopniu to rozwiązać. 

 

 

Poczekajmy na innych co napiszą :) 

 

Ronaldo płacze jak piszę tego posta 

 

 

bilbord_opublikuj_mini.png

Link to post
Share on other sites

Może moja wypowiedz nie będzie w 100% obiektywna ale na pewno wartościowa dla innych. Z Adamem współpracuję już dobre dwa lata, ogólnie napisał ten skrypt dla mnie aby można było jakoś organizować wszystkie listy. TrzymaczList pomaga filtrować unikalne adresy ponieważ robimy harvest wrzucamy wszystko do trzymacza wiadomo za jakiś czas powtórzymy harvest na te same footprinty po dodaniu wszystkich adresów do trzymacza doda tylko te nowe i stworzy podlistę z datą dodania co za tym idzie jeśli mamy xneoliksa to nie musimy mielić całej listy jeszcze raz tylko te nowe adresy a na pewno się sporo adresów powtarza. 

 

Pobieranie danych z MS jest wystarczające co prawda mam u siebie 10 adresów na minutę to bez problemu daje radę jeden plus, że dane pobieramy bez dodatkowych kosztów inne softy tego nie potrafią, co prawda Adam zawsze mi mówi, że to może z dnia na dzień przestać działać i nie daje gwarancji lecz tak straszy już prawie pół roku :) 

 

Z aplikacji korzystam gdzieś od marca od tamtej pory Adam ją przebudował diametralnie pierwsze wersje nie były idealne ale w tej postaci jest pełnowartościowy produkt i robi to co powinien. Naprawdę gorąco polecam za takie pieniądze nic nie znajdziecie z takimi funkcjami.

Link to post
Share on other sites

Może moja wypowiedz
Tylko czy na pewno, to jest twoja wypowiedź  ;)

---

 

Mion zrobił dobry soft do rozpoznawania skryptów.
Też uważam, że  CMSdetektorNET jest dobry, bo jest szybki i umożliwia przetwarzanie relatywnie dużych <wielomilionowych> list URL'i... ale "Janusze" <Mariusze> hehe oczekują zupełnie czego innego - pełnego automatu... ale o tym za chwilę.

 

Natomiast, co do TrzymaczList, to IMHO trochę dziwna koncepcja na "soft".

// Propozycje modyfikacji mile widziane.

 

Jeśli lubisz wyzwania i nie obce są Tobie  techniki przetwarzania dużych ilości danych, żądań HTTP, kolejkowania zadań, to rozważ napisanie czegoś czego nie ma lub nie ma ww ogólnym dostępie, a mianowicie automatu, który będzie:

 

- harwestował dane z rożnych źródeł na bazie zdefiniowanych footprint< janusze> będą chcieli by od razu była pełna lista footprint w sofcie by czasami nie musieli pisać własnych ;

- rozpoznawał skrypty oczywiscie jak wyżej ;

- dla rozpoznanych domen pobierze SEO parametry - z tego co Piszesz masz to opanowane;

- co jakiś czas będzie sprawdzał czy domeny rozpoznane nadal zawierają to co zawierały;

- harwestowanie > rozpoznawanie > sprawdzanie > będzie co jakiś czas automatycznie powtarzane na wypadek pojawienia się nowych miejscówek;

 

Niestety do tego dochodzą problemy związane z samych harvestowananiem i proxy, ale od razu możesz dodać, to co np nie ma Wytrwały żniwiarz - reaktywacja proxy za pomocą capctha i zewnętrznego OCR'a.

 

Aplikacja webowa a nie okienkowa czyli z interfejsem przeglądarkowym nadaje się bardzo dobrze do tego gdyż w zasadzie wszystkie operacje wykonywane są w tle, a w panelu admina tylko ustawiamy nowe zadania, forinty itd.

 

Sądzę, że soft o funkcjonalności jaki opisałem znalazł by wielu chętnych i to nie za 30 zł czy też 60 netto.

 

:chatownik:

 

 

  • Like 1

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL
- Full Stack Developer - :chatownik:

 

Link to post
Share on other sites

Natomiast, co do TrzymaczList, to IMHO trochę dziwna koncepcja na "soft".

Możesz rozwinąć czemu dziwna ? 

Tak można sobie takie coś w plikach trzymać i innymi softami filtrować lecz staje się to nie wygodne. Przemek pewnego dnia do mnie zadzwonił i mówi ze Adam takie coś by się przydało usiadłem na przysłowiom kolanie napisałem, po modyfikacjach wyszło to co widać teraz :) 

 

 


Sądzę, że soft o funkcjonalności jaki opisałem znalazł by wielu chętnych i to nie za 30 zł czy też 60 netto.

Jest już coś podobnego http://freshscraper.i4a.pl/i jakoś nie jest oblegany :) 

 

Rozumiem że na swoim serwerze możemy dawać swoje footprinty ale jak Ty to nazwałeś "Janusze" (przy okazji Pozdrawiam mojego dobrego kolegę Janusza :)) i tak swoich fotosów nie zrobią to nie lepiej im kupić dostęp za 50zł na miesiąc i nie martwić się o serwer minumum 20zł na miesiąc + proxy + cena za soft + aktualizacje ? 

 

 

bilbord_opublikuj_mini.png

Link to post
Share on other sites

Możesz rozwinąć czemu dziwna ?

Bo jak sam napisałeś po harvestowaniu ma zapisane w plikach i przeważnie są, to duże pliki np te co sam harvestowałem miały po kilka kilkanaście M <milionów> np 3 miliony linii z 100MB pliku, więc wgranie tego na serwer nawet jako TXT, to dodatkowo robota natomiast do bazy, to już prawie nierealne i na pewnie nie na hostingach niewspółdzielonych za 20 zł / miesiąc. Natomiast czy Trzymacz w obecnej postaci jest potrzebny weryfikuje < ... fakt mamy wakacje ...>  rynek ;)

 

Jest już coś podobnego http://freshscraper.i4a.pl/ijakoś nie jest oblegany

Wcale się nie dziwię ...

 

 

Rozumiem że na swoim serwerze możemy dawać swoje footprinty ale jak Ty to nazwałeś "Janusze" (

Mówiąc o "Januszach" to miałem na myśli userrów którzy nie potrafią pisać footpronty, a "Mariuszach" :hello: - miałem na myśli naszego kolegę z PiO który zawsze mi wbijał do głowy by wszystko robiło się automatycznie przy jak najmniejszej ilości kliknięć.

 

 

i nie martwić się o serwer minumum 20zł na miesiąc + proxy + cena za soft + aktualizacje ?

Zrobić narzędzie produkcyjne dla "zawodowców", dla których zakup serwera dedykowanego lub mocnego VPS'a + abonament <ten musi być> nie stanowi problemu, bo korzystanie z "narzędzia" będzie im przynosić dochody.

Edited by Mion

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL
- Full Stack Developer - :chatownik:

 

Link to post
Share on other sites

@UP - zgadza się, ale w tym konkretnym wypadku wymagania = realizowane funkcje są uniwersalne.

---

Dobrym przykładem będzie, tu skrypt sklepu gdyż nie wszyscy zawodowcy żyjący ze sklepów internetowych zlecają pisanie oprogramowania sklepu od podstaw, bo zwyczajnie im by się to nie kalkulowało .

Edited by Mion

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL
- Full Stack Developer - :chatownik:

 

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By best_software
      Nowoczesny skrypt filmów i seriali online, wzorowany na popularnym serwisie z filmami online.
      Demo znajduje się pod adresem: https://filmx.pl
      Do prowadzenia tego typu serwisu nie jest wymagana żadna znajomość programowania.
      Funkcje jakie zawiera skrypt:
      Automat do pobierania i aktualizowania filmów i seriali, obsługa popularnych hostingów filmów w tym min: cda.pl, zalukaj.tv, rapidvideo, openload, vidoza, streamango, clipwatching, anyfiles, rapidvideo, vshareeu, speedvid, vshare, vidto, streamcherry, youtube, vidzi, dailymotion, streamplaym, reseton, freedisc Gotowa aktualna baza 35 000 filmów oraz 2500 seriali, w tym ok 850 000 linków do źródeł. Obsługa wielu źródeł dla jednego odcinka/filmu. Rejestracja, konta użytkowników, możliwość dodania płatności, historia płatności, wybór profilu (4 na jedno konto), limit logowania - 4 aktywne sesje. Gdy użytkownik będzie próbował zalogować się w jednym czasie z większej liczby urządzeń zostanie automatycznie wylogowany, do tego celu jest wykorzystywane zaawansowany system autoryzacji. Strona jest w pełni responsywna, dostosowana do urządzeń mobilnych: tabletów, telefonów. Okno playera jest dostosowywane automatycznie do wielkości ekranu używanego urządzenia. Możliwość przypisania wielu kategorii dla jednego filmu/serialu, filtrowanie po kategorii i roku, moduł podobnych filmów/seriali do aktualnie oglądanego opierający się na aktorach oraz gatunku Opisy oraz zdjęcia do poszczególnych odcinków seriali - prawdopodobnie żaden inny serwis z filmami w Polsce nie posiada tej funkcji Autosuggest - moduł podpowiedzi w polu wyszukiwania znany min. z wyszukiwarki Google - po wpisaniu min. 3 znaków w pole wyszukiwania rozwija się lista z tytułami filmów i seriali zawierających wpisaną frazę Filmy prezentowane na stronie głównej w formie rotacyjnego slidera z wideo w tle Oceny filmów/seriali pobrane z serwisu Filmweb Wszystkie zdjęcia i teksty są pobierane bezpośrednio na serwer Moduł polecanych filmów, które będą wyświetlały się w wersji desktopowej w formie slidera na stronie głównej Strona jest zoptymalizowana pod SEO, w pełni przystosowana do SSL, napisana według wytycznych W3C. Tam gdzie to możliwe zastosowaliśmy moduł blokowania wyskakujących okienek popup w oknie odtwarzacza Korzystamy z najnowszych zabezpieczeń blokujących "kopiowanie" zawartości strony na inne serwisy Zdalny Upload filmów zarówno w formacie mp4, jak i magent, czy torrent Panel admina:
      Zarządzanie użytkownikami, subskrypcjami, historia płatności Dodawanie/modyfikowanie/usuwanie filmów, seriali: sezonów i odcinków, a także poszczególnych źródeł dla każdej produkcji. Statystyki filmów i seriali, aktywnych subskrypcji, sprzedaży Zarządzanie kategoriami Możliwość włączenia konta gościa, czyli korzystania ze strony bez potrzeby logowania Moduł polecanych filmów Edycja FAQ, polityki prywatności, loga, ustawień witryny Panel admina jest prosty i przejrzysty, posiada wszystkie funkcje niezbędne do zarządzania witryną Własny Player Premium
      możliwość wstawienia własnego logo domyślnie blokuje reklamy z takich hostingów jak: clipwatching, vidoza, upstream itp możliwość dodania napisów do filmów/seriali w różnych wersjach językowych Wymagania:
      Baza MySQL w wersji min 5.6 PHP 7.2, dysk HDD/SSD min 2 TB obsługa Cron Transfer min 1000 GB/msc Skrypt jest oparty na autorskim CMS stworzonym na bazie bardzo wydajnego frameworka CodeIgniter Node JS kodeki ffmpeg + dependency kilka innych niestandardowych repozytoriów, które sami zainstalujemy Po zakupie bezpłatnie pomożemy w instalacji skryptu na serwerze. Możliwość zmiany wyglądu, czy funkcjonalności za dodatkową opłatą. Zajmujemy się także pozycjonowaniem stron.
       
      Cena: 9 900,00 zł
      Kontakt: contact.best.software@gmail.com 
      Zapraszam na allegro
       

    • By MSP_2020
      Witam,
      Sklep jest postawiony na skrypcie EPROshop .
      Firma-matka już nie świadczy wsparcia dla swojego produktu.
      --
      Poszukuję programisty PHP który "ogarnia" skrypt sklepu internetowego EPROshop (www.epro.com.pl) bądź jest w stanie rozeznać się w skrypcie
      na tyle, aby wykonać trochę prac.
      Prac programistycznych jest sporo (od koniecznych, przez dalsze usprawnienia - zależy na ile uda się rozwiązać podstawowe problemy i będzie sens iść dalej).
      Graficznych prac raczej nie ma.
      --
      Sprawy podstawowe:
      1) naprawa pewnego błędu (przy edycji zamiast pojedyńczego cudzysłowia w kodzie umieszcza \") ---- problem zostanie dokładnie opisany
      2) aktualizacja do bieżących wersji PHP (aktualnie zgodność z PHP 5.3) ------- WYCENA
      3) wiele innych zleceń i ile uda się rozwiązać ad1, a najlepiej ad1+ad2.
       
      KONTAKT:
      max_off@o2.pl
    • By cannot
      Sprzedam responsywną porównywarkę finansową https://gotowka.net.pl

      W skład wchodzi domena (pierwsza rejestracja w 2009r.) + skrypt z licencją Porównywarka pobiera automatycznie ofert
      z comperialead.pl i systempartnerski.pl

      Najistotniejsze możliwości :
      •    zarządzanie menu produktów i menu głównego
      •    zarządzanie polecanymi produktami
      •    możliwość wyłączenia dowolnych ofert
      •    możliwość ustawienia tytułu i opisu dowolnej podstrony
      •    zarządzanie wpisami na blogu i ich kategoriami
      •    łatwa zmiana logotypu
      •    możliwość zmiany linków partnerskich na linki z innych sieci
      •    powiadomienia o dostępnych aktualizacjach
      Cena - 500zł
       
      Kontakt:kamwisniak(@)wp.pl
       

       
    • By Toto
      Potrzebuję wykonać skrypt php, który będzie dokonywał pewnego obliczenia po wprowadzeniu informacji zmiennych (obliczanie powierzchni).
      Wzór jest dostępny i mogę wskazać link do strony gdzie coś takiego istnieje i działa. Dane do wprowadzenia przy obliczeniu też mam.
       
      Propozycje cenowe i zapytania proszę kierować przez prywatną wiadomość na forum (najwygodniej).
       
      tomasz.tomczak@poczta.onet.pl
       
       
    • By skrypt333
      Sprzedam skrypt omijający limity oraz reklamy na vShare.io

      Z podobnych skryptów korzystają serwisy typu zalukaj.com
      Skrypt na podstawie linku do vshare generuje bezpośredni link do pliku mp4.
      W ten sposób użytkownicy naszego serwisu mogą oglądać filmy bez ograniczeń.

      UWAGA: Jedynym warunkiem poprawnego dzialania skryptu jest nie udostepnianie orygianalnego linka do filmu.
       
      Demo: http://35.229.32.177/
      Cena: 500 PLN
       
      Jestes zainteresowany?
      Napisz: kontakt@mazurdorian.pl
       
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy