Skocz do zawartości

[Szukam narzędzia] Usuń z listy duplikaty domen, ale zatrzymaj X urli z każdej z nich


qlwik
 Udostępnij

Rekomendowane odpowiedzi

Cześć, szukam narzędzia które usunie z listy duplikaty domen, ale zachowa X urli dla każdej domeny, czyli np. dla x = 3 usuwa z listy wszystkie urle z danej domeny, oprósz 3 z nich.

 

Wiem, że gscraper miał coś takiego (zakładka split i Hold duplicate domains max to) i nawet miałem go kupionego, ale to było z 50 lat temu i nie mogę znaleźć licki, a na nulled akurat ta funkcja nie działa (a nowej licki nie można kupić bo właściciel zapadł się pod ziemię).

 

Ktoś wie, czy jakieś narzędzie to oferuje?

Sprzedam linki graficzne tematyka - Budownictwo, Motoryzacja, Turystyka, IT, Zdrowie.

Tani, szybki i niezawodny hosting, już od 35zł rocznie  - Webhosting1st

Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli nie ma gotowego "narzędzia" okienkowego , to taką funkcjonalność można napisać jako relatywnie prosty skrypt PHP online lub CLI.
 

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel

Artykuły medyczne -> Chlamydia trachomatis jak można się zarazić tą chorobą ?

Odnośnik do komentarza
Udostępnij na innych stronach

@okazwłoka dzięki za info, ale podejrzewam, że narzędzie raczej nie obsłuży np. listy 3m urli?

Edytowane przez qlwik

Sprzedam linki graficzne tematyka - Budownictwo, Motoryzacja, Turystyka, IT, Zdrowie.

Tani, szybki i niezawodny hosting, już od 35zł rocznie  - Webhosting1st

Odnośnik do komentarza
Udostępnij na innych stronach

Ilość URL będzie ograniczona przez serwer na który jest wrzucony seoprzybornik i system z przeglądarką (kopiujesz i wklejasz dane). Przed momentem sprawdziłem listę 1m i muli. Przy takich ilościach raczej trzeba sięgnąć po zoptymalizowane do dużych list rozwiązania.

spacer.png

Odnośnik do komentarza
Udostępnij na innych stronach

1 godzinę temu, okazwłoka napisał:

Przy takich ilościach raczej trzeba sięgnąć po zoptymalizowane do dużych list rozwiązania.

Zamiast wysyłać jako POST z przeglądarki i texarea trzeba zrobić jako upload pliku i przetworzyć na serwerze i zwrócić spakowany ZIP

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel

Artykuły medyczne -> Chlamydia trachomatis jak można się zarazić tą chorobą ?

Odnośnik do komentarza
Udostępnij na innych stronach

@qlwik Znalazłem. Wrzuciłem w aktualizację.

Żeby obrabiało duże listy trzeba zwiększyć na serwerze odpowiednio memory_limit (cały plik jest wczytywany) (w php.ini, w przypadku desktopowej wersji php ini znajduje się w katalogu engine).

Testowałem na liście ponad 1 miliona adresów i memory limit ustawone na 2GB.

Edytowane przez okazwłoka
  • Like 1

spacer.png

Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
 Udostępnij

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności