Skrócony temat z forum Xneolinks
https://xneolinks.com/forums/blogs/entry/89-wersja-xneolinks-420/
Wersja Xneolinks+ 4.2.0·
Z dużą przyjemnością przedstawiamy wam długo oczekiwaną nową wersję Xneolinks pod nr 4.2.0. Ponad 100 ważnych zmian i ulepszeń czeka na was w tej wersji.
Wykonaliśmy ogrom pracy po modernizacji oprogramowania, przepisaliśmy od nowa wiele algorytmów, na których bazowały się poprzednie wersje. Dzięki temu udało się nam wielokrotnie przyspieszyć program. Oczywiście nie ograniczaliśmy się tylko zwiększeniem prędkości. Zwiększyliśmy stabilność opracowując wiele nietypowych sytuacji, które mogły doprowadzać do błędów a na etapie projektowania tego nie dało się założyć. Dodaliśmy możliwość pracy z nowymi CMS, znacznie usprawniliśmy pracę z autorskimi makrosami.
Spis zmian
Logika pracy
Głowna zmiana w wersji 4.20 to zwiększenie prędkości. W zależności od bazy wzrost może być od 30 do 300%. Na przykładowym teście na bazie 10 000 gdzie sukcesów było ok 40% wzrost szybkości wynosi ponad 30%. Operując ustawieniami na oczekiwanie poczty można prędkość zwiększyć i do 300%. Czym większa baza tym większy przyrost szybkości. Największy przyrost jest na "mieszanych" bazach.
Powiemy tylko, że przyspieszenie udało nam się uzyskać zmieniając bazowe algorytmy i rozdzielając etapy na : analiza CMS, wykonanie, aktywacja i wykonanie. Dodatkowo te etapy powiązane ze sobą algorytmem, który je kontroluje na każdym etapie, w razie błędu kieruje na przygotowaną ścieżkę. Dlatego praca nad aktualizacją zajęła nam dużo czasu, bo każdy etap był pisany biorąc pod uwagę setki nietypowych sytuacji, które mogą występować na stronie www.
Pierwszy etap wykonania teraz nie potrzebuje pracy z przeglądarką, dlatego działa nawet na 500 wątkach jednocześnie.
Jeśli list aktywacyjny nie przyszedł, teraz przeglądarka nie będzie go czekać, a zacznie pracę z kolejną stroną www a specjalny algorytm sprawdza pocztę "w chmurze"
W ustawieniach teraz możecie osobno ustawiać ilość wątków przeglądarki oraz pierwszego bezprzeglądarkowego etapu.
Interfejs
(więcej obrazków na zamkniętym forum)
Każda kluczowa zmiana potrzebowała także zmiany samej wizualnej otoczki programu.
Nowy status bar teraz w realnym czasie pokazuje co robi program, kolejki, sukcesy, inne. Zrobiliśmy nawet cztery typy wskaźników (do koloru, do wyboru).
Wskaźnik sukcesu. W tym wskaźniku wyświetlane są URL gdzie Xneolinks dodał link i sprawdził czy on naprawdę istnieje, jest dofollw i otwarty do indeksacji.
Wskaźnik kolejki wykonania. W tym wskaźniku pokazuje się informacja o stronach, na których Xneolinks będzie działał w kolejnym etapie. W pierwszym etapie w tym wskaźniku pokazywane są ilości poprawnie zdefiniowane CMS. Na drugim etapie pokazywana jest informacja o ilości oczekujących listów na aktywację
Wskaźnik poczty. Ten wskaźnik jest dostępny na trzecim etapie wykonania i zamienia wskaźnik kolejki. W tym wskaźniku zawarta jest informacja o statusie wykonania URL, na których potrzebna jest aktywacja poczty. W wskaźniku także znajdzie się informacja o URL, z których nie przyszedł email.
Wskaźnik nieudanych miejscówek. W tym wskaźniku zawarta jest informacja o stronach, gdzie Xneolinks nie mógł prawidłowo wykonać ustawionych celi. Dla waszej wygody te błędy będą także sortowane po typach.
Przesuwając wskaźnik myszki nad można zobaczyć dodatkowe informacje ze wskaźnika. Dodatkowo zrobiliśmy wskaźniki klikalne aby pokazać wam więcej informacji. Teraz w czasie wykonywania linkowania możecie w realnym czasie śledzić co dokładnie robi program.
Logi makrosów
Korekcja w logach makrosów.
Teraz w logach widać informację o przejściu z kroku na krok, zapisuje się również informacja o wszystkich etapach wykonania makrosów. Dodano również informacje o czasie wykonania makrosów.
Nowe makrosy
Dodano makros >clear+attribute=%blank%, gdzie, po znaku "+", można określić żądany atrybut, klasę, ID, nazwę. Z tego makrosa, można wyczyścić lub wymienić zawartość strony. Analogicznie «unicaltext +». Ponadto, poprawiono pracę z tego typu makrosem.
Udoskonalono makros [Xelement = 1], gdzie 1 - to numer elementu na stronie. Teraz makros jest kompatybilny ze wszystkimi obsługiwanymi makrosami w programie, na przykład, można kliknąć na linki, przechodząc do pierwszej strony, na przykład:
click=Edit[xelement=0]Liczenie zaczyna się od zera.
Dodano wsparcie dla nowego makra> click-text = Rejestracja, makros pozwoli kliknąć na powyższy tekst, zmiennego rejestru. Jest to konieczne dla priorytetu „kliknij na tekst”.
Dodano wsparcie dla dwóch nowych makr prze-konwertować ciąg:
[% OnlyNumbers%], pozwala zarządzać numerami linii. [% RemoveNumbers%], pozostawiając tylko liczby.. [% UpperText%], tekst w górnym rejestrze. [% LowerText%], sprawia, że ten tekst jest małymi literami. [% ProperText%] sprawia, że dany tekst ma małe litery, a wszystkie propozycje zaczynać się wielką literą.Teraz można usunąć informacje zapisane za pomocą makra> Save =% clear%.
Dodany makros pozwala na wyłączenie kroku uwierzytelniania >disable=%step3%. Makro to może być stosowane tylko w pierwszym i drugim etapie.
Dodano nowe makro> searchText = newsite.com, pozwalając, aby ustawić żądany tekst w piśmie do kroku 2.
Dodano nowe makro %mail-text%, zwraca tekst listu znalezionego.
Dodano nowe makro> click-link = newsite.com / index.php? Aktywne = [A-Z0-9] +, aby szukać pełnego odniesienia w piśmie w kroku 2.
Dodano nowe makro% new_pass%, upraszcza poszukiwania nowego hasła z listem w kroku 2. Przykład: newpass=Password: %new_pass%.
Dodano nowy makros >noclick=true. Wylącza klik po linku w kroku2.
W związku ze zmianą logiki dodano nowy makros [%iframe%], dajcący możliwość wykonywania iframe w środku.
Dodano nowy makros >changestyle=[section][display: block;], zmieniający styl elementów. Gdzie Section, to nazwa atrybutu a reszta to informacje, które wmontujemy w styl.
Dodano nowy makros >unicalcapatcha=true, przy pomocy, którego można tworzyć automatyczne wyszukiwania unikalnych captacha np. simpleCaptcha, recaptcha2, nucaptcha, slidercaptcha i innych. Przypominamy, że Java captcha Xneolinks rozwiązuje automatycznie ( simpleCaptcha, slidercaptcha). Recaptcha2 wcześniej w makrosach szukała się automatycznie, co powodowało wysyłanie recaptcha2 na serwis nawet wtedy gdy nie było to potrzebne. Teraz wykluczyliśmy takie działania.
Zmiany w systemie makrosów
Usprawniono pracę makrosu >click-img.
Usprawniono pracę makrosu >click.
Teraz nie można dodać puste znaczenie przy pomocy makrosu >newpass.
Usprawniono pracę makrosu %oname%.
Teraz w ogóle nie będzie możliwości zapisania pustych znaczeń makrosów.
Dodano możliwość pracy z przekierowaniem przy zapisywaniu strony www.
Usprawniono pracę z makrosem [emulate].
W makrosie %question_end% wyłączono możliwość opracowywania REGexp.
Nowe CMS
Zwiększono skuteczność na Vbulletin CMS.
Zwiększono skuteczność na DotNetNuke CMS.
Zwiększono skuteczność na webSPELL.
Zwiększono skuteczność na PunBB.
Dodano CMS Osclass, na osnowie makrosa.
Dodano CMS Socialengine, na osnowie makrosa.
Dodano CMS ClanSphere, na osnowie makrosa.
Poczta
Usprawniono pracę z listami, w których są linki https.
Dodano nowe kodowania w algorytm email.
OCR
Dodano możliwość alternatywnego rozwiązywania recaptcha2 przez capmonster2.
Zmieniono format wysyłania URL i proxy na 2captcha.
Dodano podłączenie do captchasniper5 wykorzystując API de-captcher. Teraz ten program można integrowac z Xneolinksem.
Usprawniono wysyłanie tekstowych captchy na zewnętrzny OCR, jeśli tekst zawiera znaki specjalne.
Xneopars
Teraz przy każdym nowym wykonaniu harwester sprawdza bazę danych.
Poprawiono opracowanie niektórych znaków w harwesterze.
Dostosowano harwester do zmian w wyszukiwarce yandex.
Poprawiono opracowanie błędu proxy przy harwestowaniu.
Przy harwestowaniu baidu teraz automatycznie usuwane są kropki z niepełnych linków.
Dodano możliwość wyszukiwania captcha przy dodaniu nowych wyszukiwarek.
Dodano możliwość wykorzystania do wyszukiwania poprzednio zebranych adresów.
Skorygowana praca harwestera z dużymi bazami danych. Poprawiono stabilność.
Dodano opcję automatycznego generowania raportów w czasie pracy raz w N minut.
Dodatek «Manager pytań i odpowiedzi»
Poprawiono stabilność.
Przy importowaniu danych teraz automatycznie są usuwane duplikaty.
Dodatek «Detektor CMS»
Przepisano całkowicie algorytm teraz dodatek, jeśli nie ma potrzeby, nie testuje CMS przez przeglądarkę. Prędkość wzrosła w wiele razy.
Wizualne zmiany w interfejsie.
Dodano możliwość wykonywania zapytań od razu po zakończeniu pracy.
Dodano możliwość pauzowania pracy.
Dodano wyszukiwarkę w spis CMS.
Dodatek «Manager CMS»
Dodano możliwość szybkiego wyszukiwania.
Zmieniono logikę dodania makrosów pisanych pod konkretna stronę www a nie pod CMS. Dodano algorytm sprawdzający najczęściej występowne błędy w makrosach
Dodatek «Manager logów»
Poprawiono algorytm zbierania logów.
Dodano możliwość zapisywania ze stron graficznych captcha oraz bardzo ważna zmiana można zapisywać osobno strony, na których jest recaptcha2 i tekstowa captcha. Według, niektórych to bardziej wartościowe miejscówki.
Dodatek «Addurl» (BETA)
(obrazek na zamkniętym forum)
Nowa logika. Dana wersja dodatku jest wersją BETA. Ukończono główny plan zadań, ale zrobiono jeszcze nie wszytko. W kolejnych wersja planujemy zrobić odrebną prace dodatku od logiki programu, co da możliwość pracy niezależnie od tego co robi aktualnie Xneolinks.
Inne zmiany
Skorygowano pracę czarnej listy.
Skorygowano pracę z wykluczeniami na stronach rejestracji i autoryzacji.
Skorygowano import wcześniej zarejestrowanego użytkownika jeśli jednocześnie włączono dwa konta w manager kont.
W projektach dodano zapisywanie dodatkowych ustawień w datach urodzin.
Całkowicie zmieniono kolejkę projektów, teraz to osobny dodatek.
Uskuteczniono algorytm zamykania wyskakujących okien w przeglądarkach.
Napisano nowy algorytm relinkowania bazy kiedy ustalamy liczbę nieudanych, kiedy to należy robić.
Dodano możliwość wyłączenia detekcji CMS przy wykonaniu.
Automatyczne usuwanie duplikatów, teraz rozdzielono na dwa tryby : «usuwanie duplikatów domen» i «usuwanie duplikatów URL».
Znacząco poprawiono skuteczność trybu pracy z poxy. Teraz przy sprawdzaniu proxy można zadać unikalny tekst szukany na stronie i po tym Xneolinks będzie definiować czy proxy jest dobre czy złe.
To jeszcze nie wszystko, spis wykonanej pracy jest o wiele większy od opisanego. Nasi programiści wykonali ponad 200 konkretnych zadań, potrzebując na to w sumie ponad 5000 godzin pracy.
