GSiteCrawler - pytania Opcje

[kamilwr]

Witam!
Wczoraj zainstalowalem GSiteCrawler jednak nie moge sobie jakos z tym poradzic.
Jak najlepiej ustawic te opcje w tym programnie zeby szybko sciagnela sie mapa?
Aktualnie pisze mi Records waiting: 9150 i nie widac konca.
Strona to portal miasta(codziennie nowe newsy, posty, komenarze itd)

Prosil bym o rady

[thor_in]

GSiteCrawler działa bardzo wolno do dużych serwisów. Zostaw kompa na kilka-kilkanaście godzin, a mapa powinna się zrobić.

[Jrs]

Ja np. próbowałem już zostawiać na wiele godzin, ale mając na stronie kalendarz oraz np. galerię to program zaczyna indeksować stronę każdego dnia, miesiąca i roku więc od 1900 do 2300 (strzelam) * ilość dni... plus indeksuje ocenianie zdjęć - tysiące zdjęć w galerii * ocena (1-5) czyli moim zdaniem zbytnio się zagnieżdża więc zrobiłem sobie drugi sitemap gdzie sam wrzucam nowe linki (nawet jak mam posty newsów to dodaję z wyprzedzeniem ID postów, których jeszcze nie wrzuciłem a będą za kilka dni - akurat na opóźnienie gogla)

[FID]

jak dla mnie to zmień program do generowania bo będziesz miał bardzo dużą mapę a google tego i tak nie przeczyta. Ten program jest bardzo dokładny i jak znajdzie jakąś dziurę (a przy takiej stronie o to nie trudno) to się zapętli i będziesz tak czekał do usr...j śmierci.

[lolki]

http://forum.optymalizacja.com/index.php?showtopic=25007

[str]

jak dla mnie to zmień program do generowania bo będziesz miał bardzo dużą mapę a google tego i tak nie przeczyta. Ten program jest bardzo dokładny i jak znajdzie jakąś dziurę (a przy takiej stronie o to nie trudno) to się zapętli i będziesz tak czekał do usr...j śmierci.

Na?
Chętnie zmienilbym program na inny, szybszy, omijajacy dziury, zreszta pewnie nie tylko ja... Moze w takim razie polecisz cos sensownego?

[sebcio80]

GSiteCrawler jest ok, tylko trzeba umiec nim se poslugiwac

np mozna filtrowac adresy, ktory nie chcemy miec w mapie, dodajemy slowa kluczowe (ktore wystepuja w linkach) do filtra i juz program bedzie omijal te adresy

[jurdziol]

Nie prosciej generowac pliki xml wyciagajac dane bezposrednio z bazy ?

[sebcio80]

jakbym umial to pewnie by bylo prosciej ;-)

[jurdziol]

Wystarczy podstawowa znajomosc PHP.

Np.

CODE

<?
echo '<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
[laczymy sie z baza]
$zapytanie = mysql_query("SELECT id FROM ****");
while($dane = mysql_fetch_row($zapytanie))
{
echo '<url>
        <loc>http://www.pl/news/'.$dane[0].'.html</loc>
        <changefreq>monthly</changefreq>
        <priority>0.5</priority>
    </url>';
}
?>
</urlset>

Przez mod rewrite przekierowanie z plik.xml na plik.php. Jak google wejdzie to sie wygeneruje na biezaco lista url. W takim wypadku mapy dzielimy na jak najmniejsze

Ten post edytował jurdziol 19.11.06 - 12:26

[mireczek]

Witam,

Moglby mi ktos wystawic gdzies program GSiteCrawler? Niestety strona domowa programu nie dziala

[Slawek Platek]

Wystarczy podstawowa znajomosc PHP.

Np.

KOD

<?
echo '<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
[laczymy sie z baza]
$zapytanie = mysql_query("SELECT id FROM ****");
while($dane = mysql_fetch_row($zapytanie))
{
echo '<url>
        <loc>http://www.pl/news/'.$dane[0].'.html</loc>
        <changefreq>monthly</changefreq>
        <priority>0.5</priority>
    </url>';
}
?>
</urlset>

Przez mod rewrite przekierowanie z plik.xml na plik.php. Jak google wejdzie to sie wygeneruje na biezaco lista url. W takim wypadku mapy dzielimy na jak najmniejsze

Witaj,
Proszę czy mógłbyś coś więcej napisać na temat tego kodu? Jaki plik stworzyć? Tzn: *.xml czy to ma być sitemap.xml który będzie przekierowywał na plik *.php powiedzmy sitemap.php z tym kodem powyżej?
Proszę o szczegóły będę wdzięczny.

Proszę o odpowiedź.

Wszystkiego dobrego

Sławek

[jurdziol]

Np. w htaccess:

KOD

RewriteRule ^sitemap.xml$ sitemap.php [L]

[Slawek Platek]

Np. w htaccess:

KOD

RewriteRule ^sitemap.xml$ sitemap.php [L]

Witam,
Dziekuje za odpowiedz.
u mnie na serwerze nie mozna wstawiac .htaccess plikow

Wszystkiego dobrego

Slawek

[Liii]

Witam,

Moglby mi ktos wystawic gdzies program GSiteCrawler? Niestety strona domowa programu nie dziala

http://johannesmueller.com/gs-files/gsitec...er-120-full.exe