1. Czy Roboty Google Posiadają Priorytety Podczas Indeksacji?
Roboty Google nie działają losowo. Ich nadrzędną funkcją jest skanowanie oraz zbieranie danych, z którego dokumentu nazywamy stroną internetową i procesowanie tych danych dalej – do zaawansowanych algorytmów zaprojektowanych przez inżynierów Google. Jak jednak działa hierarchia? Gdzie roboty rozpoczynają indeksację? Na to właśnie pytanie dzisiaj odpowiemy!
Wszyscy wiemy, że popularniejsze strony są znacznie częściej odwiedzane przez pająki. Domeny z większą ilością linków przychodzących – zarówno wewnętrznych, jak i zewnętrznych są wysoko w hierarchii. Architektura serwisu jest zwykle skorelowana z popularnością tych stron wyrażoną w liczbie linków zwrotnych:
1. Strona główna ma najwięcej linków zwrotnych
2. Strony z drugiego i trzeciego poziomu uzyskują mniej linków
3. Najmniej ważne są tzw. głębokie strony (z artykułami, drobnymi ogłoszeniami, stronami produktów itp.)
Wspomniane powyżej „znaczenie” stron internetowych w porównaniu z architekturą witryny internetowej idealnie ilustruje zdjęcie MOZ. Ważne strony mają zwykle inny priorytet indeksacji.
Plamy fioletowe to strony z największą liczbą linków zewnętrznych. Jak widać, strony które są blisko nich są bezpośrednio wyżej w hierarchii niż te, które znajdują się dalej. Wszystkie pozostałe miejsca to strony, które są zbyt daleko od punktów wejścia robotów wyszukiwarek. Oznacza to, że szansa na ich indeksację jest znacznie mniejsza.
W przypadku serwisów ogłoszeniowych zawierających dużą ilość treści, powyższy schemat powinien uwzględniać kolejną listę kategorii lub strony wyników wyszukiwania. Są oczywiście mniej ważne niż strony głównych kategorii, ale ich indeksowanie dodatkowo wpływa na indeksację ich mniejszych komponentów. Jest to szczególnie ważne, gdy aukcja zaczyna się od tzw. ogłoszeń premium, które zmieniają się rzadziej niż ogłoszenia standardowe.
Im wyższy numer strony tym mniejsze prawdopodobieństwo, że zostanie ona zindeksowana. Średnio szansa, że robot przejdzie na kolejną stronę wyników wyszukiwania spada o 1,2-1,3% na stronę.
Google (najprawdopodobniej) ma ograniczenie, które nakłada na liczbę adresów URL zdolne do przechowania w głównym indeksie i potencjalnie występujące w wynikach wyszukiwania. Trzeba jednak zauważyć, że w ostatnich latach dzięki dynamicznemu rozwojowi są one minimalizowane.
Aby pomóc właścicielom stron internetowych, przyjrzyjmy się niektórym wskaźnikom które Google analizuje w celu dokonania procesu indeksacji (zwróć uwagę, że jest to tylko nasza opinia i nie mam obecnie danych statystycznych ani ilościowych, aby ją potwierdzić.
1.1 Im Wyżej, Tym Szybciej?
Jest wysoce prawdopodobne, że Google uznaje za podstawę hierarchii w indeksacji zwykle ważniejsze i bardziej autorytatywne domeny.
1.2 Profil Linkowy Domeny
Pochodzenie linków, różnorodność domen (im więcej, tym lepiej) i dlaczego te linki istnieją (metody, które naruszają wytyczne, są często wychwytywane i filtrowane ) również ma spore znacznie.
1.3 Wiarygodność Domeny
Parametry takie jak Trust Flow mogą przyczynić się do ustalenia wartości danej domeny. Być może nie ma zbyt wielu linków, ale jeśli pochodzą one z witryn i stron którym Google bardzo ufa, Twoje szanse na pierwszeństwo w indeksacji prawdopodobnie wzrosną.
1.4 Wzrost Treści Wobec Wzrostu Linków
Jeśli zawartość Twojej witryny gwałtownie rośnie ale nie zdobywasz nowych linków może to być sygnał, że treść nie jest „warta” uwagi. Dlatego proces indeksacji będzie opóźniony.
1.5 Głębokość I Częstotliwość Linkowania Do Stron Wewnątrz Domeny
Jeśli Twoja strona główna i kilka elementów treści dominują, podczas gdy reszta witryny ginie w ubóstwie linków może to być sygnał dla Google, że chociaż użytkownicy lubią Twoją witrynę, nie są szczególnie zainteresowani głębią treści. Roboty mogą ją ignorować.
1.6 Unikalna Treść
Unikalność contentu jest ciągle zmieniającym się i trudnym do ustalenia celem, ale w zasadzie jeśli nie stosujesz solidnej porcji słów i obrazów które są unikalne – jesteś narażony. Google przeprowadza szereg wyrafinowanych obliczeń aby określić jej wyjątkowość, a także tzw. głębokie linki do treści, która jest wysoko w rankingu.
1.7 Użytkownik, CTR Oraz Usage Data Metrics
Jeśli Google zauważy, że kliknięcia prowadzące do Twojej witryny często skutkują kliknięciem przycisku Wstecz, powrotem do SERP lub wyborem innego wyniku (lub innego zapytania) w bardzo krótkim czasie, może to być bardzo negatywny sygnał. Metryki, które zbierają z paska narzędzi pająki Google, danych ISP i innych analiz, mogą zostać wycenione. Chociaż wskaźniki CTR i usage metric są hałaśliwymi sygnałami mogą być przydatne przy podejmowaniu decyzji podczas rankowania strony.
1.8 Analiza Jakości Wyszukiwania Plus Ręczne Raporty Dotyczące Spamu
Jeśli Twoje treści są regularnie zgłaszane jako treści o niskiej wartości lub spam przez użytkowników – spodziewaj się niskiego wskaźnika indeksacji.
2. Przedwczesne Reagowanie
Jak zapobiegać słabej widoczności oraz poprawić współczynnik indeksacji?
2.1 „Głębokie” Strony Rzadko Otrzymują Linki Zewnętrzne
Jeśli tworzysz setki lub tysiące stron z nową zawartością i mniej niż „kilkanaście” uzyskuje linki zewnętrzne – jesteś w trudnej sytuacji. Witryny takie jak Wikipedia, NYTimes, About.com, Facebook, Twitter i Yahoo! mają miliony stron, ale mają także dziesiątki do setek milionów linków i stosunkowo niewiele stron, które nie posiadają linków zewnętrznych. Jest to bardzo przemyślana i zrównoważona strategia.
2.2 „Głębokie” Strony Nie Pojawiają Się W Alertach Google
Jeśli Alerty Google stale Cię omijają Twoja strona nie są postrzegana jako unikalna lub godna.
2.3 Szybkość Indeksacji Jest Niska
Jeśli aktualizujesz zawartość, linki i generujesz nowe strony wiele razy dziennie a robot odwiedza Cię tylko raz na tydzień, prawdopodobnie masz kłopot. Mapy witryn XML mogą pomóc, ale prawdopodobnie będziesz musiał poprawić niektóre z opisanych powyżej czynników, aby uzyskać dobre wyniki.
Nie ma wątpliwości, że indeksacja może być dokuczliwym problemem, niezwykle trudny do pokonania. Jednak jeśli twoja strona jest dobrze zorganizowana a profil linków naturalny, problem ten może zostać szybko rozwiązany.
Większe witryny muszą wykonywać więcej czyszczenia / analizowania treści w bardziej spójny sposób, aby uniknąć problemów. Generowanie regularnych raportów dotyczących adresu URL, daty utworzenia, ostatniej daty modyfikacji i linków przychodzących do tego adresu URL, a także ilość ruchu jest świetnym rozwiązaniem.
Następnie zespół SEO powinny wprowadzić zasadę „przedawnienia”, zgodnie z którą treść jest archiwizowana lub usuwana z przesłanej mapy witryny, lub stare adresy URL są przekierowywane do adresów URL o wyższym autorytecie bądź podobnych tematach.
Co więc ma znacznie? Przede wszystkim:
– Jakość treści (w całej witrynie)
– Eliminacja duplikowanej treści
– Jakościowe linki
– Efektywny kod
– Prędkość strony (szczególnie dla dużych witryn z ogromną ilością podstron do zindeksowania)
– Usuwanie słabości w architekturze strony – czyli dużą ilość treści bez linków zewnętrznych
Przez lata Google usunął ze swojego pola indeksacyjnego następujące rodzaje stron:
– Witryny indeksowane na pierwszej stronie, które wymagają zalogowania się lub nawet zapłacenia za odpowiedź na Twoje pytanie
– Strony, które prowadzą do błędów 404, błędów serwera lub 403
– Wprowadzające w błąd witryny, które nie wyjaśniają problemu i są zorientowane na spam
Znacznie poprawiło to jakość oraz sensowność indeksacji.
3. Jak Wyglądają Hierarchie?
Po pierwsze, oto przykładowa hierarchia witryny. Aby przedstawić koncepcję dobrze nadać kolory wykorzystywane na poniższych diagramach.
Następnie zilustrowałem w bardziej reprezentatywny sposób, jak te hierarchie wyglądają na stronie internetowej i zwróciłem uwagę na potencjał linków zewnętrznych na każdej z nich:
Teraz spróbuję wyjaśnić bardzo ważną koncepcję i coś, co często jest źle rozumiane przez specjalistów SEO. Dawno, dawno temu pająki wyszukiwania przeszukiwały sieć w dużej mierze rekurencyjnie – trafiały na stronę główną, która została przesłana do jej indeksu (pamiętasz, kiedy wyszukiwarki przesłały dane ?!), a następnie przeszukiwały zewnętrznie na podstawie znalezionych tam linków.
Od dawna jest inaczej, a jak wszyscy widzimy w przypadku ścieżek indeksowania (jeśli patrzysz na żądania Google / Yahoo! / Bing wysyłane do Twojej domeny), wiele punktów wejściowych jest prawie uniwersalnych i wypycha indeksowanie „na zewnątrz” z tych priorytetowych adresów URL.
Warto poruszyć też sprawę tzw. deep-linking.
Kiedy mówisz ludziom, aby korzystali z głębokich linków (deep-linking), wielu z nich ma taki wyraz twarzy, jakby było to rozwiązanie tymczasowe. Innymi słowy uważają, że głębokie linkowanie do strony wewnętrznej to tylko sposób na zwiększenie wartości tej strony i będą musieli powtórzyć ten proces na każdej podstronie.
To czego jednak nie rozumieją to fakt, że głębokie linkowanie na dużej stronie jest odpowiednikiem budowania dziesiątek małych magnesów-pająków. Kiedy pająki zaczną atakować głęboką zawartość i zrozumieją że jest ważna, zmieni to oblicze gry (i rankingu).
4. Pięć Metod Jak Usprawnić Crawling, Indeksację Oraz Ranking
4.1 Płaska Hierarchia
Jeśli twoja strona potrafi imitować idealną, płaską hierarchię linków możesz osiągnąć 1 milion podstron w trzech klikach i 100 milionów w czterech.
4.2 Linki Z Silnych Podstron Do Tych, Które Potrzebują Link Juice
Bardzo ważne jest aby wykorzystać efekt energetyczny które gwarantuje strona główna – energia powinna rozchodzić się równomierne po całej witrynie.
4.3 Eliminacja Niskiej Wartości
Upewnij się, że nie posiadasz URL o niskiej wartości. Strony takie potrafią fatalnie wpływać na całość strony oraz jej wartość dla robotów Google.
4.4 Dopracuj Warościową Nawigację Oraz Strony Kategorii
Dobrą praktyką jest dopracowanie stron nawigacyjnych oraz kategorii tak, aby warto było je linkować. Jeśli sprawisz, że strony te będą warte linkowania kierujesz Page Rank oraz crawl priority niżej w architekturze swojej strony aż do treści!
4.5 Wyłącz Nieistotne Strony Ze Ścieżek Po Których Kroczą Roboty
Wyeliminuj dodatkową warstwę nawigacji i spraw, aby link Juice płynął w kierunku URL, które naprawdę tego potrzebują.
5. Podsumowanie
Omówiłem w krótki sposób architekturę witryny i nawigację z dużą ilością szczegółów. Wydaje się, że właściwa struktura witryn jest nadal dużym problemem dla SEO-wców. Struktura strony i deep-linking odgrywa priorytetową rolę w kwestii tego, jak szybko następuje proces indeksacji.
Z pewnością można podać więcej zaleceń dotyczących tych kwestii.
Sumując – im wyżej, tym lepiej. Według Narzędzi Google dla webmasterów strony od 2 do 4 mają dobry współczynnik indeksacji, który później dramatycznie spada na piątej pozycji. Na przykład dla witryn o numerze 4 poziom indeksacji wynosi 60%, podczas gdy dla stron o numerze 15 spada poniżej 30% (według Google Webmaster Tools) lub 40% (dla polecenia „witryna” w Google). Wynika to z faktu, że w przypadku tego ostatniego Google-boty mają znacznie dłuższą drogę do dotarcia do odpowiedniego linku.
Wzrost indeksacji stron, do których prowadzą linki bezpośrednio ze strony głównej, nie wpłynął na indeksację stron sąsiednich. Na przykład widzimy ogromny wzrost w przypadku strony 10, ale nie ma zmian na stronach 9 i 11. Wniosek jest taki, że w przypadku Google-botów strony te są zbyt daleko od punktów wejścia. Tylko strony kategorii dla regionu głównego mają linki przychodzące. Aby zindeksować stronę 9 przecięcia kategorii i regionów, roboty musiałyby przejść następującą ścieżką:
a)główna strona kategorii (punkt wejścia),
b) strona kategorii + region (pierwsza strona wyników),
c) strona kategorii + region (dziesiąta strona wyników),
d) strona kategorii + region (strona 9 wyników).
Co gorsza, nie wszystkie strony kategorii mają linki przychodzące.
W przypadku witryn z ogłoszeniami drobnymi lub e-commerce wniosek jest taki, że im więcej stron linkuje w listing tym większa szansa, że zostaną zindeksowane. Generalnie widać, że im dalej od punktu wejścia (link zewnętrzny), tym mniejsza szansa, że strona zostanie zindeksowana. Dlatego zaleca się, aby nie tworzyć witryn o bardzo głębokiej strukturze i pamiętać, że strony oddalone od punktów wejścia powinny być dodatkowo linkowane (np. Jako „podobne produkty”, „zobacz także”, „kategorie pokrewne”, itp.).
Patrząc na wykres widzimy jeszcze jedną zmianę – niewielki spadek indeksacji stron 2, 3 i 4. Może to być spowodowane tym, że niedawno dodano nowe strony i nie zostały jeszcze zindeksowane (gdy liczba reklam w pewna kategoria zaczęła przekraczać przestrzeń na pierwszej stronie) lub ze względu na wzrost liczby linków wychodzących na pierwszej stronie. Wolałbym raczej postawić na pierwsze wyjaśnienie, bo tak naprawdę nowe linki zostały dodane do niewielkiego odsetka stron. Jest tylko 400 piątych stron (a więc linki do piątych stron zostały umieszczone na 0,5% wszystkich pierwszych stron). Strony 10 i 15 są jeszcze mniej liczne.
Zostaw odpowiedź