Wyszukiwarki to automatyczne sekretarki. Istnieją po to aby odkrywać, rozumieć i organizować treści w Internecie. Aby oferować najbardziej trafne wyniki w odpowiedzi na pytania zadawane przez użytkowników.
Ale by Twoje treści pojawiały się w wynikach wyszukiwania, muszą najpierw być widoczne dla wyszukiwarek. Jest to prawdopodobnie najważniejszy element układanki SEO: jeśli nie można znaleźć Twojej witryny to nie ma możliwości, abyś kiedykolwiek pojawił się w SERP (strona wyników wyszukiwania).
1. Jak Działają Wyszukiwarki?
Wyszukiwarki działają poprzez trzy podstawowe funkcje:
– Przeszukiwanie(Crawling): przeszukuja Internet w poszukiwaniu treści, przeglądając kod i zawartość każdego znalezionego adresu URL
– Indeksowanie: przechowują i organizuj treści znalezione podczas procesu indeksowania. Gdy strona znajduje się w indeksie jest w trakcie procesu realizacji, aby wyświetlić ją jako wynik odpowiednich zapytań
– Ranking: zapodają treści które najlepiej odpowiedzą na zapytanie osoby wyszukującej co oznacza, że wyniki są uporządkowane według najbardziej trafnych do najmniej trafnych.
1.1 Co To Jest Crawling?
Crawling to nic innego jak proces wykrywania. Wyszukiwarki wysyłają zespół robotów (zwanych robotami indeksującymi lub pająkami), aby znaleźć nowe i zaktualizowane treści. Treść może się różnić – może to być strona internetowa, obraz, wideo, plik PDF itp. – ale niezależnie od formatu, treść jest odkrywana za pomocą łączy.
Googlebot zaczyna od pobrania kilku stron internetowych, a następnie podąża za linkami na tych stronach aby znaleźć nowe adresy URL. Przeskakując tę ścieżkę linków robot indeksujący jest w stanie znaleźć nową treść i dodać ją do swojego indeksu zwanego Caffeine – ogromnej bazy danych wykrytych adresów URL – w celu późniejszego ich pobrania kiedy dana osoba szuka jakiejś informacji. Wtedy zostaje podjęta decyzja czy zawartość danego adresu URL jest odpowiednia.
1.2 Co To Jest Indeks Wyszukiwarki?
Wyszukiwarki przetwarzają i przechowują znalezione informacje w indeksie – olbrzymiej bazie danych wszystkich znalezionych i uznanych za wystarczająco dobrą treści.
1.3 Ranking
Kiedy ktoś czegoś szuka w wyszukiwarce, skanują one indeks i generują wysoce trafne treści a następnie porządkują je w nadziei na rozwiązanie zapytania osoby wyszukującej. Kolejność wyników wyszukiwania według trafności jest nazywana rankingiem. Można założyć, że im wyższa jest pozycja witryny internetowej, tym wyższy ma ona autorytet.
Możliwe jest zablokowanie robotom wyszukiwarek dostępu do części lub całości witryny albo poinstruowanie wyszukiwarek, aby nie zapisywały określonych stron w indeksie. Chociaż mogą istnieć powody aby to zrobić – warto być ostrożnym. Aby Twoje treści znalazły się w wyszukiwarkach musisz najpierw upewnić się, że są one dostępne dla robotów indeksujących i można je zindeksować. W przeciwnym razie są one niewidoczne.
Pod koniec tego rozdziału otrzymasz wskazówki których potrzebujesz do pracy z wyszukiwarką.
UWAGA! Wielu początkujących zastanawia się nad względnym znaczeniem poszczególnych wyszukiwarek. Wszyscy wiemy że Google ma największy udział w rynku, ale jak ważna jest optymalizacja pod kątem Bing, Yahoo lub innych?
Prawda jest taka, że pomimo istnienia ponad 30 głównych wyszukiwarek internetowych, społeczność SEO tak naprawdę zwraca uwagę tylko na Google. Czemu? Krótka piłka – zdecydowana większość ludzi przeszukuje internet w Google. Jeśli uwzględnimy Grafikę Google, Mapy Google i YouTube (usługę Google) ponad 90% wyszukiwań w sieci ma miejsce właśnie tam – to prawie 20 razy Bing i Yahoo razem wzięte.
1.4 Indeksowanie: Czy Wyszukiwarki Mogą Znaleźć Twoje Strony?
Jak właśnie się dowiedziałeś – upewnienie się, że Twoja witryna zostanie przeszukana i zindeksowana jest warunkiem wstępnym do pojawienia się w SERP. Jeśli masz już witrynę internetową, dobrym pomysłem może być rozpoczęcie od sprawdzenia ile Twoich stron znajduje się w indeksie. Pozwoli to uzyskać doskonały wgląd w to, czy Google indeksuje i znajduje wszystkie upragnione strony. Bądź takie, których nie indeksuje.
Jednym ze sposobów sprawdzenia zindeksowanych stron jest komenda „witryna: twoja_domena.pl” – to tzw. operator wyszukiwania zaawansowanego. Przejdź do Google i wpisz „site: twoja_domena.pl” w pasku wyszukiwania. Spowoduje to zwrócenie wyników, które Google ma w indeksie dla określonej witryny.
Liczba wyników wyświetlanych przez Google nigdy nie jest dokładna, ale daje solidne wyobrażenie o tym które strony są indeksowane w Twojej witrynie i jak są obecnie wyświetlane w wynikach wyszukiwania.
Aby uzyskać dokładniejsze wyniki monitoruj ją i korzystaj z raportu Stan w indeksie w Google Search Console. Możesz założyć tam bezpłatne konto. Z pomocą tego narzędzia możesz między innymi przesyłać mapy witryn i monitorować ile przesłanych stron zostało faktycznie dodanych do indeksu Google.
Jeśli twoja domena nie pojawia się w wynikach wyszukiwania, jest kilka możliwych powodów:
– Twoja witryna jest zupełnie nowa i nie została jeszcze zaindeksowana
– Twoja witryna nie jest połączona z żadnymi zewnętrznymi witrynami internetowymi
– Nawigacja w Twojej witrynie utrudnia robotowi jej skuteczne indeksowanie
– Twoja witryna zawiera podstawowy kod zwany dyrektywami robota, który blokuje wyszukiwarki
– Twoja witryna została ukarana przez Google za taktyki spamerskie
UWAGA! Pokaż wyszukiwarkom jak mają indeksować Twoją witrynę. Jeśli podczas korzystania z Google Search Console lub operatora wyszukiwania zaawansowanego „site: twojastrona.pl” zauważyłeś, że w indeksie brakuje niektórych ważnych stron i / lub niektóre z nieistotnych stron zostały omyłkowo zindeksowane możesz skorzystać z pewnych optymalizacji, aby lepiej wskazać Googlebotowi sposób indeksowania treści internetowych. Poinformowanie wyszukiwarek jak mają indeksować witrynę może zapewnić lepszą kontrolę nad tym, co trafia do indeksu.
Większość ludzi chce aby Google miał możliwość odnaleźć najważniejsze strony. Ale łatwo zapomnieć że istnieją strony, których Googlebot nie powinien znaleźć. Mogą to być rzeczy takie jak stare adresy URL które mają tzw. cienką zawartość, duplikowane adresy URL (takie jak parametry sortowania i filtrowania w handlu elektronicznym), specjalne strony z kodami promocyjnymi lub strony przejściowe / testowe itd.
Aby odciągnąć Googlebota od określonych stron i sekcji witryny, użyj pliku robots.txt.
1.5 Robots.txt
Pliki robots.txt znajdują się w katalogu głównym witryn (np. Twoja_domena.pl/robots.txt) i sugerują które części wyszukiwarek witryny powinna a które nie powinna się indeksować. Sugerują również szybkość indeksowania witryny za pomocą określonych dyrektyw w pliku robots.txt.
Jak Googlebot traktuje pliki robots.txt
– Jeśli Googlebot nie może znaleźć pliku robots.txt, przystępuje do indeksowania witryny
– Jeśli Googlebot znajdzie plik robots.txt dla witryny, zwykle zastosuje się do sugestii i przystąpi do indeksowania witryny
– Jeśli Googlebot napotka błąd podczas próby uzyskania dostępu do pliku robots.txt i nie może określić czy taki istnieje czy nie, nie będzie indeksować witryny
UWAGA! Optymalizuj swój budżet indeksacyjny! Budżet na indeksowanie to średnia liczba adresów URL, które Googlebot zaindeksuje w Twojej witrynie przed jej opuszczeniem więc optymalizacja budżetu na indeksowanie gwarantuje, że Googlebot nie marnuje czasu na indeksowanie nieistotnych stron, ryzykując zignorowanie ważnych stron.
Budżet indeksacyjny jest ważny w przypadku bardzo dużych witryn z dziesiątkami tysięcy adresów URL, ale nigdy nie jest złym pomysłem blokowanie robotom dostępu do treści na których z pewnością nam nie zależy. Upewnij się tylko że nie blokujesz robotowi dostępu do stron do których dodałeś inne dyrektywy, na przykład tagów canonical lub noindex. Jeśli Googlebot nie będzie miał dostępu do strony, nie będzie mógł zobaczyć instrukcji na tej stronie.
Nie wszystkie roboty internetowe śledzą plik robots.txt. Osoby o złych intencjach (np. skrobaki adresów e-mail) budują boty, które nie przestrzegają tego protokołu. W rzeczywistości niektórzy źli aktorzy używają plików robots.txt aby sprawdzić, gdzie znajdują się twoje prywatne treści.
Chociaż może wydawać się logiczne blokowanie robotów indeksujących dostępu do stron prywatnych takich jak strony logowania i strony administracyjne, umieszczenie lokalizacji tych adresów URL w publicznie dostępnym pliku robots.txt oznacza również, że osobom o złych zamiarach łatwiej je znaleźć. Lepiej jest nie indeksować tych strony i umieszczać je w formularzu logowania, zamiast umieszczać je w pliku robots.txt.
1.6 Definiowanie Parametrów Adresu URL W GSC
Niektóre witryny (najczęściej związane z handlem elektronicznym) udostępniają tę samą treść pod wieloma różnymi adresami URL, dołączając określone parametry do adresów URL. Jeśli kiedykolwiek robiłeś zakupy w internecie, prawdopodobnie zawęziłeś kryteria wyszukiwania za pomocą filtrów. Na przykład możesz wyszukać hasło „buty” w serwisie Amazon, a następnie zawęzić wyszukiwanie według rozmiaru, koloru i stylu. Za każdym razem gdy ujednolicasz termin, adres URL zmienia się nieznacznie. Przykład:
https://www.example.com/products/women/dresses/green.htm
https://www.example.com/products/women?category=dresses&color=green
https://example.com/shopindex.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123$affid=43
Skąd Google wie która wersja adresu URL ma być wyświetlana wyszukiwarkom? Gigant z Mountain View całkiem nieźle radzi sobie z określeniem reprezentatywnego adresu URL, ale możesz użyć funkcji Parametry adresu URL w Google Search Console aby powiedzieć pająkom jak precyzyjnie traktować Twoje strony.
Jeśli za pomocą tej funkcji powiesz Googlebotowi „nie indeksuj żadnych adresów URL z parametrem ____”, zasadniczo prosisz o ukrycie tej treści. Może to spowodować usunięcie stron z wyników wyszukiwania. Właśnie tego chcemy jeśli parametry te tworzą duplikowane strony. Ale nie jest to idealne rozwiązanie jeśli chcesz, aby te strony były indeksowane.
2. Czy Roboty Indeksujące Mogą Znaleźć Wszystkie Ważne Treści?
Teraz, gdy znasz już sposoby dzięki którym roboty wyszukiwarek trzymają się z dala od bezwartościowych treści zapoznajmy się z optymalizacjami, które mogą pomóc Googlebotowi znaleźć te naprawdę wartościowe.
Czasami wyszukiwarka jest w stanie znaleźć części Twojej witryny za pomocą indeksowania, ale inne strony lub sekcje mogą być wyłączone z różnych powodów. Ważne jest aby upewnić się że wyszukiwarki są w stanie znaleźć całą zawartość którą chcesz zindeksować, a nie tylko Twoją stronę główną.
Zadaj sobie następujące pytanie: czy robot może przeszukiwać Twoją witrynę, a nie tylko się po niej prześlizgnąć?
2.1 Czy Treści Są Ukryte Za Formularzami Logowania?
Jeśli wymagasz logowania się, wypełniania formularzy lub odpowiadania na ankiety przed uzyskaniem dostępu do określonych treści, wyszukiwarki nie zobaczą tych stron. Są one chronione.
2.2 Czy Polegasz Na Formularzach Wyszukiwania?
Roboty nie mogą używać formularzy wyszukiwania. Niektórzy uważają, że jeśli umieszczą pole wyszukiwania na swojej witrynie wyszukiwarki będą w stanie znaleźć wszystko, czego szukają ich użytkownicy. Bzdura.
2.3 Czy Tekst Jest Ukryty W Pozostałych Treściach Multimedialnych?
Formy multimedialne nietekstowe (obrazy, wideo, GIF itp.) nie powinny być wykorzystywane do wyświetlania tekstu, który będzie indeksowany. Chociaż wyszukiwarki coraz lepiej rozpoznają obrazy to nie ma gwarancji, że będą w stanie je odczytać i zrozumieć. Zawsze najlepiej jest dodać tekst w obrębie znaczników <HTML> swojej strony internetowej.
2.4 Czy Wyszukiwarki Mogą Śledzić Nawigację W Witrynie?
Tak jak robot musi wykryć Twoją witrynę za pomocą linków pochodzących z innych witryn tak też potrzebuje ścieżki linków u Ciebie, aby przekierować ją ze strony na stronę. Jeśli posiadasz platformę którą mają znaleźć wyszukiwarki, ale nie ma do niej linków z innych stron, jest ona praktycznie niewidoczna. Wiele witryn popełnia krytyczny błąd tworząc strukturę nawigacji w sposób niedostępny dla wyszukiwarek, co utrudnia ich umieszczanie na liście wyników wyszukiwania.
Typowe błędy nawigacji, które mogą uniemożliwić robotom zobaczenie całej Twojej witryny:
– Posiadanie mobilnej nawigacji, która pokazuje inne wyniki niż nawigacja na komputerze
– Dowolny typ nawigacji, w którym elementy menu nie znajdują się w kodzie HTML, na przykład nawigacja z włączoną obsługą JavaScript. Google znacznie lepiej radzi sobie z indeksowaniem i zrozumieniem języka JavaScript, ale nadal nie jest to proces doskonały. Umieszczenie rzeczy w kodzie HTML pozwoli robotom lepiej go zrozumieć
– Personalizacja lub wyświetlanie unikalnej nawigacji dla określonego typu użytkowników w porównaniu z innymi może wyglądać jak maskowanie dla robota wyszukiwarki
– Zapominanie o linkowaniu do głównej poprzez nawigację – pamiętaj że linki to ścieżki, którymi podążają roboty indeksujące do nowych stron!
Dlatego ważne jest, aby twój projekt miał przejrzystą nawigację i poręczne struktury folderów URL.
2.5 Czy Masz Odpowiednią Architekturę Informacji?
Architektura informacji to praktyka organizowania i oznaczania treści na stronie internetowej w celu poprawy wydajności i możliwości znalezienia treści przez użytkowników. Jeśli architektura informacji jest intuicyjna oznacza to, że użytkownicy nie zastanawiają się zbytnio jak przejść przez witrynę lub co, gdzie znaleźć.
2.5 Czy Korzystasz Z Map Witryn?
Mapa strony to lista adresów URL, których roboty mogą używać do wykrywania i indeksowania treści. Jednym z najłatwiejszych sposobów upewnienia się, że Google znajduje Twoje strony o najwyższym priorytecie jest utworzenie pliku spełniającego standardy Google i przesłanie go za pośrednictwem Google Search Console.
Chociaż przesłanie mapy witryny nie zastępuje potrzeby dobrej nawigacji z pewnością może pomóc robotom w podążaniu ścieżką do wszystkich ważnych stron.
Ważne! Upewnij się, że uwzględniono tylko adresy URL które powinny być indeksowane przez wyszukiwarki i pamiętaj, aby podać robotom spójne wskazówki. Na przykład nie umieszczaj adresu URL w mapie witryny jeśli adres ten został zablokowany w pliku robots.txt lub uwzględnij w mapie witryny adresy URL które są duplikatami, a nie preferowaną wersją kanoniczną.
Jeśli Twoja witryna nie zawiera linków do innych witryn nadal możesz ją zindeksować przesyłając mapę witryny XML w Google Search Console. Nie ma gwarancji że uwzględnią przesłany adres URL w swoim indeksie, ale warto spróbować!
2.6 Czy Roboty Indeksujące Napotykają Błędy, Kiedy Próbują Uzyskać Dostęp Do Twoich Adresów Url?
Podczas indeksowania adresów URL na Twojej witrynie robot indeksujący może napotkać poważne błędy. Przejdź do raportu „Błędy indeksowania” w Google Search Console, aby wykryć adresy URL w których może mieć to miejsce – raport ten pokaże Ci błędy serwera oraz „not found”.
Błędy znajdziesz też na server log files. W tym miejscu można znaleźć też skarbnicę innych informacji takich jak częstotliwość indeksowania. Zanim zaczniesz robić cokolwiek pożytecznego z raportem o błędach indeksowania, musisz zapoznać się z błędami serwera i błędami „nie znaleziono”.
2.7 Kody 4xx: Gdy Roboty Wyszukiwarek Nie Mogą Uzyskać Dostępu Do Treści Z Powodu Błędu Klienta
Błędy 4xx to błędy klienta. Oznacza to, że żądany adres URL zawiera złą składnię lub nie można go wypełnić. Jednym z najczęstszych błędów 4xx jest błąd „404 – nie znaleziono”. Może to wynikać z literówki adresu URL, usuniętej strony, zepsutego przekierowania bądź wielu innych przyczyn.
Gdy wyszukiwarki trafią na błąd 404 nie mogą uzyskać dostępu do adresu URL. Kiedy użytkownicy trafią na 404, mogą poczuć się sfrustrowani i odejść.
2.8 Kody 5xx: Gdy Roboty Wyszukiwarek Nie Mogą Uzyskać Dostępu Do Treści Z Powodu Błędu Serwera
Błąd 5xx to błąd serwera co oznacza że serwer, na którym znajduje się strona internetowa nie spełnił żądania wyszukiwarki aby udzielić dostępu do strony. W raporcie „Błąd indeksowania” w Google Search Console znajduje się karta poświęcona tym błędom.
Zwykle dzieje się tak ponieważ upłynął limit czasu żądania adresu URL, więc Googlebot porzucił żądanie. Zobacz dokumentację Google, aby dowiedzieć się więcej o rozwiązywaniu problemów z łącznością z serwerem.
Na szczęście istnieje sposób aby poinformować zarówno osoby wyszukujące jak i wyszukiwarki, że Twoja strona została przeniesiona – przekierowanie 301 (stałe).
Powiedzmy, że przenosisz stronę z przykład.pl/starsze-psy/ do przykład.pl/szczeniaki/. Wyszukiwarki i użytkownicy potrzebują mostu, aby przejść ze starego adresu URL do nowego. Ten most to przekierowanie 301.
Sam kod stanu 301 oznacza że strona została trwale przeniesiona do nowej lokalizacji więc unikaj przekierowywania adresów URL do niewłaściwych stron – adresów URL, w których zawartość starego adresu URL w rzeczywistości nie istnieje.
Jeśli strona jest wysoko w rankingu na dane słowo kluczowe a z przekierowaniem 301 zostanie przypisana do adresu URL z inną zawartością pozycja w rankingu może spaść ponieważ treść która sprawiła że była odpowiednia dla tego konkretnego zapytania, nie istnieje. 301 są potężne – przenoś adresy URL odpowiedzialnie!
Masz również opcję przekierowania strony 302 ale powinna być zarezerwowana dla tymczasowych ruchów oraz w przypadkach, gdy przekazanie kapitału linków nie jest tak dużym problemem. 302 są trochę jak objazdy drogowe. Tymczasowo odsysasz ruch na określonej trasie, ale nie będzie to trwało wiecznie.
Gdy już upewnisz się że witryna jest zoptymalizowana pod kątem indeksowania, następnym zadaniem jest upewnienie się że można ją zindeksować.
WAŻNE! Uważaj na łańcuchy przekierowań!
Googlebotowi może być trudno dotrzeć do Twojej strony jeśli musi ona przejść przez wiele przekierowań. Google nazywa to „łańcuchami przekierowań” i zaleca ich maksymalne ograniczenie. Jeśli przekierowujesz adres przykład.pl/1 na przykład.pl/2 a później zdecydujesz się przekierować go na przykład.pl/3, najlepiej wyeliminować pośrednika i po prostu przekierować przykład.pl/1 na przykład.pl/3.
3. Indeksowanie: W Jaki Sposób Wyszukiwarki Interpretują I Przechowują Twoje Strony?
Po upewnieniu się że witryna została przeskanowana, następnym zadaniem jest upewnienie się że można ją zindeksować. To fakt – Twoja witryna może zostać wykryta i crawlowana przez wyszukiwarkę, ale nie musi oznaczać to że zostanie zapisana w indeksie.
W poprzedniej sekcji dotyczącej indeksowania omówiliśmy w jaki sposób wyszukiwarki wykrywają Twoje strony internetowe. Indeks to miejsce, w którym przechowywane są znalezione już strony. Po znalezieniu strony przez robota wyszukiwarka renderuje ją tak jak robiłaby to przeglądarka. W tym czasie wyszukiwarka analizuje jej zawartość. Wszystkie te informacje przechowywane są w indeksie.
W kolejnych sekcjach dowiemy się co zrobić, aby umożliwić robotą spokojną pracę.
3.1 Czy Mogę Zobaczyć, Jak Robot Googlebot Widzi Moje Strony?
Tak, wersja Twojej strony zapisana w pamięci podręcznej będzie odzwierciedlać migawkę ostatniego indeksowania jej przez Googlebota.
Google przeszukuje i buforuje strony internetowe z różną częstotliwością. Bardziej ugruntowane, dobrze znane witryny które często publikują posty takie jak onet.pl będą indeksowane częściej.
Jak wygląda wersja twojej strony możesz dowiedzieć się z pamięci podręcznej klikając strzałkę w dół obok adresu URL w SERP i wybierając „kopia”:
Możesz również wyświetlić wersję tekstową witryny aby sprawdzić, czy istotne treści są skutecznie indeksowane i buforowane.
3.2 Czy Strony Są Usuwane Z Indeksu?
Tak – strony można usunąć z indeksu! Oto niektóre z powodów usunięcia adresu URL:
– Adres URL zwraca błąd „nie znaleziono” (4XX) lub błąd serwera (5XX) – może to być przypadkowe (strona została przeniesiona, a przekierowanie 301 nie zostało skonfigurowane) lub celowe (strona została usunięta i ustawiono 404 w celu usunąć jej z indeksu)
– Do adresu URL dodano metatag noindex – tag ten może zostać dodany przez właścicieli witryn, aby poinstruować wyszukiwarkę by pominęła stronę z indeksu
– Adres URL został ukarany za naruszenie wskazówek dla webmasterów (Webmaster Guidelines) w wyniku czego został usunięty z indeksu
– Zablokowano możliwość indeksowania adresu URL przez dodanie hasła wymaganego przed dostępem odwiedzających do strony
Jeśli uważasz, że twoja strona nie jest już wyświetlana możesz wykorzystać narzędzia do sprawdzania adresów URL aby poznać rzeczywisty stan strony lub użyć funkcji Pobierz jako Google i wykonać akcję „Poproś o indeksowanie” aby przesłać poszczególne adresy URL do indeksu. (Mały Bonus: narzędzie „pobierania” GSC ma również opcję „renderowania” która pozwala sprawdzić, czy są jakieś problemy z interpretacją strony przez Google).
3.3 Powiedz Wyszukiwarkom, Jak Mają Indeksować Twoją Witrynę
A) Dyrektywy Meta Robotów – Dyrektywy meta (lub „metatagi”) to instrukcje które możesz przekazać wyszukiwarkom gdzie powiesz im w jaki chcesz traktować swoją stronę internetową
Na przykład „nie indeksuj tej strony w wynikach wyszukiwania” lub „nie przekazuj żadnego Link Juice do żadnych linków na stronie”. Instrukcje te są wykonywane za pośrednictwem metatagów Robots w <head> w HTML (najczęściej) lub za pośrednictwem X-Robots-Tag w nagłówku HTTP.
B) Metatagi Robotów – Metatagu Robots można użyć w tagu <head> kodu HTML strony internetowej. Może wykluczać wszystkie lub określone wyszukiwarki. Poniżej znajdują się najczęstsze dyrektywy meta wraz z sytuacjami, w których możesz je zastosować.
B1) Index / noindex informuje wyszukiwarki czy strona powinna być przeszukiwana i przechowywana w indeksie w celu pobrania. Jeśli zdecydujesz się na użycie „noindex” informujesz roboty indeksujące, aby strona została wykluczona z wyników wyszukiwania. Domyślnie wyszukiwarki zakładają, że mogą indeksować wszystkie strony więc używanie wartości „index” jest niepotrzebne.
Kiedy można wykorzystać owe atrybuty: możesz oznaczyć stronę jako „noindex”, jeśli próbujesz wyciąć cienkie strony z indeksu Google swojej witryny (np. Strony profilów generowanych przez użytkowników) ale nadal chcesz, aby były dostępne dla odwiedzających.
B2) Follow / nofollow mówi wyszukiwarkom czy linki na stronie powinny być śledzone czy też nie. „Follow” powoduje że boty podążają za linkami na Twojej stronie przekazują wartość. Jeśli zdecydujesz się zastosować „nofollow” wyszukiwarki nie będą śledzić ani przekazywać żadnych wartości stronie. Domyślnie wszystkie strony mają atrybut „follow”.
Kiedy możesz użyć: nofollow jest często używane razem z noindex gdy próbujesz zapobiec indeksowaniu strony, a także uniemożliwić robotowi indeksującemu korzystanie z linków na stronie.
B3) Noarchive służy do ograniczania wyszukiwarkom możliwości zapisywania kopii strony w pamięci podręcznej. Domyślnie silniki zachowują widoczne kopie wszystkich zindeksowanych przez siebie stron dostępne dla wyszukiwarek poprzez buforowany link w wynikach wyszukiwania.
Kiedy możesz użyć: Jeśli prowadzisz witrynę e-commerce a ceny zmieniają się regularnie. Rozważ zastosowanie tagu noarchive, aby zapobiec wyświetlaniu nieaktualnych cen przez osoby wyszukujące.
Oto przykład metatagu robotów noindex i nofollow:
<! DOCTYPE html> <html> <head> <meta name = „robots” content = „noindex, nofollow” /> </head> <body> … </body> </html>
Ten przykład wyklucza wszystkie wyszukiwarki z indeksowania strony i podążania za linkami na stronie. Jeśli chcesz wykluczyć wiele robotów indeksujących takich jak na przykład Googlebot i Bing, możesz użyć wielu tagów
C) X-Robots-Tag
Tag x-robots jest używany w nagłówku HTTP adresu URL i zapewnia większą elastyczność i funkcjonalność niż metatagi – szczególnie jeśli chcesz blokować wyszukiwarki na dużą skalę, ponieważ możesz używać wyrażeń regularnych, blokować pliki inne niż HTML i stosować tagi noindex w całej witrynie.
Na przykład: można łatwo wykluczyć całe foldery lub typy plików (takie jak https://seochess.pl/blog/):
<Files ~ “\ /? No \ -blog \ /.*”> Header set X-Robots-Tag “noindex, nofollow”</Files>
Pochodne używane w metatagu robots mogą być również używane w X-Robots-Tag.
Lub określone typy plików (np. PDF):
<Files ~ “\.pdf$”> Header set X-Robots-Tag “noindex, nofollow”</Files>
Zrozumienie różnych sposobów wpływania na pobieranie i indeksowanie pomoże Ci uniknąć klasycznych pułapek, które mogą uniemożliwić odnalezienie istotnych stron.
Wskazówka WordPress: W Pulpicie nawigacyjnym> Ustawienia> Czytanie upewnij się, że pole „Widoczność w wyszukiwarkach” nie jest zaznaczone. Blokuje to dostęp wyszukiwarek do Twojej witryny za pośrednictwem pliku robots.txt!
4. Ranking: W Jaki Sposób Wyszukiwarki Pozycjonują Adresy Url?
W jaki sposób działa Google? Proces ten nazywany jest rankingiem, czyli porządkowaniem wyników wyszukiwania według najtrafniejszych do najmniej istotnych wyników dla danego zapytania.
Aby określić trafność wyszukiwarki wykorzystują algorytmy, proces lub formułę za pomocą której przechowywane informacje są wyszukiwane i porządkowane w określony sposób. Algorytmy te przeszły przez lata wiele zmian w celu poprawy jakości.
Google codziennie dostosowuje algorytmy – niektóre z tych aktualizacji to drobne poprawki, podczas gdy inne to szerokie aktualizacje algorytmów wdrażane w celu rozwiązania konkretnego problemu – na przykład Penguin w celu zwalczania spamu z linkami. Sprawdź naszą historię zmian algorytmów Google, aby uzyskać listę zarówno potwierdzonych jak i niepotwierdzonych aktualizacji Google od roku 2000.
Dlaczego algorytm zmienia się tak często? Czy Google po prostu próbuje nas trzymać na palcach? Chociaż Google nie zawsze ujawnia szczegóły wiemy, że celem przy dostosowywaniu algorytmów jest poprawa ogólnej jakości wyszukiwania. Dlatego w odpowiedzi na pytania dotyczące aktualizacji algorytmów Google odpowie czymś w rodzaju: „Cały czas dokonujemy aktualizacji algorytmu, by poprawić jego jakość”.
Oznacza to że jeśli Twoja witryna ucierpiała po dostosowaniu algorytmu, porównaj ją z wytycznymi Google dotyczącymi jakości (Google’s Quality Guidelines) lub wytycznymi dla oceny jakości wyszukiwania (Search Quality Rater Guidelines). Obie są bardzo wymowne, jeśli chodzi o oczekiwania.
4.1 Czego Chcą Wyszukiwarki?
Wyszukiwarki zawsze chcą jednego: dostarczać użytecznych odpowiedzi na zadane pytania w najbardziej pomocnych formatach. Jeśli to prawda to dlaczego wydaje się, że obecnie SEO różni się od tego z poprzednich lat?
Warto wyobrazić sobie to tak, jakby ktoś uczył się nowego języka.
Na początku rozumiemy język bardzo prymitywnie – „Morze Trawa Biegać”. Z biegiem czasu ich zrozumienie zaczyna się pogłębiać i uczą się semantyki – znaczenia języka oraz relacji między słowami i frazami.
W końcu przy wystarczającej praktyce uczeń zna język na tyle dobrze, że rozumie nawet niuanse i jest w stanie udzielić odpowiedzi na niejasne lub niekompletne pytania.
Kiedy wyszukiwarki dopiero zaczynały się uczyć naszego języka znacznie łatwiej było ograć system stosując sztuczki i taktyki które w rzeczywistości są sprzeczne z wytycznymi.
Weźmy na przykład upychanie słów kluczowych (Keywords Stuffing). Jeśli chcesz uzyskać pozycję w rankingu dla określonego słowa kluczowego takiego jak „śmieszne żarty”, możesz kilka razy upchnąć słowa „śmieszne żarty” na swojej stronie i nadać mu pogrubienie. Kiedyś to działało, strona była wysoko. Na przykład:
„Witamy w zabawnych żartach! Opowiadamy najzabawniejsze dowcipy na świecie. Śmieszne żarty są zabawne i szalone. Twój zabawny żart czeka. Usiądź wygodnie i czytaj śmieszne dowcipy, ponieważ śmieszne żarty mogą sprawić, że będziesz szczęśliwy i zabawniejszy. Kilka ulubionych zabawnych dowcipów.”
Strategia ta była koszmarem dla użytkownika i zamiast śmiać się ze śmiesznych dowcipów ludzie byli bombardowani irytującym, trudnym do odczytania tekstem. Być może działało to w przeszłości, ale wyszukiwarki powiedziały dosyć!
4.2 Linki – Jaką Rolę Odgrywają Rolę W Seo?
Kiedy mówimy o linkach możemy mieć na myśli dwie rzeczy. Backlinki lub „linki przychodzące” to linki z innych witryn internetowych, które kierują się w stronę Twojej witryny, natomiast linki wewnętrzne to linki w obrębie twojej witryny, które kierują do innych stron (w obrębie tej witryny).
Linki od dawna odgrywały dużą rolę w SEO. Już na etapach początkowych wyszukiwarki potrzebowały pomocy w ustaleniu priorytetu – które adresy URL są godne zaufania. Jak uszeregować wyniki wyszukiwania. Pomogło. Dzięki linkom udało się zbudować bardzo elastyczny model.
Linki zwrotne działają bardzo podobnie do szeptania sobie w życiu realnym. Weźmy jako przykład hipotetyczną kawiarnię, Kawiarnia Janka:
– Polecenia od innych = znak autorytetu
Przykład: wiele osób powiedziało Ci, że kawa Jana jest najlepsza w mieście
– Polecenia od samego siebie = stronnicze, więc nie jest to dobry znak autorytetu
Przykład: Jan twierdzi, że Kawiarnia Janka jest najlepsza w mieście
– Polecenie z nieistotnych lub niskiej jakości źródeł = nie jest to dobry znak autorytetu – mogą spowodować nawet, że zostaniesz oznaczony jako spam
Przykład: Jan zapłacił ludziom, którzy nigdy nie odwiedzili jego kawiarni, aby mówili innym, jaka jest dobra
– Brak poleceń = niejasny autorytet
Przykład: kawa Jana może być dobra, ale nie udało Ci się znaleźć nikogo kto wydał opinię, więc nie masz pewności
Dlatego właśnie powstał PageRank. PageRank (część podstawowego algorytmu Google) to algorytm analizy linków nazwany na cześć jednego z założycieli Google, Larry’ego Page’a. PageRank szacuje znaczenie strony internetowej, mierząc jakość i ilość linków do niej kierujących.
Zakłada się, że im bardziej godna zaufania jest strona internetowa, tym więcej linków uzyska.
Im bardziej naturalne są linki zwrotne z witryn o wysokim autorytecie (zaufanych), tym większe są Twoje szanse na wyższą pozycję w wynikach wyszukiwania.
4.3 Rola Treści W Seo
Linki nie miałyby sensu gdyby nie kierowały wyszukiwarek do czegoś. To coś to po prostu treść! Treść to coś więcej niż tylko słowa; to wszystko, co ma być skonsumowane przez osoby wyszukujące – zawiera wideo, obrazy i oczywiście tekst. Jeśli wyszukiwarki są automatycznymi sekretarkami to treść jest środkiem, za pomocą którego wyszukiwarki te odpowiedzi dostarczają.
Za każdym razem gdy ktoś przeprowadza wyszukiwanie możliwych wyników są tysiące, więc w jaki sposób wyszukiwarki decydują które strony mają być wartościowe? Dużą częścią określania pozycji strony w rankingu dla danego zapytania jest zgodność treści na stronie z intencją zapytania. Innymi słowy, czy ta strona pasuje do wyszukiwanych słów i pomaga wykonać zadanie, które osoba wyszukująca próbowała osiągnąć?
Ze względu na to, że koncentrujemy się na satysfakcji użytkownika i wykonywaniu zadań nie ma ścisłych testów porównawczych dotyczących długości treści, mnogości słów kluczowych lub tego, co umieszczamy w tagach nagłówka. Wszystkie te rzeczy mogą mieć wpływ na skuteczność w pozycjonowaniu, ale należy skupić się na użytkownikach, którzy będą czytać treść.
Dzisiaj przy setkach, a nawet tysiącach sygnałów rankingowych trzy pierwsze pozostają dość spójne: linki do Twojej witryny (które służą jako sygnały wiarygodności strony trzeciej), treści na stronie (treści wysokiej jakości, które spełniają intencje osoby wyszukującej) oraz RankBrain.
4.4 Czym Jest Rankbrain?
RankBrain jest systemem uczącym się wbudowanym do podstawowego algorytmu Google. Uczenie maszynowe to program komputerowy, który z biegiem czasu ulepsza swoje przewidywania dzięki nowym obserwacjom i danym. Innymi słowy – zawsze się uczy, a ponieważ zawsze się uczy, wyniki wyszukiwania powinny być stale ulepszane.
Na przykład – jeśli RankBrain zauważy niższy ranking dla URL zapewniający lepsze wyniki użytkownikom niż adresy URL o wyższej randze możesz założyć, że RankBrain dostosuje te wyniki, przesuwając bardziej trafny wynik wyżej i degradując mniej trafne strony jako produkt uboczny.
Podobnie jak większość rzeczy związanych z wyszukiwarką nie wiemy dokładnie co wchodzi w skład RankBrain. Ale najwyraźniej ludzie z Google też tego nie wiedzą.
4.5 Co To Oznacza Dla Seo?
Ponieważ Google będzie nadal wykorzystywać RankBrain musimy bardziej niż kiedykolwiek skupić się na spełnianiu zachcianek i wymagań użytkowników. Zapewnij możliwie najlepsze doświadczenie osobom wyszukującym – to pierwszy, ale duży krok do bycia wysoko w rankingu.
4.6 Wskaźniki Zaangażowania: Korelacja, Związek Przyczynowy. Czy Jedno I Drugie?
W rankingach Google wskaźniki zaangażowanie (Engagement) są najprawdopodobniej częściowo korelacją, a częściowo związkiem przyczynowym.
Kiedy mówimy o wskaźnikach zaangażowania mamy na myśli dane, które przedstawiają sposób interakcji użytkowników z Twoją witryną w wynikach wyszukiwania. Obejmuje to takie rzeczy, jak:
– Kliknięcia (wizyty z wyszukiwania)
– Czas na stronie (czas spędzony przez użytkownika na stronie przed jej opuszczeniem)
– Współczynnik odrzuceń (procent wszystkich sesji w witrynie, podczas których użytkownicy przeglądali tylko jedną stronę)
– Pogo-sticking (kliknięcie wyniku organicznego, a następnie szybki powrót do SERP, aby wybrać inny wynik)
Wiele testów wykazało, że wskaźniki zaangażowania korelują z wyższym rankingiem, ale związek przyczynowy był gorąco dyskutowany. Czy dobre wskaźniki zaangażowania wskazują tylko na wysoko oceniane witryny? A może witryny zajmują wysokie pozycje, ponieważ mają dobre wskaźniki zaangażowania?
4.7 Co Powiedział Google
Chociaż nigdy nie używano terminu „bezpośredni sygnał rankingowy” to Google jasno stwierdził, że bezwzględnie używa danych z kliknięć do modyfikowania SERP dla określonych zapytań.
Według byłego szefa w Google, Udi Manbera:
„Na sam ranking wpływają dane o kliknięciach. Jeśli odkryjemy, że w przypadku konkretnego zapytania 80% ludzi kliknie numer 2, a tylko 10% kliknie numer 1, po chwili zorientujemy się, że prawdopodobnie numer 2 jest tym, którego chcą ludzie – więc zmienimy go”.
Potwierdza to komentarz byłego inżyniera Google, Edmonda Lau:
„Jest całkiem jasne że każda rozsądna wyszukiwarka wykorzystywałaby dane o kliknięciach we własnych wynikach, aby wprowadzić dane do rankingu i poprawić jakość wyników wyszukiwania. Rzeczywista mechanika wykorzystywania danych o kliknięciach jest często zastrzeżona, ale Google jasno pokazuje, że wykorzystuje dane kliknięć wraz ze swoimi patentami w systemach takich jak elementy treści z dostosowaniem do pozycji ”.
Ponieważ Google musi utrzymywać i poprawiać jakość wyszukiwania wydaje się nieuniknione, że wskaźniki zaangażowania to coś więcej niż korelacja, ale wydaje się że Google nie nazywa wskaźników zaangażowania „sygnałem rankingowym”, ponieważ są one używane do poprawy jakości wyszukiwania, a pozycja poszczególnych adresów URL jest tego tylko produktem ubocznym.
4.8 Niezależne Testy
Różne testy potwierdziły, że Google stosuje powyższe praktyki.
Porównanie najpopularniejszych stron przez Larry’ego Kima – średni czas przebywania przed i po RankBrain zdawało się wskazywać, że składnik algorytmu Google oparty na uczeniu maszynowym obniża pozycję w rankingu stron, na których ludzie nie spędzają tyle czasu.
Testy Darrena Shawa wykazały również wpływ zachowania użytkowników na wyszukiwanie lokalne i wyniki pakietu map.
Ponieważ wskaźniki zaangażowania użytkowników są używane do poprawy jakości, a zmiany pozycji w rankingu są produktem ubocznym można śmiało powiedzieć, że SEOwcy powinni zoptymalizować strony pod zaangażowanie. Zaangażowanie nie zmienia obiektywnej jakości Twojej strony internetowej, ale raczej wartość dla wyszukiwarek w stosunku do innych wyników tego zapytania.
Dlatego po braku zmian na stronie ani w jej linkach wstecznych może spaść w rankingach jeśli zachowanie użytkowników wskazuje, że bardziej podobają się im inne strony.
Jeśli chodzi o ranking stron internetowych, wskaźniki zaangażowania działają jak narzędzie do weryfikacji faktów. Czynniki obiektywne, takie jak linki i treść najpierw pozycjonują stronę, a następnie wskaźniki zaangażowania pomagają Google dostosować się.
5. Ewolucja Wyników Wyszukiwania
Kiedy wyszukiwarkom brakowało takiego wyrafinowania jak obecnie, termin „10 niebieskich linków” został ukuty w celu opisania płaskiej struktury SERP. Za każdym razem gdy przeprowadzono wyszukiwanie, Google zwracał stronę z 10 bezpłatnymi wynikami, każdy w tym samym formacie.
W takim krajobrazie wyszukiwania zajęcie pierwszego miejsca był świętym Graalem SEO. Ale potem coś się wydarzyło. Google zaczął dodawać wyniki w nowych formatach na swoich stronach wyników wyszukiwania, zwanych funkcjami SERP.
Niektóre z tych funkcji SERP obejmują:
– Płatne reklamy
– Featured snippets
– People Also Ask
– Pakiet lokalny (mapa)
– Panel wiedzy (Knowledge Panel)
– Linki do podstron
Gigan z Mountain View cały czas dodaje nowe. Eksperymentowano nawet z „SERPami o zerowych wynikach” – zjawiskiem, w którym tylko jeden wynik z Grafu wiedzy był wyświetlany w SERP bez żadnych wyników poniżej z wyjątkiem opcji „Wyświetl więcej wyników”.
Dodanie tych funkcji wywołało początkową panikę z dwóch głównych powodów. Po pierwsze – wiele z tych cech spowodowało, że wyniki organiczne zostały zepchnięte dalej w SERP. Innym produktem ubocznym jest to, że mniej użytkowników klika w wyniki organiczne, ponieważ więcej zapytań jest odbieranych w samym SERP.
Dlaczego więc Google miałby to robić? Wszystko wraca do doświadczenia związanego z wyszukiwaniem. Zachowanie użytkownika wskazuje, że niektóre zapytania są lepiej obsługiwane przez różne formaty treści. Zwróć uwagę, jak różne typy funkcji SERP pasują do różnych typów intencji zapytań. Na przykład:
– Informacyjna: Featured snippet
– Informacyjna z jedną odpowiedzią: Knowledge Graph
– Lokalna: Pakiet lokalny (mapa)
– Transakcyjna: Shopping
5.1 Wyszukiwanie Lokalne
Wyszukiwarka taka jak Google ma własny zastrzeżony indeks wykazów lokalnych firm, na podstawie których tworzy lokalne wyniki wyszukiwania.
Jeśli wykonujesz lokalną pracę SEO dla firmy która ma fizyczną lokalizację, którą klienci mogą odwiedzić (np. Dentysta) lub dla firmy podróżującej w celu odwiedzenia swoich klientów (np. Hydraulik) to upewnij się że zgłaszasz, weryfikujesz i optymalizujesz bezpłatny wpis w Google Moja Firma.
Jeśli chodzi o zlokalizowane wyniki wyszukiwania, Google określa ranking na podstawie trzech głównych czynników :
– Trafność (Relevance)
– Dystans (Distance)
– Rozgłos (Prominence)
Trafność związana jest z tym jak lokalna firma pasuje do tego czego szuka użytkownik. Upewnij się, że informacje o firmie są dokładnie wypełnione.
Google wykorzystuje Twoją lokalizację geograficzną, aby lepiej generować wyniki lokalne. Lokalne wyniki wyszukiwania są niezwykle wrażliwe na bliskość, która odnosi się do lokalizacji osoby wyszukującej i / lub lokalizacji określonej w zapytaniu (jeśli wyszukiwarka ją uwzględniła).
Organiczne wyniki wyszukiwania są wrażliwe na lokalizację osoby wyszukującej, choć rzadko są tak wyraźne jak w wynikach wyszukiwania lokalnego.
Mając na uwadze znaczenie jako czynnik, Google chce nagradzać firmy dobrze znane w realnym świecie. Oprócz widoczności firmy w trybie offline, Google bierze również pod uwagę niektóre czynniki online w celu określenia lokalnego rankingu, takie jak:
– Opinie – liczba recenzji Google, które otrzymuje lokalna firma i opinie z tych recenzji mają znaczący wpływ na jej pozycję w lokalnych wynikach.
– Cytaty – „Cytat biznesowy” lub „wpis o firmie” to internetowe odniesienie do „NAP” lokalnej firmy (nazwa, adres, numer telefonu) na zlokalizowanej platformie. Na lokalne rankingi wpływa liczba i spójność cytowań lokalnych firm. Google pobiera dane z wielu różnych źródeł podczas tworzenia indeksu lokalnych firm. Kiedy Google znajduje wiele spójnych odniesień do nazwy, lokalizacji i numeru telefonu firmy wzmacnia to zaufanie Google do ważności tych danych. To z kolei prowadzi do tego, że Google może pokazać firmę z większym stopniem pewności. Google wykorzystuje również informacje z innych źródeł w sieci takie jak linki i artykuły.
– Ranking organiczny – sprawdzone metody SEO odnoszą się również do lokalnego SEO, ponieważ Google bierze pod uwagę również pozycję witryny w bezpłatnych wynikach wyszukiwania podczas określania lokalnego rankingu
-Lokalne zaangażowanie – chociaż nie jest wymieniony przez Google jako lokalny czynnik rankingowy, rola zaangażowania będzie rosła wraz z upływem czasu. Google stale wzbogaca lokalne wyniki, uwzględniając rzeczywiste dane, takie jak popularne godziny odwiedzin i średnia długość odwiedzin …
Niewątpliwie teraz bardziej niż kiedykolwiek wcześniej na wyniki lokalne wpływają dane ze świata rzeczywistego. Ta interaktywność to sposób, w jaki osoby wyszukujące wchodzą w interakcję z lokalnymi firmami i reagują na nie, a nie na czysto statyczne (i przydatne w grach) informacje, takie jak linki i cytaty.
Ponieważ Google chce dostarczać wyszukującym najlepsze, najbardziej odpowiednie lokalne wyszukiwania to sensowne jest, aby używali wskaźników zaangażowania w czasie rzeczywistym do określania jakości i trafności.
6. Podsumowanie
Nie musisz znać tajników algorytmu Google (to pozostaje tajemnicą!). Ale już teraz powinieneś mieć dużą podstawową wiedzę na temat tego, jak wyszukiwarka znajduje, interpretuje, przechowuje i klasyfikuje treści. Uzbrojeni w tę wiedzę możemy lepiej zarządzać indeksacją, treścią i linkami.
Zostaw odpowiedź