Czy przypadkowo dokonałeś deindeksacji swojej strony internetowej? Masz prawo czuć niepokój. Jest on w pełni uzasadniony. W świecie pozycjonowania nie ma nic gorszego, niż drama popełnionego błędu. Jeśli chcesz przeżyć ten koszmar razem ze mną – być może jako równorzędne katharsis i stadium SEO – przejdziemy przez wydarzenia chronologicznie. Jesteś gotowy?
1. Kiepski Poranek…
Któregoś pięknego, pogodnego dnia budzisz się. Logujesz do panelu Ahrefs i widzisz to. Wszystkie pozycje utracone. Gwałtowny spadek ruchu. Panika!
CO.DO.LICHA?
1.1 Pomyłka!
My Seowcy przywykliśmy do obserwacji naturalnych fluktuacji w rankingu. Fluktuacji, nie całkowitego zaniku pozycji. Pierwszym odruchem jest zaprzeczenie. To pomyłka! Dlatego sprawdzamy inny serwis monitorujący. A jednak – to prawda. Google Analytics pokazuje dynamiczny spadek ruchu potwierdzając te najgorsze obawy. Jakie więc mogą być przyczyny?
1.2 Aktualizacja Algorytmu
To najczarniejszy scenariusz. Opcja wprost z koszmaru.
Korzystamy więc z narzędzia Barracuda Panguin Tool aby sprawdzić, czy nasz problem zbiegł się z potwierdzoną aktualizacją. Nie..uhh!
1.3 Diagnoza
Panikujesz, myślisz irracjonalnie i podejmujesz złe decyzje. Jest źle.
W końcu zabierasz myśli i zadajesz sobie pytanie, co się stało? To bardzo nietypowe zjawisko. Zniknięcie z rankingu słów kluczowych nie zdarza się bowiem często. To problemy techniczne!
To musi być indeksowanie!
Szybkie przeczesanie w Google stron które utraciłeś w rankingu pokazuje, że w po prostu zniknęły. GSC to potwierdza.
Warto zwrócić uwagę czy nie pojawiło się ostrzeżenie:
No: w metatagu „robots” wykryto atrybut „noindex”
Teraz już wiemy. Nadszedł czas, aby potwierdzić to odkrycie w kodzie źródłowym. Nasze strony zostały zdeindeksowane. Ale ile stron faktycznie usunięto do tej pory?
2. Liczenie Strat
Odpowiedź jest brutalnie prosta. Wszystkie. Po wysłaniu kilku szalonych notatek do naszego programisty potwierdził on, że sprint wdrożony w czwartek wieczorem (1 sierpnia 2020 r.) przypadkowo zmodyfikował kod na każdej stronie (adresu domeny nie udostępnimy ze względu na to, że nie jest już naszą własnością)
Ale czy cała witryna została usunięta z indeksu?
Jest to mało prawdopodobne ponieważ aby tak się stało, Google musiałoby zaktualizować (zindeksować) każdą stronę witryny w ciągu trzech dni w celu znalezienia znacznika „noindex”. Search Console nie pomogłoby w tym zakresie, ponieważ jego dane zawsze będą opóźnione i mogą nigdy nie wykryć takich zmian zanim zostaną naprawione.
Patrząc wstecz mogliśmy zobaczyć, że Search Console pobrał maksymalnie 249 stron których dotyczy problem. Z ponad 8000 zindeksowanych. Co jest niemożliwe biorąc pod uwagę, że nasza obecność w wyszukiwarce została zmniejszona o jedną trzecią przez cały tydzień, tuż po naprawieniu tego incydentu.
Uwaga: nigdy nie będę pewien, ile stron zostało w pełni usuniętych z indeksu w Google ale wiem, że KAŻDA strona miała znacznik „noindex”.
2.1 Rozwiązać Problem
Po zidentyfikowaniu problemu nasz programista cofnął aktualizację i przywrócił status sprzed inwazji znacznika „noindex”. Pojawił się problem ponownego indeksowania treści.
2.2 Jak Najszybciej Reindeksuj Stronę
Usunąłem starą mapę witryny, utworzyłem nową i ponownie załadowałem ją do Search Console. Pobrałem też większość stron docelowych naszych podstawowych produktów i ręcznie zażądałem ponownego zindeksowania.
2.3 Czekanie
W tym momencie nie mogliśmy zrobić nic innego, tylko czekać. Pojawiło się tyle pytań:
– Czy strony zajmują pozycję w rankingu dla tych samych słów kluczowych, co poprzednio?
– Czy zajmą te same pozycje?
– Czy Google ukarze strony za krótkotrwałe zniknięcie?
Czas pokaże.
A) 8 sierpnia 2020 (tydzień) – 33% spadek obecności w wyszukiwarce.
Oceniając szkody jako początek określam datą pełnego wdrożenia kodu powodującego błąd i umieszczeniem go na aktywnych stronach (2 sierpnia). Zatem pierwszy pomiar potrwa siedem dni, od 2 do 8 sierpnia.
Search Console prawdopodobnie dałoby mi najlepszą wskazówkę, jak bardzo ucierpiała nasza obecność w wyszukiwarce.
Straciliśmy około 33,2% ruchu związanego z wyszukiwaniem. Auć.
Na szczęście oznaczałoby to szczytowy poziom który doświadczyliśmy podczas tej dramy.
B) 15 sierpnia 2020 (dwa tygodnie) – 23% spadek ruchu
W tym okresie zwracałem uwagę na dwie rzeczy: ruch z wyszukiwania i zindeksowane strony. Pomimo ponownego przesłania mapy witryny i ręcznego pobierania stron w Search Console, wiele stron nadal nie było zindeksowanych – nawet podstawowe strony docelowe. To temat nadrzędny na całej osi czasu.
W wyniku naszych pozostałych niezindeksowanych stron nasz ruch nadal się zmniejszał.
Dwa tygodnie po incydencie nadal byliśmy o 8% w dół, a konwersje generujące przychody spadały wraz z ruchem (pomimo wzrostu współczynników konwersji).
C) 22 sierpnia 2019 (trzy tygodnie) – 13% spadek ruchu
Nasze strony powoli się indeksowały. Boleśnie powoli. Przynajmniej jasne było, że nasza obecność w wyszukiwarce się odradza. Szczególnie interesowało mnie to, w jaki sposób i w jakim tempie domena i jej podstrony dochodzą do siebie.
Czy wszystkie strony zostały ponownie zindeksowane, ale zmniejszyła się liczba wyszukiwań?
Czy tylko część stron została ponownie zindeksowana przy całkowicie przywróconej obecności w wyszukiwarce?
Aby odpowiedzieć na to pytanie przyjrzałem się stronom, które zostały indywidualnie usunięte z indeksów i ponownie zindeksowane. I odpowiedź nasuwała się sama.
Każda strona została w pełni przywrócona do pierwotnej obecności w wyszukiwarce. Więc nie wydaje mi się że to kwestia tego czy strony wrócą, tylko kwestia czasu ponownego zindeksowania stron.
Skoro o tym mowa, Search Console ma nową funkcję w której „sprawdza” błędne strony. Zacząłem ten proces 26 sierpnia. Po tym momencie SC powoli przeszukiwał (jak przypuszczam) te strony w tempie około 10 tygodniowo.
To, czego dowiedziałem się na pewno to, że po trzech tygodniach nadal istnieje wiele stron, które nie zostały zindeksowane – w tym komercyjne strony docelowe na których liczyłem, że zwiększą ruch.
D) 29 sierpnia 2019 (cztery tygodnie) – 9% spadek ruchu
W tym momencie byłem bardzo sfrustrowany, ponieważ pozostało tylko około 150 stron do ponownego zindeksowania i bez względu na to, ile razy sprawdzałem i prosiłem o nowe indeksowanie w Search Console – nie zadziałało.
Strony te były w pełni zdolne do zindeksowania (jak wykazała kontrola adresu URL SC) ale nie udawało się to. W rezultacie po prawie miesiącu nadal byliśmy o 9% poniżej poziomu bazowego. Jedna strona w uciążliwy sposób nie mogła zostać zindeksowana. Była to strona produktu o wysokiej wartości biznesowej, na którą liczyłem względem konwersji.
Próbując wymusić ponowne indeksowanie wykonałem:
– Sprawdzanie adresów URL i żądanie indeksowania (15 razy w ciągu miesiąca)
– Aktualizacja daty publikacji, a następnie prośba o indeksowanie
– Aktualizacja treści i daty publikacji, a następnie prośba o indeksowanie
– Ponowne przesłanie map witryn do SC
Nic nie działało. Strona nie zostanie ponownie zindeksowana. Ta sama historia w przypadku ponad stu innych adresów URL o mniejszym znaczeniu komercyjnym.
Uwaga: strona ta nie zostanie ponownie zindeksowana do 1 października, czyli dwa pełne miesiące po jej usunięciu.
Przy okazji, oto jak wyglądał nasz ogólny postęp regeneracji po czterech tygodniach.
E) 5 września 2019 (pięć tygodni) – 10,4% spadek ruchu
Wielki płaskowyż. W tym momencie ponownie zindeksowaliśmy wszystkie nasze strony, z wyjątkiem 150 rzekomo „sprawdzonych”.
Niestety – nie były. I nie były też ponownie przeszukiwane.
Wydawało się, że prawdopodobnie w pełni wyzdrowiejemy, ale wszystko było w rękach Google i nie mogłem zrobić nic.
F) 12 września 2019 (sześć tygodni) – 5,3% wzrost ruchu
Pełne przywrócenie ruchu zajęło około sześciu tygodni.
Ale prawdę mówiąc nadal nie odzyskaliśmy go w 100%, ponieważ niektóre treści osiągały lepsze wyniki i rekompensowały nadmierną liczbę stron, które nie zostały jeszcze zindeksowane. W szczególności nasza strona produktu, która nie byłaby indeksowana przez kolejne ~ 2,5 tygodnia.
Podsumowując, nasza obecność w wyszukiwarce powróciła po sześciu tygodniach. Jednak nasze treści zostały ponownie w pełni zindeksowane dopiero po ośmiu tygodniach od rozwiązania problemu.
3. Czego Więc Nie Robić?
Nie usuwaj z indeksu swojej witryny. Szczególnie przez przypadek. Ani też w ramach eksperymentu lub z żadnego innego powodu. To zaboli. Szacuję, że usunęliśmy około 12% całego ruchu organicznego co oznacza równie proporcjonalny spadek konwersji. Czego się nauczyliśmy?
Po ponownym zindeksowaniu stron zostały one w pełni przywrócone pod względem widoczności podczas wyszukiwania. Największym problemem było ponowne ich zindeksowanie.
Kilka głównych pytań, na które odpowiedzieliśmy w tym przypadkowym eksperymencie.
3.1 Czy Wyzdrowieliśmy?
Tak, w pełni odzyskaliśmy moc i wydaje się, że wszystkie adresy URL mają tę samą widoczność, co kiedyś.
3.2 Jak Długo To Trwało?
Widoczność wyszukiwania powróciła do poziomu wyjściowego po sześciu tygodniach. Wszystkie strony zostały ponownie zindeksowane po około ośmiu do dziewięciu tygodni. Dobra wiadomość jest taka, że możesz odzyskać poprzednie wartości, nawet jeśli będziesz musiał sporo czekać.
4. Deindeksacja I Jej Przyczyny?
Podsumowując – deindeksacja przez Google to zła wiadomość, ale nie koniec świata. Jeśli podejmiesz szybkie działania Twoja witryna może wrócić na swoje miejsce. Oto co musisz zrobić.
4.1, Dlaczego Google Deindeksuje Strony?
Witryna internetowa zazwyczaj deindeksowana jest z jednego z dwóch powodów:
– Firma Google bezpośrednio podjęła działania
– Ktoś przypadkowo popełnił błąd w kodzie
Jeśli podjęto działania ręczne, otrzymasz powiadomienie w GSC ze szczegółowym opisem naruszenia regulaminu.
Najczęstszą przyczyną takiego stanu rzeczy jest to, że naruszasz Google’s webmaster quality guidelines czyli w wolnym tłumaczeniu – wytyczne Google.
Jeśli nie znasz jeszcze regulaminu to dobry moment, aby go przejrzeć. Należy postępować zgodnie z tymi wytycznymi co do joty – są bowiem kluczem do utrzymania dobrej opinii. Poniżej znajdziesz proste rozwiązywania tego problemu, a następnie pokażemy Ci, jak odzyskać pozycję.
4.2 Spamerskie Linki Prowadzące Do Bądź Z Twojej Witryny
Tutaj możliwości jest sporo:
– Spamerskie blogowanie
– Gwałtowny przyrost linków prowadzących do Twojej witryny w zbyt krótkim czasie
– Zbyt agresywne spamowanie na blogach
– Udział w wymianach linków lub farmach linków
Rozwiązanie:
Jeśli otrzymałeś karę w związku z generowaniem sztucznych linków pierwszą rzeczą którą musisz zrobić, jest przeprowadzenie audytu linków.
Zidentyfikuj te które są ważne i naturalne, a te które są sztuczne lub spamerskie oznacz. Ostatecznie powinieneś wygenerować listę linków, których należy się zrzec.
Po przesłaniu pliku zrzeczonych linków – wysyłamy również prośbę o ponowne rozpatrzenie zgłoszenia wraz z wyjaśnieniem co się stało i jakie kroki zostały podjęte, aby naprawić sytuację.
4.3 Zduplikowana Bądź Wygenerowana Treść
Sztucznie wygenerowana treść zdecydowanie narusza wytyczne Google. Treści spinowane lub pobrane, treści spamerskie mieszczą się pod parasolem kontentu niskiej jakości. Również zła pisownia i gramatyka mogą negatywnie wpłynąć na twoje rankingi.
Rozwiązanie:
Jeśli bierzesz udział w tworzeniu treści generowanych automatycznie lub nieoryginalnych prawdopodobnie wiesz, że robisz to źle..
Z drugiej strony może być nieco trudniej znaleźć teksty, które są zduplikowane. Użyj narzędzi takich jak np. Deep Crawl, Screaming Frog czy Site Bulb. To pomoże ci w identyfikacji wadliwych miejsc.
Poświęć czas i zasoby na opracowanie kopii opartej na rzeczywistej wartości i usuń strony o niskiej jakości.
Na koniec należy złożyć wniosek o ponowne rozpatrzenie zgłoszenia.
4.4 Maskowanie Czyli Cloaking
Jeśli udostępniasz wyszukiwarkom i użytkownikom dwa różne zestawy treści lub adresów URL, jest to traktowane jako maskowanie i z całą pewnością może skutkować banem.
Rozwiązanie:
Czasami dzieje się to bez twojej winy i wiedzy.
Jeśli Twoja domena zawiera treści za paywallem dla subskrybentów, może to wyglądać jak maskowanie. W takim przypadku musisz ją zrestrukturyzować za pomocą JSON-LD. Firma Google udostępniła szczegółowe instrukcje dotyczące takich przypadków.
Istnieje także szansa, że ktoś włamał się do twojego panelu. Hakerzy często wykorzystują maskowanie jako sposób na kierowanie użytkowników do spamerskich witryn internetowych. Zwykle można to szybko naprawić wykonując skanowanie. Inną opcją jest skorzystanie z usługi takiej jak Sucuri i umożliwienie im czyszczenia złośliwego oprogramowania.
Po oczyszczeniu strony musisz złożyć rozpatrzenie informując o krokach podjętych w celu rozwiązania problemów.
4.5 Spamerskie Dane Uporządkowane
Podobnie jak w przypadku innych wspomnianych kwestii, istnieją ogólne wytyczne dotyczące danych strukturalnych.
Niezastosowanie się do wytycznych z całą pewnością może skutkować ręcznym działaniem i możliwą deindeksacją strony internetowej.
Rozwiązanie:
Jeśli otrzymałeś działanie ręczne, pierwszym krokiem powinno być przyjrzenie się niektórym przyczynom ręcznych działań związanych z danymi strukturalnymi i na podstawie komunikatu dostarczonego Ci w Search Console sprawdzenie, gdzie tkwią problemy.
Innym sposobem identyfikacji potencjalnych problemów jest skorzystanie z narzędzia do testowania uporządkowanych danych.
Po naprawieniu problemu należy złożyć wniosek o ponowne rozpatrzenie.
4.6. Darmowy Hosting
Nie daj się wciągnąć obietnicy „darmowego hostingu”. Nie ma czegoś takiego! Zamiast obietnicy zobaczysz spamerskie reklamy i tragiczny support.
Google oświadczył, że podejmie działania w tej sprawie. Chcesz zapobiec karze? Zawsze korzystaj z niezawodnego, przyjaznego dla SEO hostingu. Warto za niego dobrze zapłacić!
4.7 Keyword Stuffing
Upychanie słów kluczowych (Keyword Stuffing) to kolejna prehistoryczna taktyka SEO, która polega na budowaniu stron internetowych (w tym meta tagów i metata opisów) z wybranymi słowami kluczowymi, które występują w nadmiernej gęstości.
Zakres Keyword Stuffing jest na tyle szeroki, że obejmuje:
– Dodanie niepowiązanych ze sobą słów kluczowych. Na przykład twój biznes oferuje ekspresy do kawy, ale ty dodajesz słowa kluczowe związane z blogowaniem w nadziei że przyciągnie on większy ruch.
– Inną formą jest masowe powtarzanie słów kluczowych bądź ich odmian. Google jest na to bardzo wyczulony. Na przykład: nasz ekspres do kawy to rewolucyjne narzędzie. Dzisiaj oferujemy nasz ekspres do kawy po niskich cenach. Nie wahaj się kupić naszego ekspresu do kawy!
– Inną taktyką jest umieszczanie słów kluczowych na stronie internetowej czcionką, która dopasowuje się do tła witryny bądź jest za mała, aby ją odczytać.
4.7 Doorway Pages
Strony przejściowe (nazywane również stronami portalu, stronami przeskoków i stronami bram) to strony tworzone w celu uszeregowania określonych zapytań wyszukiwania.
Według Google strony przejściowe mogą prowadzić do wielu podobnych stron w wynikach wyszukiwania, z których każda zawiera tylko linki z powrotem do pierwszej strony.
Przykładem mogą być strony internetowe utworzone dla podmiotów stowarzyszonych, na których po odwiedzeniu nie ma żadnych treści.
Inny przykład? Strony zaprojektowane pod kątem ogólnych haseł, które zawierają bardzo konkretną treść. To źle wpływa na doświadczenie użytkownika (wieloaspektowy / ważny sygnał rankingowy), ponieważ przenosi go na różne strony pośrednie kiedy ostatecznie zostanie przekierowany na tę samą stronę główną.
Niektórzy są zaniepokojeni tym w jaki sposób Google chce „posiadać” strony przejściowe, ponieważ ich strony parasolowe (lub indeksowe) zostały ukarane.
W związku z tym The New York Times opublikował niedawno artykuł zatytułowany „The Case Against Google” w którym stwierdzono, że Google staje się zbyt duży i potężny.
4.8 Inne Powody
Jeśli żaden z powyższych problemów nie dotyczy Twojej platformy, masz pecha. Jeśli przypadkowo użyjesz dyrektywy noindex na którejkolwiek ze swoich stron, Google je usunie. Możesz to sprawdzić, przeglądając tag <head> wybranej podstrony.
Jeśli użyłeś dyrektywy noindex, kod będzie wyglądał następująco:
Innym problemem może być to, że domena wygasła. Jeśli nazwa domeny wygaśnie i nie odnowisz jej, Twoja witryna nieuchronnie zniknie z wyników Google. Skonfiguruj przypomnienie w swoim kalendarzu na kilka tygodni przed datą wygaśnięcia lub skorzystaj z usługi, takiej jak monitorowanie domeny StatusCake, która powiadomi Cię o tym fakcie.
Jeśli masz problemy z serwerem – efektem może być usunięcie z indeksu.
Rozwiązanie:
Zainwestuj w usługę monitorowania witryny, dzięki której możesz otrzymywać powiadomienia w razie awarii. StatusCake jest doskonałym rozwiązaniem – możesz uzyskać monitorowanie witryny i domeny w pakiecie. Jeśli Google prowadzi aktualizację algorytmu warto monitorować status indeksacyjny. Sprawdź, czy aktualizacja zawiera wytyczne i kontestuj je ze swoją stroną.
Rozwiązanie:
Najlepszym sposobem na zidentyfikowanie tego jest odniesienie się do momentu wystąpienia spadków i porównanie tego z aktualizacją algorytmu.
Narzędzie Panguin to świetne bezpłatne źródło informacji, aby badać aktualizacje.
4.7 Kolejne Kroki
Jeśli Twoja strona została zdeindeksowana z powodu niezgodności ze wskazówkami dotyczącymi jakości, musisz przesłać do Google prośbę o ponowne rozpatrzenie zgłoszenia.
Przed wykonaniem tego kroku upewnij się, że rozwiązałeś wszystkie problemy (i udokumentowałeś, jak to zrobiłeś).
Przesyłaj mapy witryn do Google. Jeśli Twoja witryna została zdeindeksowana z innego powodu – na przykład awarii serwera, ponownie prześlij mapy witryn do Google aby rozpocząć proces ponownej indeksacji.
W międzyczasie poszukaj sposobów na zwiększenie ruchu. Media społecznościowe mogą dobrym pomysłem na sam początek. Podczas gdy ruch organiczny wciąż rośnie, rozruszasz biznes na innej platformie.
4.8 Podsumowując
Usunięcie z indeksu przez Google to zła wiadomość, ale to nie koniec świata. Jeśli podejmiesz szybkie działanie, Twoja witryna szybko wróci na należne jej miejsce. Zacznij od zidentyfikowania i naprawienia problemu. Następnie poproś Google o ponowne zindeksowanie Twojej witryny, jednocześnie podwajając wysiłki w SEO.
Niektórzy ludzie uciekają się do desperackich środków i brudnych taktyk co nigdy nie kończy się dobrze. Google prawie zawsze usunie z wyników wyszukiwania strony internetowe stosujące manipulacje.
Jeśli chcesz być wysoko w wynikach wyszukiwania, zrób to we właściwy sposób:
– Dostarczaj odpowiednią
– Nie staraj się nadmiernie optymalizować słów kluczowych ani linków
– Nie uciekaj się do brudnych taktyk
Pozycjonowanie wymaga czasu – nie ma drogi na skróty!
5. Celowa Deindeksacja
Większość ludzi martwi się jak zindeksować stronę chcąc uniknąć deindeksacji za wszelką cenę. Przez większość czasu taktyka indeksowania jak najszerszej puli strona działa doskonale.
Czasami jednak warto zastanowić się, czy może inna strategia nie zadziała lepiej. Czemu?
Prawdą jest że publikowanie dużej liczby stron zawierających ukierunkowane słowa kluczowe może pomóc w uzyskaniu pozycji w rankingu dla tych właśnie konkretnych słów.
Jednak czasami bardziej pomocny może być fakt, że niektóre podstrony nie będą umieszczone w indeksie wyszukiwarki a skupisz uwagę pająków Google na tych naprawdę wartościowych, mocnych.
Na początek przyjrzyjmy się różnicy między pobieraniem a indeksowaniem.
5.1 Crawling A Indeksacja
W świecie SEO indeksowanie witryny oznacza podążanie konkretną ścieżką.
Indeksowanie odnosi się do robota indeksującego witrynę (znanego również jako pająk), który śledzi Twoje linki i indeksuje każdy jej centymetr.
Roboty owe mogą weryfikować kod HTML lub hiperłącza. Mogą również pobierać dane (proces ten nazywa się web scraping).
Kiedy roboty Google odwiedzają twoją domenę podążają niczym pająki w labiryncie odkrywają kolejne sieci, które analizują pod tym samym kątem co twoją.
Następnie wykorzystują informacje, aby udostępniać wyszukiwarkom aktualne dane – tak tworzą się algorytmy rankingowe. Dlatego mapy witryn są tak ważne – zawierają wszystkie linki i służą niczym latarnia dla zagubionego statku. To jest crawling.
Z drugiej strony – indeksowanie oznacza proces dodawania określonych stron internetowych do indeksu, które można sprawdzić w Google.
Jeśli strona internetowa znajduje się tam, Google będzie w stanie ją pobrać i zindeksować. Po deindeksowaniu strony Google nie będzie już w stanie jej zindeksować.
Domyślnie indeksowany jest każdy post i strona WordPress.
Warto mieć zindeksowane odpowiednie strony, ponieważ ekspozycja w Google może pomóc Ci uzyskać więcej kliknięć i zwiększyć ruch, co przekłada się na większe pieniądze i widoczność marki.
Jeśli jednak pozwolisz na indeksowanie nieistotnych części swojego bloga lub witryny internetowej, możesz wyrządzić więcej szkody niż pożytku.
Oto dlaczego deindeksacja stron może zwiększyć ruch.
5.2 Dlaczego Usuwanie Stron Z Wyników Wyszukiwania Może Zwiększyć Ruch?
Może wydawać się, że zoptymalizowanie witryny ponad stan nie jest realne. Jeśli tak myślisz, jesteś w błędzie! Za dużo SEO może zrujnować wysoką pozycję.
Istnieje wiele różnych sytuacji w których możesz potrzebować (lub chcieć) wykluczyć stronę internetową (lub przynajmniej jej część) z indeksowania.
Oczywistym powodem jest zapobieganie indeksowaniu zduplikowanych treści.
Duplikowana treść oznacza, że istnieje więcej niż jedna wersja twojej platformy. Na przykład jedna może być wersją do druku, a druga nie. W takim wypadku wersją do druku należy oznaczyć jako noindex w kodzie strony. To pomoże uniknąć przykrej sytuacji.
Innym przykładem jest witryna z podziękowaniem – czyli taka, która wyświetla się po wykonaniu określonej czynności takiej jak pobranie oprogramowania. Jest to miejsce, w którym odwiedzający witrynę uzyskuje dostęp do wszystkiego, co obiecałeś w zamian za swoje działania – na przykład e-book.
Dobrze jest, aby użytkownicy trafiali na nie tylko wtedy gdy wykonali określoną czynność – na przykład zakup produktu lub wypełnienie formularza kontaktowego. A nie dlatego, że znaleźli ją w wyszukiwarce. Jeśli to zrobią uzyskają dostęp przed czasem.
Nie tylko bezpłatnie udostępniasz najcenniejsze treści, ale możesz również zepsuć analizę całej witryny z niedokładnymi danymi. Będziesz myślał, że zdobywasz większą ilość potencjalnych klientów niż w rzeczywistości.
Jeśli na swoich stronach z podziękowaniami znajdują się słowa kluczowe z długiego ogona, które nie zostały przez Ciebie deindeksowane, mogą one zajmować dość wysokie pozycje w rankingu.
5.3 Wyjaśnienie Tagów Noindex I Nofollow
Jeśli nie chcesz, aby twoja domena wyświetlała się w SERP możesz to zrobić za pomocą meta tagów. Twoja rola będzie zminimalizowana do umiejętności typu kopiuj – wklej. Tagi, które umożliwiają usuwanie stron z indeksu nazywane są „noindex” i „nofollow”.
Zanim przejdziemy do sposobu dodawania tych tagów, musisz poznać różnice między sposobem ich działania. Można wykorzystać je osobno bądź razem.
Dodanie tagu noindex informuje wyszukiwarki że chociaż nadal może je skanować, nie może umieszczać ich w indeksie.
Żadna strona z dyrektywą noindex nie trafi do indeksu wyszukiwarki co oznacza, że nie pojawi się na żadnych stronach wyników wyszukiwania.
Oto jak wygląda tag noindex w kodzie HTML witryny:
Strona ze znacznikiem nofollow może zostać zindeksowana podczas wyszukiwania. Oto jak wygląda tag nofollow w kodzie witryny:
Dodaj tylko tag noindex jeśli nie chcesz, aby wyszukiwarka indeksowała Twoją stronę internetową w wynikach wyszukiwania ale chcesz, aby podążała za linkami na tej stronie.
Dodaj tylko tag nofollow jeśli chcesz aby wyszukiwarka indeksowała określoną stronę na stronach wyników ale nie chcesz aby podążała za linkami, które masz na tej konkretnej stronie.
Dodaj do strony zarówno tag noindex jak i nofollow jeśli nie chcesz, aby wyszukiwarki indeksowały stronę lub nie mogły podążać za znajdującymi się na niej linkami.
Na przykład możesz chcieć dodać zarówno tag noindex, jak i nofollow do stron z podziękowaniami.
5.4 Jak Dodać Metatag „Noindex” I / Lub „Nofollow”
Jeśli chcesz dodać tag noindex i / lub nofollow, pierwszym krokiem jest skopiowanie żądanego tagu.
W przypadku tagu noindex skopiuj następujący tag:
<META NAME = ”robots” CONTENT = ”noindex”>
W przypadku tagu nofollow skopiuj następujący tag:
<META NAME = ”robots” CONTENT = ”nofollow”>
W przypadku obu tagów skopiuj następujący tag:
<META NAME = ”robots” CONTENT = ”noindex, nofollow”>
Dodaj tag do sekcji kodu HTML strony nazywanego również nagłówkiem strony. Otwórz kod źródłowy strony internetowej, którą chcesz deindeksować. Następnie wklej tag w nowym wierszu w sekcji <head> kodu HTML.
Pamiętaj, że tag </head> oznacza koniec nagłówka. Nigdy nie wklejaj tagu noindex lub nofollow poza tym obszarem.
Zapisz i gotowe. Wyszukiwarka pozostawi Twoją stronę poza wynikami wyszukiwania.
Jeśli chcesz deindeksować wiele stron, zmieniając plik robots.txt.
Pliki robots.txt wskazują po prostu, czy określone oprogramowanie do indeksowania sieci jest zdolne do indeksowania konkretnych części witryny.
Jeśli chcesz „nofollow” kilka stron internetowych naraz możesz to zrobić z jednego miejsca, otwierając plik robots.txt swojej witryny.
Po pierwsze dobrze jest sprawdzić czy witryna zawiera plik robots.txt. Aby to rozgryźć, przejdź do swojej witryny, a po niej „robots.txt”.
Powinien wyglądać mniej więcej tak: www.twojastrona.pl/robots.txt.
Oto kilka kodów w pliku robots.txt, które mogą być potrzebne:
Zezwól na indeksowanie wszystkiego:
User-agent: *
Disallow:
or
User-agent: *
Allow: /
Nie zezwalaj na indeksowanie:
User-agent: *
Disallow: /
Usuń zindeksowanie określonego folderu:
User-agent: *
Disallow: /folder/
Nie zezwalaj Googlebotowi na indeksowanie folderu, z wyjątkiem jednego określonego pliku w tym folderze:
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html
Google i Bing pozwalają ludziom na używanie symboli wieloznacznych w plikach robots.txt.
Aby zablokować dostęp do adresów URL zawierających znak specjalny taki jak znak zapytania, użyj następującego kodu:
User-agent: *
Disallow: /*?
Google obsługuje również używanie noindex w pliku robots.txt.
Aby zastosować noindex z pliku robots.txt, użyj tego kodu:
User-agent: Googlebot
Disallow: /page-uno/
Noindex: /page-uno/
Zamiast tego możesz również dodać nagłówek X-Robots-tag do określonej strony.
Oto jak wygląda tag „bez indeksowania” X-Robots:
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)
Mogą wystąpić sytuacje, w których dodano tagi nofollow i / lub noindex lub zmieniono plik robots.txt, ale niektóre strony nadal pojawiają się w wyszukiwarkach. To normalne.
Oto jak to naprawić.
Jeśli twoje strony nadal pojawiają się w wynikach wyszukiwania, prawdopodobnie dzieje się tak, ponieważ Google nie zaindeksował Twojej witryny od czasu dodania tagu. Poproś Google o ponowne zindeksowanie Twojej witryny, używając narzędzia Pobierz jako Google.
Po prostu wprowadź adres URL swojej strony, kliknij aby wyświetlić wyniki pobierania i sprawdź stan przesłania adresu URL.
Innym powodem dla którego Twoje strony są nadal wyświetlane jest to, że plik robots.txt może zawierać błędy. Możesz edytować lub testować plik robots.txt za pomocą narzędzia Tester pliku robots.txt
Nie używaj metatagu noindex i disallow w pliku robots.txt !
Gdy metatagiem noindex obłożysz kilka stron, ale nadal są one niedozwolone w pliku robots.txt, boty go zignorują.
Nigdy nie używaj obu tagów jednocześnie. Dobrym pomysłem jest pozostawienie map witryn na miejscu przez jakiś czas, aby roboty indeksujące je widziały.
Istnieje również opcja, aby w ogóle uniemożliwić indeksowanie witryny, a jednocześnie umożliwić Google AdSense działanie na wielu stronach.
Pomyśl o jednej ze swoich stron – na przykład o stronie kontakt lub tej z polityką prywatności. Prawdopodobnie jest on powiązany z każdą stroną w Twojej witrynie w menu stopki lub w menu głównym.
Do tych stron trafia mnóstwo linków. Nie chcesz ich po prostu wyrzucić. Zwłaszcza gdy pojawia się bezpośrednio z menu głównego lub menu stopki.
Mając to na uwadze, nigdy nie należy umieszczać strony blokowanej w pliku robots.txt w mapie witryny XML.
Nie uwzględniaj tych stron w mapach witryn XML
Jeśli zablokujesz stronę w pliku robots.txt, ale następnie umieścisz ją w mapie witryny XML – drażnisz Google.
Mapa witryny mówi: „Oto lśniąca strona, którą musisz zindeksować Google”. Ale nagle plik robots.txt zabiera tę stronę.
Wszystkie treści w witrynie należy umieścić w dwóch różnych kategoriach:
– Wysokiej jakości Landing Page
– Strony narzędziowe (Utility pages) które są przydatne dla użytkowników, ale nie muszą być stronami docelowymi wyszukiwania
Nie ma potrzeby blokowania czegokolwiek z pierwszej kategorii w pliku robots.txt. Treść ta również nigdy nie powinna mieć tagu noindex. Uwzględnij wszystkie te strony w mapie witryny XML, bez względu na wszystko.
W drugiej kategorii za pomocą tagu noindex powinieneś zablokować wszystko za pomocą metod które opisaliśmy w tym felietonie. Nie chcesz uwzględniać tych treści w mapie witryny.
Google stara się zrozumieć twoją mapę witryny XML jak najlepiej dlatego postaraj się wykonać każdą operację w logicznym porządku.
Pamiętaj że tylko dlatego, że czegoś nie ma w Twojej mapie witryny nie oznacza, że Google całkowicie to zignoruje.
6. Podsumowanie
Większość ludzi martwi się jak zindeksować stronę. Nikt nie myśli jednak jak zarządzać budżetem indeksacyjnym.
Indeksowanie zbyt wielu niewłaściwego rodzajów stron może w rzeczywistości jej zaszkodzić. Aby rozpocząć ten proces, musisz zrozumieć różnice między crawlingiem a indeksowaniem.
Przeszukiwanie witryny (crawling) to boty przeszukujące wszystkie linki na stronie internetowej.
Indeksowanie oznacza dodanie strony do indeksu Google zawierającego wszystkie strony, które mogą być wyświetlane na stronach wyników wyszukiwania Google. Warto eliminować niepotrzebne strony z puli dostępnych aby umożliwić tym ważniejszym szybszą indeksację. Następnie poznaj różnicę między tagami noindex i nofollow.
Tagi Noindex usuwają strony z indeksu Google zaś tagi nofollow uniemożliwiają Google indeksowanie linków na stronie.
Możesz ich używać razem bądź osobno. Wszystko co musisz zrobić, to dodać kod w nagłówku strony. Następnie dowiedz się, jak działa plik robots.txt. Możesz go zablokować – Google ma możliwość indeksowania wielu stron jednocześnie.
Twoje strony mogą nadal pojawiać się w SERP. Użyj narzędzia Pobierz jako Google, aby rozwiązać ten problem.
Zostaw odpowiedź