Indeksowanie strony: definicja i podstawy

Indeksowanie to zbieranie informacji o treści, frazach kluczowych, linkach i obrazach znajdujących się na stronie i zapisywanie ich w bazie danych wyszukiwarki. Korzystając z wyszukiwania, przeszukujemy właśnie tę bazę danych (indeks), a nie wszystkie witryny w internecie bezpośrednio. Za indeksowanie strony odpowiadają specjalne programy, czyli roboty sieciowe (inne nazwy robota: robot internetowy, pająk, pełzacz, web wanderer, spider, bot). Na naszym blogu o pozycjonowaniu znajdziecie specjalnie przygotowany słownik SEO z wyjaśnieniem tych i innych pojęć.

Jedno zapytanie – tysiące adresów potencjalnie zawierających odpowiedź. W dużym uproszczeniu można przyjąć, że Google zna odpowiedź na zapytanie, jeszcze zanim wpiszemy je do wyszukiwarki. Wszystko dlatego, że na bieżąco tworzy indeks wyszukiwania i porządkuje w nim informacje. Aby lepiej zrozumieć ten proces należy cofnąć się do początku istnienia witryny. Nowo założona lub zaktualizowana witryna www, która trafia do internetu, zostaje przeskanowana przez Google, a konkretnie przez specjalny program skanujący. Po zdobyciu informacji na temat danej witryny, Google wprowadza ją do indeksu, czyli do bazy danych. A zatem, szukając informacji w internecie, przeszukujemy tak naprawdę indeks Google.

W indeksowaniu stron udział biorą programy nazywane robotami indeksującymi. Podążając za linkami zawartymi na podstronach, roboty indeksują strony www jedna za drugą. Po wpisaniu zapytania oprogramowanie przeszukuje indeks i znajduje wszystkie strony, odpowiadające zapytaniu wpisanemu przez użytkownika w okno wyszukiwarki. W ten sposób uzyskujemy naprawdę olbrzymie ilości wyników. Aby umożliwić użytkownikowi uzyskanie jak najdokładniejszej odpowiedzi na zadane zapytanie, Google wykorzystuje algorytmy, które na podstawie kilkuset różnych czynników selekcjonują strony www w indeksie. Procesy działania algorytmów są niezwykle złożone. Dość powiedzieć, że pod uwagę brane są m.in. liczba i rozmieszczenie słów kluczowych, występowanie odpowiednich kolokacji, czyli wyrażeń powiązanych, jakość witryny i wiele, wiele innych. Cały proces ustalenia pozycji witryny i wyświetlenia wyników wyszukiwania zajmuje wyszukiwarce Google zaledwie ok. pół sekundy.

Ile adresów www mieści się w indeksie?  Setki miliardów. Zajmują one ponad 100 000 000 gigabajtów. Google przypisuje stronę internetową do indeksu zgodnie ze słowami, jakie ona zawiera.

Aby możliwe było wskazanie witryny najlepiej odpowiadającej na zapytanie użytkownika, muszą zadziałać algorytmy. To dzięki nim wyniki w indeksie są selekcjonowane i porządkowane w określonej kolejności. Google nieustannie pracuje nad udoskonalaniem swoich algorytmów, dzięki czemu potrafią już one nie tylko rozpoznać same słowa kluczowe, lecz także kontekst ich wykorzystania, a nawet literówki, które mogą pojawiać się przy wpisywaniu zapytania. Algorytmy oceniają jednak nie tylko tekst, lecz także inne aspekty, takie jak zaufanie do witryny, wiarygodność i merytoryczność treści, jakość linków, a nawet… intencje użytkownika!

Wiemy już co to jest indeksowanie strony w Google. Jednak w kontekście funkcjonowania wyszukiwarki można też spotkać pojęcie crawling (można to tłumaczyć jako: pełzanie, czołganie, łażenie – tak jak przemieszczają się robaki lub pająki; patrz: inne nazwy robota). Crawling to jeszcze nie indeksowanie strony, a jedynie przechodzenie robota pomiędzy podstronami.

Crawling (można spotkać się też ze słowem: crawlowanie) to po prostu wysłanie bota na witrynę, celem jej przeanalizowania, natomiast indeksowanie to pobieranie, przetwarzanie i gromadzenie danych celem włączenia strony www do indeksu wyszukiwarki. Przeprowadzenie crawlingu nie oznacza, że adres został zaindeksowany i że pojawi się w wynikach wyszukiwania.

Umieszczenie adresu www w indeksie jest następnym etapem po crawlingu. Nie każda strona po crawlingu jest zaindeksowana, lecz każda zaindeksowana została wcześniej poddana crawlingowi.

W praktyce indeksowanie mobile-first oznacza, że przy określaniu pozycji w wynikach wyszukiwania brana będzie pod uwagę wersja mobilna strony internetowej. Oczywiście wprowadzenie tej metody przez wyszukiwarkę Google podyktowane jest rosnącym znaczeniem urządzeń mobilnych w codziennym życiu.

b) crawl demand – zapotrzebowanie na indeksowanie.

W przypadku częstotliwości crawlowania (crawl rate limit) chodzi o to, że podczas jednej wizyty na witrynie internetowej roboty chcą zaindeksować jak największą liczbę adresów URL, jednak bez nadmiernego obciążenia serwera, aby nie wpływać negatywnie na doświadczenia użytkowników. Częstotliwość crawlowania można ograniczyć za pomocą Google Search Console, np. w sytuacji, gdy crawlowanie przeciąża serwer. Ustawiona w GSC częstotliwość będzie maksymalną, jaką Googlebot będzie w stanie osiągnąć. Częstotliwość crawlowania dla danej witryny jest ustanawiana algorytmicznie tak, aby była optymalna. Google odradza ograniczanie częstotliwości crawlowania, chyba że administrator witryny ma pewność, że to właśnie Googlebot jest przyczyną przeciążenia serwera.

Zapotrzebowanie (crawl demand) oznacza z kolei działanie mające na celu „zachęcenie” botów do częstszego odwiedzania witryny. Częściej odwiedzane są witryny popularne oraz często aktualizowane (zmiany na stronie www wymuszają częstsze wizyty crawlerów).

Domeny internetowe posiadają budżet dzienny wyrażany w megabajtach. Boty pełzają po podstronach aż do limitu i przerywają indeksowanie po wykorzystaniu budżetu. Następnie wracają, aby sprawdzić, czy w międzyczasie na pobranych już adresach nie nastąpiły aktualizacje. W takim układzie może się okazać, że podstrony zlokalizowane bardzo głęboko w architekturze witryny mogą w ogóle nie zostać zaindeksowane. Dlatego korzystniej jest mieć witrynę o prostszej konstrukcji, z ważnymi podstronami umieszczonymi wysoko w hierarchii. Kiedy robot wraca na witrynę? Tego niestety nie wiemy. W praktyce bot codziennie pełza po witrynie internetowej, ale nigdzie nie jest zdefiniowane, kiedy przerywa crawlowanie i kiedy ewentualnie wróci.

Innym sposobem jest oczywiście sprawdzenie raportu ze statystyk indeksowania w Google Search Console. To podstawowe narzędzie do badania kondycji i stanu indeksacji, które zawiera informacje na temat działań, jakie Googlebot wykonał na witrynie w ciągu ostatnich 90 dni. Czy są sposoby na to, aby stymulować indeksowanie strony w wyszukiwarkach oraz czy można rozpoznać kiedy witryna była indeksowana w wyszukiwarce?

Nie można udzielić jednoznacznej odpowiedzi na to pytanie. Nawet sama firma Google nie podaje przybliżonego czasu indeksowania stron. Odnalezienie i pobranie nowej witryny może zająć kilka dni, ale równie dobrze kilka miesięcy.

Za indeksowanie strony w Google odpowiadają algorytmy oraz Googlebot. Roboty sieciowe, czyli de facto programy komputerowe, podlegają pewnym ograniczeniom wynikającym choćby z prędkości przesyłania danych czy pojemności serwerów.

Indeksowanie strony www ma charakter cykliczny, dlatego warto nieustannie dbać o wysoką jakość witryny oraz wprowadzanych aktualizacji, aby osiągać wyższe pozycje bądź nie spadać w wynikach wyszukiwania. Po pierwszych odwiedzinach witryny roboty wracają co jakiś czas, aby sprawdzić i zaindeksować ewentualne zmiany. Im częściej roboty napotykają nowy, wartościowy content, tym większe prawdopodobieństwo, że będą częściej na witrynę wracać. A im szybciej nasze nowe treści zostaną zaindeksowane, tym szybciej zaczną się wyświetlać w wynikach wyszukiwania.

Zanim jednak uruchomiona zostanie całkowicie nowa witryna, należy sprawdzić czy plik robots.txt pozwala Googlebotowi prawidłowo indeksować stronę www.

Plik robots.txt służy do komunikacji z robotami sieciowymi. Zawiera on komendy kierujące ruchem robotów, a dokładniej zalecające im, w jakim kierunku mogą się udać „pełzając” po witrynie. Za pomocą tych komend można wskazać, które adresy URL roboty mogą odwiedzić, a do których nie mają mieć dostępu. Plik robots.txt jest pierwszym miejscem, jakiego poszukują boty trafiające na witrynę internetową.

Z punktu widzenia pozycjonowania warto podkreślić, że komendy zawarte w pliku robots.txt mają charakter zaleceń, a nie bezwzględnego blokowania dostępu. Google zapewnia, że Googlebot stosuje się do zaleceń w robots.txt, jednak pamiętać należy, że nie jest to jedyny robot sieciowy odwiedzający witryny internetowe. Dla innych botów komendy te mogą nie mieć znaczenia.

Jakich podstron nie udostępniać robotom sieciowym? Na przykład takich, które prezentują nieunikalne treści oraz tych w wersjach testowych, nad którymi prace jeszcze trwają.

– Przesłanie mapy witryny do Search Console – działa jak komunikat dla robota: „Oto gotowa lista podstron, możesz indeksować”.

Z punktu widzenia istniejącej, aktywnej już strony www ważne jest stworzenie strategii budowania treści – witryna musi być regularnie aktualizowana i uzupełniana o nowe, jakościowe treści. Częste aktualizacje zachęcają roboty sieciowe do częstszych odwiedzin.

Nim nie indeksowanie strony w Google nie zostanie przeprowadzone, nie pojawi się ona w wynikach wyszukiwania. Dlatego trzeba podejmować działania opisane powyżej, które sprowokują Googlebota do odwiedzenia witryny. Googlebot skanuje witryny algorytmicznie, z określoną częstotliwością, poczynając od stron wygenerowanych w poprzednich procesach crawlingu i biorąc pod uwagę mapy witryn stworzone przez webmasterów. W ten sposób robot wykrywa nowe strony internetowe oraz wszelkie aktualizacje i zmiany.

Ważne również jest sporządzenie mapy strony. Co to jest? Jest to dokument XML zawarty na serwerze witryny internetowej i zawierający listę wszystkich podstron tworzących witrynę. Dzięki mapie robot Google widzi, kiedy dodajesz nowe podstrony, a im częściej dany serwis jest aktualizowany, tym częściej odwiedzają go roboty wyszukiwarki. Mapę należy dodać do Google Search Console (niezbędne jest do tego posiadanie konta Google oraz, oczywiście, zweryfikowanie samej strony w Google Search Console).

Dlaczego dodanie mapy może przyspieszyć indeksowanie strony w wyszukiwarkach? W normalnych warunkach po opublikowaniu nowej witryny, bot musi do niej dotrzeć, a następnie ją scrawlować (przy czym w przypadku witryn o rozbudowanej architekturze na pewno nie zaindeksuje całości od razu). Obrazowo mówiąc, dodając mapę do GSC, dajemy Googlebotowi gotową listę podstron i skłaniamy go do indeksowania. Bez mapy strona też zostałaby pobrana, tylko wolniej.

W Google Search Console (darmowej platformie stworzonej przez Google dla administratorów witryn internetowych) użytkownik (administrator) ma dostęp m.in. do raportu ze statystyk, który zawiera informacje na temat działań, jakie Googlebot wykonał na witrynie w ciągu ostatnich 90 dni. Linia na wykresie powinna wzrastać odpowiednio do rozwoju witryny. Wykres wskazuje na stan indeksowania, a więc m.in. liczbę stron www w indeksie oraz problemy z indeksowaniem.

Ze spadkiem możemy mieć do czynienia m.in. w przypadku dodania nowej reguły do pliku robots.txt albo błędów w kodzie HTML, które uniemożliwiają robotom odczytanie treści. Inną przyczyną spadku na wykresie może być spowolnienie działania witryny (wówczas roboty przesyłają mniej danych, aby nie przeciążać serwera). Podobnie rzecz wygląda w przypadku błędów połączenia z serwerem. Słaba jakość treści bądź rzadkie jej aktualizacje również mogą przyczynić się do spowolnionego indeksowania strony. Wówczas warto zastanowić się nad ogólnym ulepszeniem strony internetowej, co z pewnością przyniesie korzyści także w jej pozycjonowaniu.

– doprecyzować instrukcje w pliku robots.txt i zablokowanie dostępu do adresów URL, których odczytywania nie chcemy.

Mamy nadzieję, że kolejna część naszego poradnika SEO wyjaśniła Wam nieco więcej na temat tego, jak działa indeksowanie strony w Google i przybliżyła do zrozumienia tajników pozycjonowania. Będziemy wdzięczni za wszelkie komentarze, pytania i sugestie dotyczące zarówno tej, jak i pozostałych części serii Ster na SEO, regularnie publikowanych na naszym blogu!

Podsumowanie wiadomości na infografice