Współczesne wyszukiwarki opierają swoje działanie na analizie kodu i treści odnalezionych stron oraz wzajemnych połączeń między nimi. Pod uwagę mogą być brane także dodatkowe czynniki, jak np. wiek domeny (liczony od daty jej pierwszej rejestracji) lub powtarzanie tej samej treści w różnych witrynach (tzw. duplicate content). Za odnajdywanie stron oraz regularne pobieranie ich treści odpowiadają programy zwane robotami sieciowymi. Na podstawie odnalezionych treści kolejny program buduje indeks wyszukiwarki. Frazy wyszukiwane przez internautów analizowane są przez kolejny program dobierający z indeksu najodpowiedniejsze wyniki. W przypadku każdej wyszukiwarki proces ten może się różnić i obejmować więcej lub mniej czynników. Opisany schemat nie jest więc dogmatem, ale ogólnym opisem, z którym większość wyszukiwarek na ogół jest zgodna. Niemniej, w niektórych przypadkach można jedynie domyślać się dokładnego przebiegu procesu indeksowania i ustalania pozycji strony.

Wszystkie elementy wyszukiwarki działają według algorytmów, które są największą tajemnicą każdej firmy tworzącej wyszukiwarkę. Nie przeszkadza to jednak osobom zajmującym się pozycjonowaniem stron w podejmowaniu prób odgadnięcia sposobów ich działania. Ci, którzy najlepiej zrozumieją algorytmy mechanizmów wyszukujących, są w stanie sprawić, aby wybrana strona pojawiała się na pierwszych miejscach wśród wyników wyszukiwania. W polskich warunkach próby odgadnięcia zasad działania wyszukiwarki dotyczą przede wszystkim Google'a.

Roboty sieciowe

Robot sieciowy, zwany także pająkiem lub botem, to program będący podstawowym elementem każdej wyszukiwarki. Jego rolą jest odwiedzanie kolejnych stron, pobieranie ich zawartości i przekazywanie ich treści do programu indeksującego. Popularne wyszukiwarki uruchamiają jednocześnie wiele robotów, aby w szybkim tempie analizować jak największe obszary Sieci. Robot podąża za odnalezionymi na przeglądanej stronie hiperłączami. Dzięki temu wyszukiwarki stosunkowo szybko indeksują w swoich zasobach nowe serwisy. Gdy do strony nie prowadzi żaden odnośnik, to na ogół ma ona duże problemy z pojawieniem się w wynikach wyszukiwania. Serwisy, do których przez dłuższy czas nie prowadzą żadne łącza, są więc trudno dostępne dla internautów i tworzą tzw. głęboki Internet (ang. deep Internet).

[...]

Autor jest dziennikarzem IT współpracującym z takimi tytułami, jak PC World, Internet Maker i Magazyn Internet. Na co dzień swoimi spostrzeżeniami dzieli się na swoim zawodowym blogu.