Un moteur de recherche ne fonctionne pas de manière instantanée, en tous cas, pas en totalité. Lors d’une requête, il ne va pas parcourir Internet tout entier pour y trouver une page qui correspondrait aux attentes de l’utilisateur. Ce travail s’effectue en amont ; des robots d’indexation nommés « spider bot » parcourent le Web pour indexer et évaluer chaque page Web rencontrée et cela de manière récursive. Partant d’une liste de sites, comme un annuaire, le robot va tous les analyser et suivre les liens indiqués sur leurs pages et ainsi de suite.
Lors de son analyse, le robot indexe le site à travers son contenu. Tous les mots significatifs sont répertoriés comme dans l’index terminologique d’un ouvrage ce qui permet de savoir plus tard à quel endroit du site se trouve le mot recherché. L’adresse du site est donc associée à cet index terminologique. Selon les changements effectués sur la page, le robot établit une date à laquelle il faudra à nouveau l’analyser.
Lorsqu’un internaute transmet une requête à un moteur, celui-ci met en oeuvre un algorithme qui lui est propre. Ce dernier va scruter les indexations effectuées et les ordonner par pertinence vis-à-vis de requête avant de les présenter à l’utilisateur. Les différents moteurs essayent, autant que faire ce peut, de tenir secret leurs algorithmes afin que personne ne puisse en jouer. Il est cependant établit que l'algorithme tient généralement compte du contexte du mot clé (titre, paragraphe, hyperlien...).
Google fut le premier à instaurer un système de « PageRank » qui classe les pages Web selon leur popularité et non plus uniquement selon leur contenu. Plus le site en question est pointé par d’autres grâce à des liens, plus son « Page Rank » augmente. Il aura alors d’autant plus de chance d’apparaître parmi les premières places lors d’une recherche et la pertinence des résultats s’en voit améliorée.
Lorsque l’on effectue une recherche, il n’est pas rare de trouver accolés ou parmi les résultats, des « liens commerciaux » qui ne sont autres que de simples publicités. En effet, les moteurs vendent aux enchères des mots clés pour faire des profits. Pour les publicitaires il s’agit d’une véritable mine d’or : ils se présentent à l’utilisateur uniquement lorsque celui-ci effectue une recherche liée à leur produit ou service, instant idéal pour le séduire.
Pour le respect des mineurs et pour une question de déontologie évidente, les résultats sont filtrés. En effet, toute page à contenu sexuellement explicite, est écartée.
