Voici un rapide historique des moteurs de recherche et autres annuaires et un point sur l’état actuel des outils disponibles sur le Web.
Crée en 1990, Archie a été conçu par un étudiant de l’université McGill au Québec, Adam Emtage. Ce logiciel avait pour but de chercher des documents sur Internet.
Les "Spider bot" qui sont des outils essentiels des moteurs de recherche actuels font leur apparition en 1993 avec le moteur de Matthew Gray : Wanderer. Ces logiciels parcourent Internet afin d’y récolter des informations sur les pages existantes, informations qui seront utilisés pour des recherches ultérieures.
C’est en 1994 que deux étudiants de l'université de Stanford, Jerry Yang et David Filo ont l’idée de répertorier manuellement les sites les plus intéressants d’Internet. C’est donc avec Yahoo que le principe de l’annuaire est né. Ce moteur retournait les sites correspondant le mieux à votre requête parmi ceux présents dans sa base de données. Yahoo devient ainsi en quelques mois le portail le plus utilisé par les internautes.
Les machines à chercher se perfectionnent. Lycos, qui doit son nom à une araignée particulièrement rapide nommée Lycosidae, est mis en ligne en juin 1995 par l'université Carnegie Mellon en Pennsylvanie. Quelques semaines plus tard, le moteur Excite, mis au point par des étudiants de Stanford, est lancé à son tour.
Lancé en décembre 1995, Altavista est mis au point par le Français Louis Monnier pour les laboratoires Digital. Il est rapide, pertinent et exhaustif. Il propose de multiples fonctionnalités de recherche, notamment par langues.
Jusqu'en juillet 1996, les seuls outils de recherche destinés aux francophones sont québécois. Gilles Ghesquière et Jean Postaire y remédient en créant Nomade, le premier annuaire internet en version française. Il faudra attendre 1998 pour que France Telecom lance son propre moteur de recherche : Voila.
Les moteurs, conscients du nombre d’utilisateurs potentiels qu’ils ont à disposition s’orientent vers le grand public en trouvant leur financement dans la publicité. Au contraire le moteur de recherche Inktomi se spécialise et offre ses services aux entreprises. C’est ainsi que l’ex annuaire Yahoo se "motorise".
Sergei Brin et Larry Page de l’université de Stanford introduisent en 1998 un nouveau principe de recherche : les résultats sont classés en fonction de leur popularité auprès des internautes. Ce nouveau moteur ainsi crée se prénomme Google.
Inspirés par le succès de Google, des chercheurs de l'université d'Oslo créent en 1999 Fast Technology avec pour vitrine le moteur Alltheweb. A l’instar d’Inktomi, Fast se positionne sur la fourniture de technologies pour les entreprises.
Élu "meilleur moteur de recherche de l'année 2000" par Searchenginewatch.com, Google remplace Inktomi et motorise désormais Yahoo. Grâce à cette publicité, Google devient l'outil de recherche le plus utilisé par les internautes, notamment en France.
2001 est une année noire pour certains moteurs de recherche, du moins pour ceux qui ont misé leur avenir sur une stratégie concernant l’interface du portail au détriment de la technologie de recherche : Excite dépose le bilan, Northern Light s'éteint, Altavista tente la relance de la dernière chance.
La bonne réputation de Google fait que le géant AOL (34 millions d'abonnés) le choisit en 2002 en lieu et place du malchanceux Inktomi comme moteur de recherche. Parallèlement, Google s'attire les premières critiques en proposant des résultats de recherche " sponsorisés " par des annonceurs.
Entre 2005 et 2006, deux moteurs concurrents Dailymotion et Youtube sont crées. Ils ne proposent plus des liens, des images ou du son comme support de recherche mais bien des vidéos partagées par des internautes tout autour du globe. Youtube sera racheté par la firme Google fin 2006.
Le moteur de recherche Google a servi pour 60% des 61 milliards de recherches sur Internet menées au mois d'août 2007 dans le monde. En effet, 37 milliards de recherche, ont été effectuées sur les pages multilingues du groupe américain Google, dont 5 milliards sur sa filiale de clip vidéo YouTube.
Les mots-clés sont maintenant vendus aux enchères en permanence, ce système est désormais adopté par tous ses principaux rivaux. Google a ainsi conquis 32% des recettes publicitaires sur Internet dans le monde et réalisé en 2006 un chiffre d'affaires de 10,6 milliards de dollars. Son action vient de dépasser les 600 dollars, et le groupe pèse en Bourse 192 milliards de dollars.
Loin derrière, l'américain Yahoo, numéro deux, a servi pour 8,5 milliards de recherche, soit 14% des requêtes.
