1. Краткая история
Одним из первых инструментов поиска в интернете (до Всемирной паутины) был Archie.
Первой поисковой системой для Всемирной паутины был "Wandex", уже не существующий индекс, который создавал "World Wide Web Wanderer" — бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система "Aliweb", работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала "WebCrawler", запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен "Lycos", разработанный в университете Карнеги Мелона.
Вскоре появилось множество других конкурирующих поисковых машин, таких как "Excite", "Infoseek", "Inktomi", "Northern Light" и "AltaVista". В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как "Yahoo!". Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины "Рамблер" и "Апорт". 23 сентября 1997 была открыта поисковая машина "Яндекс".
В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила "Clusty" компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик "Нигма", поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. "Нигма" тоже экспериментировала с визуальной кластеризацией.
Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и "Veronica" для поиска в Gopher.