Когда мы что-то хотим найти в сети Интернет, то вводим в поисковую строку запрос. Далее поученный запрос в поисковой системе обрабатывается так называемым «балансировщиком нагрузки», который выбирает и направляет запрос на обработку самым незагруженным кластером поисковой системы. Это оптимизирует использование вычислительных мощностей и быстродействие поиска.
Далее запрос поступает на систему «матапоиска», которая определяет тип данных путем сбора необходимой информации. Данная система проводит орфографический анализ, региональность запроса и необходимость вывода результатов по региональным сайтам.
Далее система метапоиска определяет историю по данному запросу и, при наличии, выводит кэш. Кэширование популярных запросов производится с целью снижение нагрузки на вычислительные мощности поискового кластера, а так же увеличение скорости формирования результатов по постоянно и временно популярным поисковым фразам.
В случае, если кэш не содержит подходящей для вывода информации, подается запрос на формирование нового ответа на запрос пользователя. Ответ формируется средствами «базового поиска», в котором, собственно, и находится индекс поисковой системы. Индекс имеет разбиение на части и распределен по разным серверам, что позволяет так же ускорить поиск.
При этом каждый сервер имеет несколько копий, что предотвращает информацию от потери и еще лучше распределяет нагрузку. При условии, что на один из серверов произойдет резкий скачок нагрузки, путем подключения его копий снижается нагрузка на него и увеличивается общее быстродействие.
В итоге обработки запроса «базовый поиск» возвращает в «метапоиск» результаты, после чего идет подключение алгоритма ранжирования (у Яндекса он носит название «Матрикснет»), который определяет позицию, на которой будет показана та или иная ссылка.