Наш опрос

Нужен ли вам свой сайт?
 

Принцип работы Yandex

princip-raboti-yandexЕжедневно миллионы пользователей обращаются к поиску Яндекса. Задавая свой вопрос поисковой системе, молниеносно получают ответ. Задумываться о процессе работы этого механизма  пользователям просто некогда – вся процедура от запроса до выдачи ответа занимает мене одной секунды. Никаких женщин в окошке «горсправка», не надо поднимать архивы и ждать неизвестно сколько времени. Все предельно элементарно – вопрос-ответ.

Но это конечно же поверхностное впечатление. Углубившись в изучение этого действия – между запросом и ответом – стоит много всего.

Этот раздел посвящен поисковым технологиям Яндекса. Любого кого интересует как поисковая машина находит   нужную информацию за миллисекунды, о борьбе со спамом и вирусами, о том что такое колдунщики и Матрикснет и другое сможет здесь найти ответы.

Алгоритм получения ответов.

Ежедневно Яндексу поступает свыше 100 миллионов вопросов. И работа системы заключается не только в точном ответе, но и в быстроте обработки потока запросов. Для этого Яндексом заранее подготовлены данные – проиндексированы. С помощью индексов и достигается быстрота нахождения ответов. Это сравнимо с предметным книжным указателем для быстроты нахождения нужной информации. Но по размерам «предметные указатели» в поиске – просто огромны. Для быстрой и качественной обработки данных таких объемов Яндексом используются тысячи серверов. Сервера объединяются в кластеры, а зачастую и в кластеры кластеров.

Алгоритм поиска Яндекса устроен таким образом, что легко добавить новые сервера к уже существующим – для добавления новых данных из всемирной паутины.

Для обработки пользовательских запросов в реальном времени существует система «метапоиск». Система выясняет все данные о запросе (региональное расположение пользователя, отношение к какому классу имеет запрос и т.д.), а также подвергает запрос лингвистической обработке. Следующей операцией «метапоиска» является проверка формирование результатов поиска в последнее время для этого запроса, т.к. по наиболее часто задаваемым вопросам результаты поиска хранятся некоторое время в памяти системы. И если ваш запрос пользуется популярностью, то метапоиск предоставит вам результаты, которые были сохранены ранее.

Если же ответа не оказалось в памяти, то запрос передается на сервера «базового поиска» - иной компьютерной системы. На ней хранится поисковая база, по которой ищет Яндекс. Она разбита на сегменты, хранящиеся на разных серверах. Это обусловлено тем, что поиск ответа по частям базы происходит быстрее, чем целиком  по базе. Кроме этого, каждый сервер скопирован несколько раз. Это позволяет не терять данные и распределять нагрузку. Из множества серверов «метапоиском» будут выбраны наименее загруженные, чтобы они вместе содержали поисковую базу целиком.

Затем каждый из серверов передает документы, со словами из запроса, обратно в систему «метапоиск». Там происходит их объединение. А при помощи технологии Матрикснет ранжируются и выводятся как результаты поиска.

В этом и заключается организация поиска Яндекса, позволяющая получать вам ответы на запросы в течении миллисекунд.