Ii международный конкурс научно-исследовательских и творческих работ учащихся старт в науке

Google

В конце весны 2019 года агентство Statcounter провело исследование, которое показало, что на Google приходится более 92 % мирового поискового рынка. Такой успех во многом обусловлен тем, что компания много усилий прикладывает к совершенствованию своих алгоритмов анализа и ранжирования. В Google делают все возможное, чтобы пользователи получали лучшие результаты поиска. В процессе совершенствования компания периодически выпускала новые алгоритмы. Некоторые из них не имели особого значения, но отдельные становились причиной настоящего переворота в мире продвижения сайтов. Однако система имеет несколько особенностей.

Консервативные инструменты ранжирования. Нужно отметить, что Google до сих пор отдает приоритет техническим факторам ранжирования. При таком «классическом» подходе большое значение имеет ссылочная масса, возраст домена, авторитет сайта. Такая консервативность привела к тому, что информативные и полезные сайты могут оказаться ниже в тематической выдаче, чем ресурсы без хорошего контента, но с удачными техническими показателями. Такая ситуация кажется удивительной для мирового лидера инноваций и передовых технологий. Однако на адекватность ранжирования в Google жалуются не только оптимизаторы, но и многие требовательные пользователи.

Отслеживание поведения пользователей. Также нельзя не отметить того факта, что корпорация Google периодически попадает в скандалы, связанные с конфиденциальностью. Дело в том, что поисковая система очень тщательно отслеживает поведение пользователей в интернете, причем даже за пределами непосредственно самой поисковой системы. С точки зрения обычных людей это не очень хороший факт. Но для бизнеса такой подход к обработке данных является важным плюсом. Ведь рекламодателям сервис может предоставить самый гибкий и широкий набор инструментов для таргетинга рекламы. С помощью рекламных возможностей Google может добиться невероятного охвата, а также точности выхода на целевую аудиторию.

Цифры и факты

А какой поисковик предпочитаете Вы? Не нужно быть пророком, чтобы предсказать, что большинство читателей назовут всемирно признанный Google или безусловного лидера российского лидера – Яндекс. Пользуетесь чем-то другим? Тогда вас можно смело назвать пользователем с оригинальным вкусом. Для подтверждения приведу немного статистики.

1. Google – 69,24%. Несомненный лидер, ни одна другая ПС пока не может даже приблизится к этому результату. Единственный мировой лидер, пользующийся успехом и в России.
2. Bing – 12,26%. Как видите, разрыв между первой и второй позицией огромен. В России эта ПС почти неизвестна (примерно 0,7% всех запросов в Рунете обрабатывается с её помощью).
3. Yahoo! – 9,19%. В России его результат ещё скромнее, всего 0,2% поисковых запросов Рунета в месяц.

Другие зарубежные поисковики имеют ещё более скромные результаты.

А что же в России? Здесь лидирующие позиции у Яндекса, который выбирают чуть более 50% пользователей, у нас немного отстаёт – его предпочитают немногим более 40% пользователей. При этом многие пользователи используют каждый из этой победной двойки для решения конкретных задач. В частности, с помощью Google удобнее осуществлять поиск во всемирной паутине, если вас интересует именно глобальная выборка, если же нужны в первую очередь русские сайты, Yandex лучше справится с этой задачей.

Среди систем, ориентированных именно на русскоязычный сектор интернета (русские, украинские, белорусские сайты, другие страны СНГ), разрыв в показателях ещё выше, чем у зарубежных:

1. Яндекс – 50%
2. Mail – чуть больше 6%
3. Рамблер – всего полпроцента.

(За данные спасибо Википедии).

Языковая панель

Поиск людей

Казалось бы, найти человека в интернете, зная его имя и фамилию, проще простого. Да, если это какая-то знаменитость, кинозвезда, спортсмен или постоянный пользователь социальных сетей. Тогда первая же страница результатов поиска Google даст вам практически исчерпывающую информацию о том, кто это такой и чем занимался в последнее время. Если же тот, кого вы ищете, не жаждет широкой популярности и не увлекается сетевым эксгибиционизмом, найти информацию о нём в интернете будет не так просто.

Отечественный сервис SpravkaRU.NET поможет обнаружить адрес и домашний телефон жителя России, Украины, Беларуси, Казахстана, Латвии и Молдовы. Этот сайт представляет собой электронный телефонный справочник некоторых крупных городов перечисленных стран, но, увы, далеко не полный. Больше шансов найти жителей Москвы или Санкт-Петербурга, причём только тех, на кого оформлен домашний номер. В отличие от альтернативных сервисов, SpravkaRU.NET содержит вполне актуальные базы, и если вы располагаете хотя бы некоторой информацией о родственниках или примерном месте проживания разыскиваемого, то он способен помочь вам установить его телефон и адрес.

Как правильно формулировать запросы

Еще в школе нас учили правильно задавать вопросы. От этого зависит то, какие ответы мы будем получать. Однако это правило не нужно соблюдать при использовании поисковых систем. Для современных поисковиков не играет никакой роли то, в каком числе или падеже пишет человек свой запрос. В любом случае выдача будет включать в себя одинаковые результаты.

Четкая формулировка вопроса поисковым системам не нужна. Пользователю нужно только правильно подбирать ключевые слова. Рассмотрим пример. Нам нужно найти текст песни «День без тебя», которую исполняет известная женская поп-группа «Виа-Гра». При обращении в поисковую систему необязательно называть группу, указывать, что это песня. Достаточно написать «день без тебя текст». Соблюдать регистры, знаки препинания не требуется. Эти нюансы не учитываются поисковиками.

Yahoo

Yahoo создана в 1994 году. Она по сей день остается очень популярной, сочетающей поиск по словам, содержащим ключи, с помощью построенного иерархически дерева разделов.

Современное развитие поисковика определяется как движение вперед к интерактивности. Yahoo осваивает это пространство, но техническая составляющая системы не была на это рассчитана при создании поисковика. Не было в Yahoo заложено составляющей работы в режиме реального времени, поэтому существует риск хакерских атак на эту незащищенную часть поисковика.

Одна из уникальных черт заключается в функциональной панели задач для Firefox. Этот уникальный инструмент является помощником пользователя при использовании Yahoo. Пользователь ищет данные, не заходя на сайт поисковика, а лишь используя панельные кнопки.

В 2005 компания заявила о запуске системы поиска текстовых данных и изображений, содержащихся в письмах. Необходимость такой функции возникла из-за роста объема хранимых пользователями данных. Некоторые люди создают целые архивные почтовики.

Активные пользователи Yahoo могут использовать возможности поиска слов в заголовке или, например, в теле письма, а также в прикрепленных файлах, не открывая и не читая их. Текстовый результат поиска отражается в строках с указанием всех необходимых атрибутов для отправляющего запрос. Найденные фотографические изображения выводятся на экран.

Yahoo принадлежит более двухсот миллионов адресов почты, что есть более тридцати процентов мирового рынка.

Google

Google является основной информационно-поисковой системой, обрабатывающей большую часть запросов со всего мира. Этот поисковик знают большое количество активных пользователей интернета. Каждый месяц система обрабатывает более сорока миллиардов запросов, проводит индексацию двадцати пять миллиардов страниц в виртуальной сети.

Поисковую систему создали два талантливых программиста в 1996 году. Назвали они ее просто и лаконично — Google. В ее фундамент был заложен специальный поисковый робот. Он производил сканирование страниц и их индексацию. Робот обеспечивает то, как будут формироваться страницы пользователю в результатах поиска сегодня. В Google одними из первых разработали поиск с помощью голоса на нескольких языках, облегчающий введение данных в систему.

Google имеет свой аналог в нашей стране, он на данный момент насчитывает более миллиарда проиндексированных страниц.

«Гугл» является одной из поисковых систем, глубоко индексирующей ваш сайт. Большим и популярным сайтам проще попасть на высокие позиции в результатах поиска Google, тем самым система защищает себя и пользователей от ненужной информации.

Как работает поисковая система

Поисковые системы автоматически создают списки веб-сайтов с помощью программного обеспечения, которое часто называют «пауками» или «паучьими ботами», «сканирующими» веб-страницы. Они переходят по ссылкам на другие страницы и индексируют информацию в процессе.

Боты-роботы, стоящие за поисковой системой, сканируют сеть не только путем перехода с одной ссылки на другую, но также проверяя каждый сайт на наличие файла robots.txt. Этот файл содержит список страниц, которые поисковая система должна сканировать. Это один из способов, которым владельцы веб-сайтов могут заблокировать поисковую систему от индексации конкретной страницы.

Программные пауки возвращаются на страницы, которые уже были просканированы на довольно регулярной основе, чтобы проверять наличие обновлений и изменений, и всё, что они находят, возвращается в базу данных поисковой системы.

§ 4.2. Поиск информации в Интернете

Содержание урока

4.2. Поиск информации в Интернете

4.2. Поиск информации в Интернете

Сеть Интернет растет очень быстрыми темпами, поэтому найти нужную информацию становится все сложнее. Для поиска информации используются специальные поисковые системы, которые содержат постоянно обновляемую информацию о местонахождении Web-страниц и файлов на серверах Интернета.

Поисковые системы содержат тематически сгруппированную информацию об информационных ресурсах Всемирной паутины в базах данных. Специальные программы-роботы периодически «обходят» Web-серверы Интернета, читают все встречающиеся документы, выделяют в них ключевые слова и заносят в базу данных Интернет-адреса документов.

Большинство поисковых систем разрешают автору Web-сайта самому внести информацию в базу данных, заполнив регистрационную анкету. В процессе заполнения анкеты разработчик сайта вносит адрес сайта, его название, краткое описание содержания сайта, а также ключевые слова, по которым легче всего будет найти сайт.

Поиск по ключевым словам. Поиск документа в базе данных поисковой системы осуществляется с помощью введения запросов в поле поиска.

Запрос должен содержать одно или несколько ключевых слов, которые являются главными для этого документа. Например, для поиска самих систем поиска в Интернете можно в поле поиска ввести ключевые слова «российская система поиска информации Интернет».

Через некоторое время после отправки запроса поисковая система вернет список ссылок на документы, в которых были найдены указанные ключевые слова. Для просмотра такого документа в браузере достаточно активизировать указывающую на него ссылку.

Если ключевые слова были выбраны неудачно, то список ссылок на документы может быть слишком большим (содержать десятки и даже сотни тысяч ссылок). Для того чтобы уменьшить список, можно в поле поиска ввести дополнительные ключевые слова или воспользоваться каталогом поисковой системы.

Одной из наиболее полных и мощных поисковых систем является (www.google.ru), в базе данных которой хранятся более 300 миллиардов Web-страниц, и каждый месяц программы-роботы заносят в нее 5 миллионов новых страниц (рис. 4.9). В российской части Интернета обширные базы данных, содержащие по 400 миллионов документов, имеют поисковые системы Яндекс (www.yandex.ru), Mail (www.mail.ru) и Rambler (www.rambler.ru).

Поиск в иерархической системе каталогов. В базе данных поисковой системы Web-сайты группируются в иерархические тематические каталоги, которые являются аналогами тематического каталога в библиотеке.

Тематические разделы верхнего уровня, например «Интернет», «Компьютеры», «Наука и образование» и т. д., содержат вложенные каталоги. Например, каталог «Интернет» может содержать подкаталоги «Поиск», «Сервис» и др.

Рис. 4.9. Поиск по ключевым словам в системе Google

Поиск информации в каталоге сводится к выбору определенного каталога, после чего пользователю будет представлен список ссылок на наиболее посещаемые и содержательные Web-сайты. Каждая ссылка обычно аннотирована, т. е. содержит короткий комментарий к содержанию документа.

Наиболее полный многоуровневый иерархический тематический каталог русскоязычных Интернет-ресурсов имеет поисковая система Апорт (www.aport.ru) (рис. 4.10). Каталог содержит подробную аннотацию содержания Web-сайтов и указание на их географическое положение.

Поиск файлов. Для поиска файлов на серверах файловых архивов существуют специализированные поисковые системы, в том числе российская файловая поисковая система FileSearch (www. filesearch.ru). Для поиска файла необходимо имя файла ввести в поле поиска, и поисковая система выдаст ссылки на серверы файловых архивов, на которых хранится файл с заданным именем.

Рис. 4.10. Тематические каталоги поисковой системы Апорт

Cкачать материалы урока

Виды поиска

К основным видам информационно-поисковых систем относятся:

1. Каталог. Он представляет собой специально сформированную информационно-поисковую справочную систему. Он организован по различным популярным темам. Каталоги включают описания источников со ссылками на ресурсы в виртуальной сети. Это могут быть сайты, порталы, блоги, страницы, социальные аккаунты, размещенные в сети. Разработка каталогов явилась современной технологией информационно-поисковых систем. Благодаря каталогам системы могут осуществлять поиск в режиме реального времени в той или иной категории ресурсов по ключевым словам. Популярными каталогами являются Yahoo, Magellan, Weblist.
2. К информационно-поисковым системам относится поисковая машина. Она осуществляет структурированный поиск, применяющий для формирования базы данных специально разработанных роботов. Система содержит необходимую информацию о ресурсах в виртуальной сети. Самым главным ее неоспоримым плюсом являются ее автоматизированные функции. Ее основа формируется роботом поиска. Чтобы произвести поиск в системе, активный пользователь оформляет запрос, включающий в себя набор ключевых фраз. Описание документа содержит: первые предложения статьи, кусочек текстового фрагмента, где выделены основные ключевые слова. В документе содержится дата и кодировка. К наиболее распространенным поисковым машинам относятся Google, Altavista, Excite.
3. В мире существует большое количество разнообразных автоматизированных информационно-поисковых систем, содержащих множество источников требуемой информации. Даже наличие современного и мощного сервера не может ответить на все запросы миллионов активных пользователей виртуального пространства. В связи с эти на сегодняшний день информационно-поисковые системы позволяют одномоментно пересылать заявки пользователей нескольким поисковым серверам, а на основе своей консолидации получают возможность показать пользователю результат, содержащий ссылки на запрашиваемый ресурс.

Метасистемы

Кроме классических поисковых систем существуют метасистемы, которые осуществляют поиск сразу по всем системам сразу. Результаты будут представлены в удобном для вас виде. Сервис «Яндекс» — самый крупный в «Рунете» и первый в своём роде. После поисковик распространился и по странам СНГ, поскольку учитывает морфологию языка. Программа Copernic 2001 работает достаточно давно и постоянно обновляет свою базу данных от различных сервисов. Поиск может осуществляться по категориям или по геоданным. Выдача может быть привязана к местности, из которой поступает запрос.

Существует бесплатная и платная версия сервиса, которым пользуется уже больше четырнадцати миллионов человек. Сервер использует для поиска «Гугл», «Яндекс», и прочие.

Структура поисковых систем

Различные
поисковые системы содержат одинаковый состав входящих в них основных элементов,
а именно, поле поиска, кнопка поиска, список найденных
результатов.

Структура
поисковой системы представлена комплексом следующих программ.

1. Робот spider (паук), целью которого является
   просмотр страниц сайтов, предназначенных для индексации.
2. Робот crawler (путешествующий
   паук). Его
   функция заключается в поиске новых и неизвестных системе ссылок и
   добавление их в список индексации.
3. Индексатор обрабатывает страницу очереди,
   стоящей на индексацию.
4. База данных хранит различную информацию
   необходимую для выведения результатов поиска.
5. Система обработки запросов и
   выдачи результатов. Алгоритм ее работы сводится к следующему: во-первых, принять от
   пользователя запрос на поиск какой-либо информации, во-вторых, обратиться
   с этим запросом к базе данных, в-третьих, вывести пользователю полученный
   результат.

А как у нас?

В России же ситуация сложилась по-своему уникальная. Во-первых, Google пришел на российский рынок еще в 2004 году, но за пятнадцать лет так и не смог закрепиться в вершине рейтинга. Первое место у нас безоговорочно принадлежит Яндексу. В 2003 году Google безуспешно пытался навязать Яндексу сотрудничество: цена отечественного поисковика выросла с $30 до $130 млн долларов, но переговоры длиной в год так ни к чему и не привели. Создатели Яндекса вовремя поняли, что речь идет не о слиянии, а о поглощении, и отказались от «выгодной» сделки. В итоге Google все-таки успел отжать у Яндекса существенную долю рынка, но не одержал верх. Негласное соревнование даже привело к судебным тяжбам на тему честной конкуренции. Конфликт, впрочем, разрешился в пользу отечественного поисковика.

Кроме Яндекса у нас действуют поисковики Rambler и Mail.ru, но их доля на рынке так мала, что в формате этой статьи они заслуживают только упоминания. В целом отечественные поисковые системы примечательны тем, что заточены на индексацию не всего подряд, а в основном ресурсов в доменных зонах с преобладающим русским языком. Также они индексируют и ищут тексты на украинском, белорусском, татарском, английском и других языках.

Особенности продвижения в поисковых системах

Продвижение в поисковых системах Google и Yandex сильно отличается. Для сравнения, в Яндексе упор делается на поведенческие факторы: время пребывания на странице и процент отказов (посещений лишь одной страницы сайта).

Для Google важны качественные внешние ссылки: обзоры, аналитика, ссылка из полезного источника.

У поисковиков сложная задача: из тысяч найденных страниц выдать 10 наиболее подходящих. Как определить эти страницы и правильно их ранжировать – вопрос, над которым бьется не одно поколение разработчиков.

В настоящее время на выдачу результатов влияют такие факторы:

1. Текстовый фактор: точность совпадения фразы как в заголовке, так и на странице, язык и тематика статьи.
2. Ссылочный фактор: цитируемость страницы и ресурса в целом, источник обратной ссылки, PageRank.
3. Статистический фактор: посещаемость сайта, популярность запроса.

На ранжирование страницы также влияет возраст сайта, его привязка к региону, тематика и другие факторы.

Для продвижения сайта в Яндексе, первым делом нужно улучшить качество контента и юзабилити ресурса. Для Гугла придется закупать качественные ссылки с подробными обзорами и полезным материалом.