§28 Средства поиска данных в Интернете

Как уже говорилось выше, WWW — это система Web-страниц, связанных между собой гиперссылками. Однако эти связи не имеют регулярности, как, например, в иерархической структуре данных. В этом смысле можно говорить о том, что система Web-страниц не структурирована.
Единственной координатой Web-документа является его URL - адрес . Однако URL - адрес никак не связан с содержанием документа. Но поиск данных производится именно по содержанию. Как же он осуществляется?
В поиске информации в WWW пользователю помогает поисковая служба Интернета. Поисковая служба основана на услугах поисковых серверов. Существуют две разновидности поисковых серверов: поисковые каталоги и поисковые указатели.
Поисковые каталоги. Если вам приходилось пользоваться услугами больших библиотек, то вы знаете, что такое библиотечный каталог. Существуют алфавитные каталоги и предметные каталоги. В алфавитных каталогах карточки с библиографическими данными книг разложены в алфавитном порядке фамилий авторов. В предметных каталогах карточки систематизированы по содержанию книг.
Систематизация в предметном каталоге производится по иерархическому принципу: на первом уровне иерархии весь книжный фонд делится на крупные разделы: художественная литература, учебная литература, общественно-политическая литература, научно-техническя литература и т.п. Каждый из этих разделов делится на подразделы; например, учебная литература делится на разделы высшего образования, среднего образования, дошкольного образования. Книги для среднего образования могут делиться по предметам, которые, в свою очередь, делятся по классам. Чтобы подобрать литературу по нужной теме, читатель должен понимать принцип организации каталога.
Поисковые каталоги WWW организованы по аналогичному иерархическому принципу. Только в них систематизируется информация не о книгах, а о документах, хранящихся в World Wide Web. На главной странице поискового каталога располагается список основных тематических разделов (рубрик). Например: финансы и экономика, государство и право, наука и образование, компьютеры, политика и т. д. Каждое имя в этом списке является внутренней гиперссылкой, т. е. ссылкой на внутренний документ сайта, поискового каталога. Щелчок мышью на гиперссылке вызывает на экран список заголовков следующего подраздела и т. д. Очевидно, что такая система подобна дереву файловой системы ОС. Перемещаясь по дереву внутренних гиперссылок каталога, пользователь в конечном итоге получает список внешних ссылок на искомые Web-документы.
Поисковые каталоги заполняются вручную специалистами, поддерживающими данную службу. При ручном способе отбора невозможно получить в каталоге исчерпывающую информацию о ресурсах Сети, и в этом состоит основной недостаток каталогов. Однако такой способ классификации исключает ссылки на случайные документы, не имеющие отношения к указанной теме. Таким образом, поисковые каталоги при относительно небольшом охвате ресурсов Сети обеспечивают хорошее качество подборки документов.
Примерами поисковых каталогов являются:
зарубежные: российские:
Yahoo! - www .yahoo.com Атрус - www .atrus.ru
The Virtual Library - www .w3.org Ay! - www .au.ru
Magellan - www .mckinley.com List-Ru - www .list.ru
WebCrawler - www .webcrawler.com
Поисковые указатели. Другое название этого вида поисковой службы — поисковые машины. Очень часто в учебной и научной литературе в конце книги присутствуют предметные указатели (о них было сказано выше). Например, найдите в предметном указателе этого учебника по информатике словосочетание «информационная система». Затем на страницах, номера которых указаны после этого словосочетания, вы можете прочитать все, что написано про информационные системы.
Принцип работы поисковых указателей заключается в создании и использовании индексных списков — аналогов книжных предметных указателей.
Задачи поисковых машин состоят в формировании индексных списков, так чтобы охватить ими как можно большее число документов «паутины», а также в ответах на запросы клиентов. Ясно, что таким способом проиндексировать вручную все документы WWW невозможно. Их число давно перевалило за миллиард. Поэтому поисковые машины строят индексные списки автоматически.
Основной составляющей поисковых машин являются программы просмотра Web-доку ментов, которые называют по-разному: роботами, червяками, пауками и пр. Наверное, наиболее подходящим является название «пауки», если уж сеть WWW называть «паутиной»! Непрерывно, днем и ночью, они сканируют все информационное пространство WWW , просматривая все документы, определяя в них ключевые слова и записывая в свою базу индексов данное слово с указателем на документ , в котором оно присутствует. Этот процесс не прерывается, поскольку содержание паутины все время меняется. Даже в уже просмотренные документы авторы могут внести изменения или вообще удалить их. Поисковая машина все время должна поддерживать информацию в актуальном состоянии.
Эффективность работы поисковой машины зависит от используемых алгоритмов формирования базы указателей. Эти алгоритмы являются интеллектуальной собственностью их авторов и обычно держатся в секрете. Число указателей к некоторым ключевым словам составляет многие тысячи. Чем лучше алгоритм , тем меньше в индексный список попадает «мусора» — случайных документов, не имеющих отношения к теме поиска.
В отборе наиболее важных документов пользователю помогает рейтинговый принцип, используемый некоторыми поисковыми указателями. На запрос пользователя по ключевому слову система выдает список ссылок на документы, расположенных по убыванию рейтинга. Рейтинг определяется по числу обращений к документу, которые были сделаны ранее. Самые популярные документы попадают в начало списка.
Число поисковых указателей превышает число поисковых каталогов.
Популярными указателями являются:
зарубежные: российские:
Alta Vista - www .altavista.com Апорт 2000 - www .aport.ru
Inktomi - www .inktomi.com Рамблер - www .rambler.ru
Hot Bot - www .hotbot.com Hndex - www .yandex.ru
Lycos - www .lycos.com

Fast Search - www .alltheweb.com

Система основных понятий

Поисковая служба Интернета
Поисковые каталоги
Поисковые указатели
Накопление и систематизация информации о ресурсах
Способы поиска ресурсов пользователем
Накопление и систематизация информации о ресурсах
Способы поиска ресурсов пользователем
Иерархический предметный ката­лог. Формируется вручную силами экспертов
Спуск по дереву каталога. Запросы по ключевым словам
Индексные списки (предметные указатели). Формируются автоматически (роботами и пр.)
Запросы по ключевым словам

Вопросы и задания

1. Обоснуйте необходимость существования поисковых служб в Интернете.
2. В чем различие между поисковыми каталогами и поисковыми указателями?
3. Какую работу выполняют роботы (пауки)поисковых машин?

учебник "Информатика и ИКТ" 10-11 класс, И.Г.Семакин, Е.К.Хеннер

Комментариев нет:

Отправить комментарий