Поисковые информационные системы

Поисковая система - это сервис, предназначенный для нахождения информации в Интернете с автоматическим занесением информации в собственную базу данных.

Современные поисковые системы имеют многоуровневую организацию, и в основе своей все они состоят из пяти программных компонентов:

· Spider (паук) — это браузероподобная программа- робот, которая планомерно путешествует по Сети 24 часа в сутки и «скачивает» все попавшиеся ей на пути Web-узлы (страницы по глобальным URL-ссылкам). По сути, Spider работает точно так же, как и любой Web-браузер, только ничего не визуализирует, а лишь считывает HTML-код;

· Crawler (сборщик, или путешествующий паук) — это порождаемый Spider'ом процесс, который углубляет поиск, перемещаясь по всем локальным ссылкам, найденным на странице. Как и Spider, сборщик тоже скачивает страницы, но уже способен их анализировать в поисках перекрестных ссылок. Собственно, его основные задачи — сканирование Интернет-ресурсов в поисках изменений на страницах и определение того, куда он должен идти дальше, основываясь на найденных ссылках или исходя из заранее заданного списка адресов;

· Indexer (индексатор) — ключевая программа поисковой системы, которая анализирует Web-страницы, скачанные пауками, определяет их тематическую принадлежность, актуальность, популярность у пользователей и т.д. Индексатор разбирает страницу на части и анализирует такие ее элементы, как заголовки страниц, ссылки, тексты, структурные элементы, стилевые элементы и т.д. По окончании анализа он индексирует ресурсы, то есть строит базы данных по ключевым словам и сохраняет эти базы данных в удобном для поиска виде;

· Database (база данных) — хранилище скачанных и обработанных индексатором страниц. Такая база данных требует огромных ресурсов для хранения информациии нуждается в эффективных алгоритмахдоступа;

· Gateway (шлюз) или Search engine/Resultsengine (собственно поисковая машина) принимает запросы от пользователей, анализирует их и извлекает результаты поиска из базы данных. Именно эта система решает, какие страницы удовлетворяют запросу пользователя, и предоставляет ему интерфейс для просмотра и уточнения этих результатов.

Наиболее популярными поисковыми системами в настоящее являются поисковые системы GOOGLE.COM, YAHOO.COM, а также российские RAMBLER.RU, YANDEX.RU, MAIL.RU и др.

Рынок поисковых систем каждый год демонстрирует устойчивый рост. По данным, доходы всех систем поиска информации в Интернете в 2005 году составили $9 млрд. В среднем рынок растет на 100% в год. Самым успешным мировым поисковиком является Google. Эта система за пять лет смогла завоевать более половины рынка поиска и потеснить с него таких гигантов прошлого, как Yahoo!, AltaVista и Lycos. Сегодня Google переведен на 90 мировых языков. Каждый день поисковик обрабатывает более 200 млн запросов и 6 млрд. страниц.

ПРОТОКОЛЫ прикЛАДНОГО УРОВНЯ: WWW (HTTP), элетронноЙ почты POP3 – SMTP, FTP, NNTP, TELNET, IP- телефония

Пакеты с уровня протокола TCP/IP попадают на канальный + физический уровень, где происходит передача электрических или оптических сигналов по линиям связи в соответствии с принятой технологией передачи данных (стандартом).

Ethernet - это самый распространенный на сегодняшний день стандарт передачи данных локальных сетей. Общее количество работающих по протоколу Ethernet сетей оценивается более чем в 5 миллионов, а количество компьютеров с установленными адаптерами Ethernet – более чем в 50 миллионов. Ethernet – это сетевой стандарт, разработанный фирмой Xerox в 1975 году и принятый комитетом IEEE (Institute of Electrical and Electronics Engineers).

Указанный стандарт использует метод разделения среды – метод CSMA/ CD (carrier- sense – multiply- acces with collision detection)- метод коллективного доступа с опознаванием несущей и обнаружением коллизий. Этот метод используется исключительно в сетях с топологией “общая шина”. Все компьютеры в такой топологии имеют доступ к общей шине, все компьютеры имеют возможность немедленно получить данные, которые любой из компьютеров начал передавать на общую шину. Простота подключения предопределяет успех технологии Ethernet. Базовый cтандарт Ethernet предписывает передачу двоичной информации для всех вариантов физической среды со скоростью 10 Мбит/с.

Чтобы получить возможность передавать кадр компьютер должен убедиться, канал связи (среда) свободен. Это достигается прослушиванием основной гармоники сигнала, которая также называется несущей частотой (carrier- sense, CS). Признаком незанятости канала является отсутствие на ней несущей частоты (5 – 10 МГц). Если среда свободна, то компьютер начинает передавать кадр. Если в это время другой компьютер пробует начать передачу, но обнаруживает, что канал занят, он вынужден ждать, пока первый компьютер не прекратить передачу кадра.

После окончания передачи кадра все компьютеры вынуждены выдержать технологическую паузу в (9,6 мкс). Такая пауза необходима для приведения сетевых адаптеров в исходное состояние. Механизм прослушивания среды не гарантирует от возникновения такой ситуации, когда два или более компьютеров одновременно решают, что среда свободна и начинают передачу своих кадров. В этом случае возникает коллизия, так как оба кадры сталкиваются на общем кабеле и происходит искажение информации. (Рис 1). Для возникновения коллизии не обязательно, чтобы несколько компьютеров начали передачу абсолютно одновременно, такая ситуация маловероятно. Гораздо вероятней, что коллизия возникает из-за того, что один компьютер начинает передачу кадра раньше другого, но до второго компьютера сигнал первого просто не успевает дойти, когда он решает начать передачу. Другими словами, коллизии- это следствия распределенного характера сети. Чтобы отработать коллизию все компьютеры одновременно наблюдают за сигналами на кабеле.

В общем случае возникновение коллизий зависит от вида линии связи и расстояний между компьютерами. В настоящее время используются в основном два типа линий связи: неэкранированная витая пара, обозначаемая как 10Base –T, и волоконно – оптический кабель (10 Base – F).

Сеть на базе технологий Ethernet должна строится таким образом, чтобы кадр, посылаемый компьютером, по линии связи успевал доходить до самого дальнего от него компьютера до момента времени окончания передачи кадра.(Рис.1).

Экспериментально были получены следующие характеристики линий связи для обеспечения работоспособности локальной сети:

Максимальная пропускная способность стандарта Ethernet составляет 14880 кадр/с (для минимальной длины кадра 72 байта), а минимальная 813 кадр/ с (для кадра максимальной длины 1526 байт).

Классический 10 – мегабитный Ethernet в начале 90 –х годов прошлого столетия перестал удовлетворять пользователей по своей пропускной способности. Особенно остро эта проблема встала перед сетевым сообществом, когда клиентские приложения стали требовать скоростей недоступных для базовой технологии Ethernet (например, просмотр фильмов).

Поэтому в 1995 году был принят новый стандарт Fas tEthernet, сохранивший все особенности базового 10 – мегабитного Ethernetа, имеющий, однако, скорость передачи 100 Мбит/с.

Указанный стандарт используется в локальной сети БГЭУ.

В настоящее время ведутся работы по созданию 1000 М/битного Gigabit Ethernet. Основная проблема Gigabit Ethernet заключается в значительном сокращении расстояний между компьютерами (до 25 метров), что значительно удорожает сеть.

Отметим также, что на канальном уровне также используются технологии Token Ring, FDDI, где кадры передаются с помощью специального кадра- маркера по кольцу в одном

Радио-Ethernet - этот стандарт был принят в 1997 году для организации беспроводной локальной сети (WLAN -Wireless LAN). Радиосети удобны для подвижных средств, но также находят применение и в других областях (сети отелей, библиотек, аэропортов, больниц и т.д.).

Радио-Ethernet работает на частоте приема- передачи сигнала 2,4 ГГц (не лицензируемая частота) и использует два основных типа оборудования: клиент (компьютер), а также точка доступа, играющая роль связующего звена между проводной и беспроводной сетью. Беспроводная сеть может работать в двух режимах: «клиент/сервер» и «точка – точка». При первом режиме к одной точке доступа по радиоканалу могут подключаться несколько компьютеров, во втором связь между конечными узлами устанавливается напрямую без специальной точки доступа.

В последнее время широкое распространение получила модификация названная WiFi (Wireless Fidelity). WiFi - технология обеспечивает скорость до 11 Мбит/с и использует метод разделения сетевой среды CSMA/CA (Carrier- Sense- Multiple- Access with Collision -Avoidance) -метод коллективного доступа с опознаванием несущей и избежанием коллизий. Этот стандарт принят в 2001 году, и теоретически максимальная скорость передачи составляет 54 Мбит/c.

Для осуществления связи используются всенаправленные и узконаправленные антенны (последние для соединений «точка-точка»). Всенаправленная антенна гарантирует связь для расстояний до 45 метров, а узконаправленная - до 45 км. Одновременно может обслуживаться до 50 клиентов.

В отличие от проводного Ethernet для радиосетей важно, чтобы радиосигналы от различных узлов – отправителей не накладывались на входе узла-получателя. В противном случае в сети будет возникать коллизия.

Для предотвращения коллизий в радио- Ethernet необходимо строго соблюдать расстояния действия радиосигнала отдельных узлов сети.

Технология BlueTooth начала разрабатываться в 1994 году компанией Ericsson Mobile Communications, и предназначена для беспроводной связи между узлами посредством устройств с ограниченным радиусом действия. Технология BlueTooth получила название в честь скандинавского короля Гарольда Голубой Зуб (Harald Blaatand, 940-981 г.г). Основным направлением использования Bluetooth является построение так называемых персональных сетей (PAN, Private Area Networks), включающих такие разноплановые устройства, как мобильные телефоны, карманные персональные компьютеры, МР3-плееры, компьютеры, клавиатуры, мыши, принтеры и даже микроволновые печи и холодильники, т.е. любые устройства, имеющие потребность в получении информации или обладающие необходимой информацией.

Возможность передачи голоса позволяет встраивать интерфейс Bluetooth в беспроводные телефоны или, например, беспроводные гарнитуры для сотовых телефонов.

Технология Bluetooth работает на нелицензируемом радиосигнале в диапазоне 2,4 – 2,48 ГГц, разделенном на 79 отдельных каналов (подчастот), используя для соединений методы коммутации каналов и пакетов. Каждый пакет передается с использованием отдельного частотного канала по отношению к предыдущему, при этом производится 1600 переключений частоты в секунду. Скорость передачи данных до 1 Мбит/с.

Основу сети BlueTooth составляют пикосети, каждая из которыхсостоит из одного главного узла- мастера (М) и до семи клиентских узлов - слэйвов (С), размещенных в радиусе 10 м (рис.2.) Все узлы такой сети работают на одной частоте и разделяют общий канал. В одной комнате могут располагаться несколько пикосетей (до 10), соединение которых осуществляется с помощью общего устройства, являющимся мастером в одной и слэйвом в другой пикосети.

Узел-мастер нумерует каналы связи и обеспечивает последовательность скачков частоты для синхронизации всех других устройств в пиконсети.

Ближайшие цели разработчиков Bluetooth состоят в том, чтобы обеспечить высокоскоростное соединение, до 6-10 Мбит/с, и сделать технологию полностью совместимой со всеми нужными устройствами. Корпорация Intel разработала специальное программное обеспечение, которое позволит передавать по радиосетям Bluetooth компьютерные файлы. В ближайшем будущем должны появиться различные периферийные устройства, такие как принтеры, клавиатуры, мыши, работающие с новой технологией.

В таблице 1 приведены основные сравнительные характеристики технологий Wi-Fi и Bluetooth.

Помимо локальных сетей в настоящее время разработаны стандарты для беспроводных региональных сетей WMAN (Wireless Metropolitan-Area Networks) и WWAN (Wireless Wide-Area Networks) со скоростями обмена в десятки Кбит/с.

К сожалению беспроводные, особенно мобильные каналы крайне ненадежны. Потери пакетов в таких каналах весьма вероятны. Этому способствуют, например, даже наводки от СВЧ-печей, работающих практически в том же частотном диапазоне. Поэтому беспроводные сети являются лишь дополнением к проводным сетям и не могут конкурировать с ними по надежности и скорости передачи данных.

Система охраняемых территорий в США Изучение особо охраняемых природных территорий(ООПТ) США представляет особый интерес по многим причинам...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: