Строим тематический робот-краулер (окончание)

Программное обеспечение. Программное забезпезпечення представляет собой описание структурной (программной) части подсистем, технологий которые были использованы при создании поисковой системы. Описание этих частей также целесообразно привести с точки зрения каждого модуля. Модуль поиска тематической информации. Вообще каждый из вариантов реализации робота-поисковика возможен с использованием стандартных инструментов и средств многих объектно ориентированных языков программирования. Так, например используя…

Строим тематический робот-краулер (продолжение 2)

Модуль анализа и сбора информации. Данная часть является основной (ядром) для нашего краулер. Главная задача этого модуля заключается в нахождении полезной информации в передаваемом потоке полученного от робота-поисковика. Всего концепция построения этой части почти одинаковая, но все же надо учитывать вариант реализации робота-поисковика, ведь от того, как много мы знаем о том, что мы получили…

Строим тематический робот-краулер (продолжение)

Критерии оценки работы системы. Для оценки работы представленной системы целесообразно привести два основных критерия: быстродействие; качество обработки информации. Первый критерий быстродействия относится как к краулер, так и в базу знаний. В случае с краулер данный критерий будет не сильно влиять на быстродействие всей системы, ведь эта часть является автономной, а значит не может влиять на…

Строим тематический робот-краулер (начало)

Проблема поиска информации, занимает одно из основных мест в современном обзоре развития Интернет пространства. Имея большую и быстро развивающуюся инфраструктуру сетей, нетрудно разобраться в том объеме данных, ее накапливается с каждым годом. Трудно организовать общую систему, которой было бы подчинено все данные о существующих ресурсы и их размещение в Интернет. Как правило отдельные системы охватывают…