Построение запросов к машине поиска Internet с помощью тезауруса
П.И.Браславский
Уральский государственный технический университет
620078, Екатеринбург, ул. Мира 34-51
pb@dpt.ustu.ru
Введение
По мере развития сети Internet обостряется парадокс: вероятность присутствия необходимой информации в глобальном информационном пространстве растет, а вероятность ее нахождения – уменьшается. Это происходит потому, что наполнение Сети громадно по объему, очень разнородно, быстро обновляется, плохо поддается структуризации и управлению. В этой ситуации особую актуальность приобретают исследования, направленные на повышение эффективности поиска информации в Internet. 
На сегодняшний день наиболее популярное средство поиска информации в Сети – машины поиска (МП) по ключевым словам. Формулировка информационной потребности на языке запросов – наиболее сложный и трудно формализуемый этап поиска. В отличие от традиционной библиотеки, где можно обратиться за помощью к библиографу, при обращении к МП Internet пользователь оказывается "один на один" с системой. 
Наше предложение состоит в том, чтобы использовать тезаурус с сильно дифференцированным набором семантических отношений в качестве основы для построения ассистента формирования запросов к МП Internet [1]. 
Сегодня тезаурусы, несмотря на богатую традицию использования в информационном поиске [6],  находят лишь ограниченное применение в универсальных МП Internet. Во-первых, это объясняется тем, что задача экономии памяти и вычислительных ресурсов сегодня не так актуальна, как 30 лет назад. Во-вторых, чрезвычайно трудно построить тезаурус, который соответствовал бы тематическому разнообразию информации, индексируемой универсальной МП. Кроме того, в традиционных ИПС тезаурусы использовались в основном как средство повышения полноты поиска (за счет объединения близких терминов связкой "ИЛИ") [6]. Сегодняшняя проблема Internet – это информационная перегрузка (information overload), и как следствие – низкая точность поиска. 
В статье формулируются подходы к использованию тезаурусов при поиске информации в Internet, описывается модель и приводится пример тезауруса с сильно дифференцированными семантическими отношениями, описывается макетная реализация метода.
Подход
На наш взгляд, тезаурус может стать эффективным инструментом формирования запросов к универсальным МП Internet и существенно повысить качество информационного поиска в специализированной тематической области при выполнении следующих условий: 
o	тезаурус отражает терминологию достаточно узкой научной/предметной области;
o	в тезаурусе используется набор сильно дифференцированных семантических отношений;
o	тезаурус независим от машины поиска (рис. 1).
Задача построения универсального тезауруса является очень трудоемкой. Построение тезауруса узкой предметной или научной области осуществить намного проще. С одной стороны, задача намного меньше по объему; с другой – в данном случае мы имеем дело не с общеупотребительной лексикой, а с терминами. Свойства терминов – системность, устойчивость и регулярность связей, отсутствие экспрессии, установка на объективность описания, – делают возможным их адекватное описание с помощью тезаурусов.

Рис. 1. Структура формирования запроса с помощью тезауруса 
(П - пользователь, Т - тезаурус, МП - машина поиска)
Особенно точно описать терминологию можно при помощи тезауруса с набором сильно дифференцированных семантических отношений 4, 5. Основная идея такого описания – использование не только универсальных (например, “род-вид”, “часть-целое” и т.д.), но и специфических для конкретной предметной области отношений. Таким образом, каждый тип отношения сам по себе несет значительную смысловую нагрузку, определяет различные аспекты семантики термина.
На основе набора семантических отношений тезауруса можно ввести понятие стратегии поиска по тезаурусу. Стратегия – это шаблон с указанием связки (“И”, “ИЛИ”, “НЕ”) и веса для каждого типа семантического отношения. Выбрав термин и применив к нему стратегию, мы получаем запрос, в котором выбранный (“опорный”) термин объединен со своими “соседями” в соответствии с маской-стратегией. Стратегии могут быть направлены на повышение точности или полноты поиска, выделение определенных понятийных сфер термина. Сформировав стратегию, ее можно применять последовательно к различным опорным терминам. Стратегии могут служить подсказкой начинающему пользователю, позволяют унифицировать поиск, сделать его в большей степени автоматизированным. 
Средство формирования запросов на основе тезауруса позволяет тонко управлять как полнотой, так и точностью поиска.
Разнообразие, специфичность и динамика тематических интересов и информационных запросов пользователей ставит под вопрос эффективность централизованной разработки тезаурусов и расположения их на МП. Тезаурусы, отражающие терминологию различных предметных областей, могут располагаться на независимых серверах и выступать в качестве интерфейса к универсальным машинам поиска (см. рис. 1). Заметим, что Internet в такой схеме выступает не только как хранилище информации, но и как среда для коммуникации и объединения усилий разработчиков и пользователей тезаурусов. 
Пользователями средства расширения запросов на основе тезауруса могли бы стать как непосредственные потребители информации (специалисты-предметники), так и те, кто занимается структурированием информационного сырья Internet: аналитические службы; специалисты, занимающиеся наполнением Internet-каталогов (information brokers) и т.п. 
Такой инструмент может также пригодится тем, кто приступает к изучению новой области знаний, причем эффект возникает не только при изучении результатов поиска, но и при работе с самим тезаурусом – его терминами, отношениями и определениями.
Модель
Важная особенность тезаурусов с набором сильно дифференцированных семантических отношений – в том, что набор отношений сам по себе несет значительную смысловую нагрузку, имеет самостоятельное значение. 
Следуя [3], определим модель тезауруса как упорядоченную тройку:
T = A, R, ,	(1)
где
A – непустое множество терминов (носитель модели),
R – множество типов (символов) бинарных отношений (сигнатура модели),
 – множество бинарных отношений на множестве A, причем имеется отображение множества R в множество : rR  r(r) (интерпретация сигнатуры).
Из семантических ограничений следует, что все отношения  нерефлексивны (термин не связан с самим собой).
Множество типов отношений должно оптимально соответствовать терминосистеме, откуда следует, что термин не может быть связан с другим более чем одним типом отношения:
   (r1  r2) = .
r1r2 
{r1, r2} 

Алфавит ассистента формирования запросов содержит термины тезауруса, натуральные числа, символы связок &, |, ~, а также символы двоеточия : и скобок (,). 
Слово в алфавите ассистента формирования запросов является правильным запросом, если оно удовлетворяет следующему определению:
1.	Любой термин тезауруса – правильный запрос. (Если xA, то x – правильный запрос.)
2.	Любой термин тезауруса с указанием веса – правильный запрос. (Если x  A, w  N, то x:w – правильный запрос.)
3.	Если Q1 и Q2 – правильные запросы, то (Q1&Q2), (Q1|Q2), (Q1~Q2) – правильные запросы. 
Для упрощения записи можно опускать внешние скобки запроса, а также те пары скобок, без которых старшинство связок правильно определяет порядок обработки запроса.
Определим стратегию поиска по тезаурусу как упорядоченную четверку:
S = w, Rs, js, fs,    	(2)
где натуральное число w – вес опорного термина;
Rs  R – множество типов связей, участвующих в стратегии;
js : Rs  &, |, ~  – функция, ставящая в соответствие каждому типу отношения из Rs тип связки;
fs : Rs  N – функция, ставящая в соответствие каждому типу отношения из Rs вес.
Две стратегии S1 и S2 назовем совместимыми, если либо они не пересекаются по задействованным в них типам связей  (RS1   RS2 = ), либо значения функций j S1 , j S2  совпадают на этом пересечении 
(j S1  (x) = j S2 (x), x  RS1   RS2).
Для двух совместимых стратегий S1 и S2 следующим образом можно определить объединение S:
S = S1  S2 = w1+w2, RS1   RS2, js, fs,	(3)
где функции js и fs определяются так:
,
.

Примеры
Пример 1. В качестве примера приведем фрагмент тезауруса, соответствующего предметной области “Диагностика и ремонт автомобилей”. 
А = {автомобиль, ‘транспортное средство’, двигатель, мотор, трансмиссия, диагностика, ‘диагностический протокол’, ‘коробка передач’}
R = {род, вид, часть, целое, синоним, процесс/действие, ‘объект процесса/действия’, ‘результат процесса/действия’, ‘непосредственная связь’}
Множество отношений  состоит из следующих элементов:
РОД = {(автомобиль, ‘транспортное средство’)}
ВИД = {( ‘транспортное средство’, автомобиль)}
НЕПОСРЕДСТВЕННАЯ СВЯЗЬ = {(двигатель, трансмиссия), (трансмиссия, двигатель)}
ЧАСТЬ = {(автомобиль, трансмиссия), (автомобиль, двигатель), (трансмиссия, ‘коробка передач’)}
ЦЕЛОЕ = {(трансмиссия,  автомобиль), (двигатель, автомобиль), (‘коробка передач’, трансмиссия)}
ПРОЦЕСС/ДЕЙСТВИЕ = {(автомобиль, диагностика), (‘диагностический протокол’, диагностика)}
РЕЗУЛЬТАТ ПРОЦЕССА/ДЕЙСТВИЯ = {(диагностика, ‘диагностический протокол’)}
ОБЪЕКТ ПРОЦЕССА/ДЕЙСТВИЯ = {(диагностика, автомобиль)}
СИНОНИМ = {(мотор, двигатель), (двигатель, мотор)}
Наглядно термины и семантические связи между ними можно представить в виде графа (рис. 2).

Рис. 2. Граф тезауруса из примера 1

Пример 2. Правильные запросы на основе терминов тезауруса из примера 1:
o	(автомобиль|диагностика)&трансмиссия
o	(трансмиссия:10|‘коробка передач’:8)&(двигатель:6|мотор:4)

Пример 3. Стратегию для тезауруса из примера 2 можно задать таблицей:
w	Rs	js	fs	
10	часть	&	5	
	связь	&	5	
	синоним	|	8	

Пример 4. Запрос, полученный в результате применения стратегии из примера 3  к опорному термину автомобиль тезауруса из примера 1, может выглядеть следующим образом:
автомобиль:10&двигатель:5&трансмиссия:5.
Та же стратегия, примененная к термину двигатель, дает следующий результат:
двигатель:10|мотор:8&трансмиссия:5.
Пример 5. Объединение стратегии из примера 3 со стратегией:
w	Rs	js	fs	
2	связь	&	1	
	целое	|	2	
выглядит следующим образом:
w	Rs	js	fs	
12	часть	&	5	
	целое	|	2	
	связь	&	6	
	синоним	|	8	

Реализация
Идеи, изложенные выше, реализованы на уровне макета в программе ProThes Q. Программа разработана в среде Delphi. 
Интерфейс программы ProThes Q содержит три окна:  “Термин”, “Запрос”, “Стратегия”. 
Окно “Термин” предназначено для навигации по тезаурусу и выбора “опорного” термина. В окне отображаются: алфавитный список терминов; дефиниция термина (если есть) и его “соседи”.
Перемещаться по терминам тезауруса можно:
1)	через поиск терминов;
2)	по алфавитному списку;
3)	по семантическим связям между терминами.
Окно “Стратегия” предназначено для формирования стратегий поиска. Каждому типу отношения назначается тип связки: “И”, “ИЛИ”, “НЕ” (или “пусто”, если тип отношения не участвует в стратегии). Указывается вес опорного термина и каждого типа отношения.
Окно “Запрос” (рис. 3) предназначено для работы с поисковыми запросами. Запрос формируется на основе опорного термина (выбирается в окне “Термин”) и стратегии (окно “Стратегия”). В этом окне пользователь может выбрать и скорректировать стратегию, сформировать, отредактировать и сохранить запрос. Передача запроса в программу просмотра осуществляется через буфер обмена. 
Результаты обработки машиной поиска “Яндекс” запросов, сформированных при помощи программы ProThes Q и тезауруса по компьютерной лингвистике [2], показывают, что с помощью тезауруса можно управлять как полнотой, так и точностью поиска (таблица).

Рис. 3. Окно "Запрос" программы ProThes Q
Таблица 
Запросы и отклики МП “Яндекс” 
№	Запрос	Кол-во
ссылок	
1.	“формальная грамматика”	274	
2.	(формальная|контекстно-зависимая|контекстно-свободная| 
сетевая| трансформационная|зависимостей| “непосредственных составляющих”) /1 грамматика*)	549	
3.	“лингвистическая трансляция”	3	
4.	“расширенная сеть переходов”	4	
5.	иллокуция перлокуция	4	
6.	слово:10 предложение морфема словосочетание словоформа 
лексема аффикс	68	
7.	анафора&&антецедент	3	
8.	фрейм:10 “искусственный интеллект”	15	
*) Запрос был отредактирован вручную для исключения нескольких вхождений слова грамматика.

Заключение
Полученные результаты позволяют рассматривать тезаурусы как эффективное средство устранения дисбаланса между специфическими информационными потребностями различных групп пользователей – с одной стороны, – и   универсальностью машин поиска Internet – с другой.
Важным элементом развития предложенного подхода является стандартизация формата представления тезаурусов. Формат должен отвечать требованиям открытости, переносимости и расширяемости. Выше мы уже указывали на то, что Internet должен быть не только пространством поиска информации, но и средой функционирования, разработки и поддержки тезаурусов. 
Направлениями дальнейшего развития формализма тезаурусов применительно к информационному поиску могли бы стать: 
•	формализация процедуры формирования запроса по стратегии глубиной больше единицы (в запрос включаются не только ближайшие соседи опорного термина);
•	формализация процедуры интеграция различных тезаурусов.
В заключение мы хотим поблагодарить Илью Бирюкова за помощь в создании программы ProThes Q.
Библиография
1.	Браславский П.И. Расширение поискового запроса с помощью тезауруса с сильно дифференцированными связями: Тезисы доклада рабочего совещания "Новые Интернет-технологии", Петрозаводск, КарНЦ РАН, 25-28 июня 2000 г. – http://www.krc.karelia.ru/structure/math/conf/nit/papers/
paper.ru.phtml?file=braslavsky.html
2.	Браславский П.И., Гольдштейн С.Л., Ткаченко Т.Я. Тезаурус как средство описания систем знаний// Научно-техническая информация. Сер.2, – 1997. – №11. – С.16-21.
3.	Ершов Ю.Л., Палютин Е.А. Математическая логика: Учеб. пособие для вузов. – 2-е изд., испр. и доп. – М.: Наука, Гл. ред. физ.-мат. лит., 1987. – 336 с.
4.	Никитина С.Е. Семантический анализ языка науки. (На материале лингвистики.) – М.: Наука, 1987. – 141 с.
5.	Никитина С.Е. Тезаурус по теоретической и прикладной лингвистике. – М.: Наука, 1978. – 375 с.
6.	Солтон Дж. Динамические библиотечно-информационные системы. – Пер. с англ. – М.: Мир, 1979. – 558 с.