Роль и перспективы развития технологий автоматической обработки текстов в современном учебном процессе

Активное развитие технологий создания интеллектуальных систем открывает множество возможностей для обучения и деятельности в области ИТ-образования. В связи с постоянным ростом информационных потоков в сфере образования одной из ключевых задач становится разработка методов и программных средств автоматизированной обработки информации. В частности это касается развития технологий автоматической обработки текстов (АОТ) на естественном языке.

Участники современного учебного процесса сталкиваются с необходимостью быстро просматривать и классифицировать большие объёмы текстовых документов. Эта задача возникает повсеместно: при поиске в сети Интернет, получении информации в электронных библиотеках, работе с текстовыми базами данных и других элементах образовательного процесса в сфере ИТ. Не вызывает сомнения необходимость совершенствования средств поиска в электронном документальном пространстве, который как правило сводится к сопоставлению заданных текстовых фрагментов текстам на естественном языке. Последние разработки поисковых систем направлены в первую очередь на расширение возможностей средств текстовой обработки, что приводит к росту релевантности запросов. Уменьшить число просматриваемых документов могут помочь системы классификации и кластеризации текстов, задача которых состоит в том, чтобы отнести текст к тому или иному классу или кластеру, и системы автоматического реферирования, создающие сжатые описания документов путём выявления наиболее информативных предложений текста.

В основе большинства разработок лежит идея выделения из исходных текстов определённого класса объектов – ключевых понятий – и их последующей обработки. Для этого существуют два подхода: в первом случае ключевыми считаются слова, наиболее часто встречающиеся в текстах, но при этом являющиеся информативными, во втором – для отбора используются семантические и синтаксические признаки, позволяющие оценить важность упомянутых в текстах понятий. Трудность реализации АОТ обусловлена проблемами формализации естественного языка, сложной и многозначной системой с огромным количеством внутренних связей. Точность и правильность работы программных средств определяется глубиной анализа, однако глубокий анализ может быть достигнут только для текстов узкой специальной направленности. Для создания систем с более широкими функциями сейчас не хватает или технических возможностей, или теоретической базы. Например, не существует даже достаточно полного и непротиворечивого описания семантики естественного языка. Дальнейшее развитие АОТ как отрасли науки невозможно без создания глубоких описаний естественного языка и интеграции компьютерной лингвистики и математического моделирования.

Таким образом, очевидна важность изучения вопросов анализа текстов как перспективного научного направления, способного решить многие задачи, связанные с реализацией систем электронного обучения и поиском учебной информации. Сегодня технологии АОТ не совершенны, но имеют большой потенциал для дальнейшего развития.