Практическое применение инструментов выделения именованных сущностей

Анализ методов, применяемых для выделения именованных сущностей показал, что с данной задачей хорошо справляются как методы, основанные на правилах и словарях, так и различные методы машинного обучения. В то же время было показано, что особенности предметной области затрудняют применение обеих групп методов и снижают результативность традиционных систем, настроенных на обработку научных и публицистических текстов.

Состояние разработанности проблемы, обилие готовых систем с открытым кодом, адаптированных для тех или иных типов текстов и сущностей заставило искать решение задачи среди существующих инструментов, любой из которых, несомненно, требовал доработки и адаптации с учетом конкретного материала.

Исходя из вышесказанного, для дальнейшей доработки и тестирования были выбраны 2 инструмента — Gateи Томита-парсер. Обе системы работают с правилами-грамматиками и словарями. Особенностью Gate, послужившей основой для её выбора является то, что эта система хорошо зарекомендовала себя при обработке текстов микроблогов на русском языке. Томита-парсер же был выбран в силу относительной простоты работы с ним и адаптированности для текстов на русском языке.