Инструментальные средства интеграции контента унаследованных веб-приложений в единое информационное пространство предприятия

Актуальность темы

исследований.

В последние десятилетия одной из основных характеристик бизнеса как такового, вне зависимости от отрасли, географической или культурной принадлежности, стала глобализация. Уже не является удивительным, что для создания определенного продукта (например, автомобиля) комплектующие поставляются сотнями компаний из десятков стран мира. Интернет и веб-технологии, активно развивающиеся в последнее время, являются одним из катализаторов динамичной глобализации. Более того, интернет всего десять лет назад открыл новые возможности для ведения бизнеса и способствовал существенному росту экономики за счет организации коммуникаций на уровне В2 В (business to business), В2С (business to customer), B2G (business to government) и т. п. Более того, интернет стал не только неотъемлемой частью в ведении бизнеса, но и активно используется конечными пользователями. Так, по данным Internet World Stats [1], доля проникновения интернета от общей численности населения в 2008 г. в США составляет 73,6%, в Европе 48,1%, в России 23,2%. Только для России количество пользователей интернета составляет порядка 33 млн. Если говорить про рост использования интернета, то в период 2000;2008 число пользователей интернета в России выросло в 10 раз. Аналогичным образом растет и объем данных в интернете. По оценкам WorldWideWebSize.com сеть интернет по состоянию на март 2008 года содержит 46.5 миллиардов проиндексированных страниц. Это в совокупности дает петабайты данных.

Следует отметить, что существенную часть данных составляют данные, значимые для пользователей и бизнес-процессов предприятия. Это могут быть биржевые котировки, информация о публичных тендерах, курсы валют, новинки и изменения цен на продукцию конкурентов и т. п. В настоящее время все эти данные зачастую публикуются в виде HTML-страниц (далее вебстраниц) и возникает задача получения данных с внешних веб-сайтов и использование полученных данных в бизнес-процессах. Однако, HTML — язык разметки гипертекста — изначально не предназначался для автоматизированной обработки, это лишь средство для представления данных в браузере конечному пользователю. Таким образом, задача интеграции данных с унаследованных веб-приложений в единое информационное пространство предприятия является нетривиальной.

В настоящее время для интеграции веб-приложений в единое информационное пространство используются портальные платформы (например, Microsoft SharePoint Server, IBM WebSphere Portal, Oracle Portal и т. п.). Однако портальные платформы предлагают ограниченный набор инструментов для интеграции унаследованных веб-приложений. Основной недостаток этих инструментов заключается в том, что они предназначены исключительно для статичного отображения отдельных частей веб-страниц в виде портлетов и не обрабатывают данные веб-страниц, возлагая это на конечного пользователя. Такой подход укладывается в классическую трактовку портала, как интеграционного решения, в котором публикуются данные из различных источников и большая часть их обработки возлагается на самого пользователя, но на практике необходимо не только отображать данные внешних веб-ресурсов, но и использовать их в различных бизнес-процессах. Необходим анализ структуры исходной веб-страницы, отделение данных и элементов форматирования, создание иерархии данных на основе структуры тегов и предоставление полученной иерархии в унифицированном виде, удобном для дальнейшей автоматизированной обработки.

Кроме того, если говорить про актуальность работы, то иллюстративным является один из последних отчетов компании Gartner, посвященный анализу жизненного цикла технологий, связанных с интернетом и построением пользовательских интерфейсов [2] (рис. 1). visibility illj RIA Rich Client.

WO A: Enterprise REST /' and POX ~ J Mashup Applications —sX) Social Software Suites V Second-Generation V) Poriiet Standaros —O (JSR 286 and WSRP v.2) O.

Cloud/Web Platforms i t Private Virtual Worlds •.

Social Applications 0 | Web 3.0 jj.

Social Mining and «Cloud Computing Social Intelligence.

Portal Fabric -^M.

RIA Platforms О Composite Applications.

I Federated Portals Across Vendor Families.

Portlets jy—(Public Virtual W (Q—Web 2.0.

0″ «SOA t*Qr.

Web Analytics '— i-nterpnse Portals О.

Basic Web Services.

Enterprise-Class RSS 4.

Service-Oriented Business Applications.

I Context Delivery Architecture.

RSS in the Enterprise Federated Portals Within Vendor FamiliesCorporate Blogging.

Semantic Web Advanced Web Services.

As of July 2008.

Technology Trigger.

Peak of Inflated.

Expectations.

Trough of Disillusionment.

Slope of Enlightenment.

Plateau of Productivity.

Years to mainstream adoption:

O less than 2 years O 2 to 5 years.

Source: Gartner (July 2008) time obsolete i 5 to 10 years A more than 10 years ® before plateau.

Рис. 1 Анализ жизненного цикла веб-технологий и средств создания пользовательского интерфейса (Нуре Cycle for Web and User Interaction Technologies, 2008 [2]).

Если рассматривать технологии, упоминаемые в этом отчете, то предложенные' в работе модели и методы интеграции унаследованных приложений могут быть рассмотрены в контексте следующих областей отчета компании Gartner:

1. приложения, комбинирующие в себе информацию из различных источников (Mashup applications). Такие приложения представляют собой сервисы, которые для своей работы используют функциональность других сервисов, формируя, таким образом, новые композитные сервисы и становясь в свою очередь источником информации для других сервисов. Таким образом, образуется совокупность взаимосвязанных сервисов, интегрированных друг с другом [3].

2. корпоративные RSS-источники (Enterprise-Class RSS). Really Simple Syndication (RSS) — открытый формат для представления информационного наполнения веб-сайтов в стандартизированном виде для использования в других приложениях. [4];

3. композитные приложения (composite applications). Композитное приложение представляет собой составное решение, реализующее новую функциональность с использование уже существующих гетерогенных источников данных и приложений [5].

4. веб 2.0 — концепция создания веб-приложений с интерактивным участием пользователей в создании информационного наполнения. В результате совместной работы контент таких веб-приложений активно пополняется и выверяется множеством людей [6]. Следует отметить, что значение этого термина до сих пор является предметом многочисленных споров, и нет устоявшегося единого определения.

5. семантическая паутина (семантический веб) предназначена для машинной обработки информации, доступной в среде интернет. Основное внимание уделяется метаданным для определения свойств и содержания веб-ресурсов [7].

Все эти технологии с одной стороны являются востребованными, однако, с другой стороны еще далеки от детальной проработанности и выхода на массовое использование (т.н. «плато продуктивности»), что подтверждает актуальность темы исследований.

Целью диссертационной работы является построение методов, моделей и программных средств интеграции данных произвольных веб-страниц в единое информационное пространство предприятия. Использование результатов диссертационного исследования должно сократить временные и ресурсные затраты на реализацию задачи интеграции данных, предоставив разработчикам портальных решений адаптивный инструментарий для получения и представления в унифицированном формате данных внешних вебстраниц с целью их дальнейшей обработки. Для достижения этой цели в работе необходимо решить следующие задачи:

• исследовать современные модели и методы получения значимых данных с произвольных веб-сайтов, современные подходы к интеграции приложений для выявления основных проблем в области интеграции унаследованных веб-приложений;

• разработать модель унифицированного представления значимых данных веб-страниц;

• разработать алгоритм преобразования произвольной веб-страницы в унифицированное представление;

• разработать алгоритм анализа изменений иерархии значимых данных веб-страниц;

• разработать адаптивное инструментальное программное средство интеграции унаследованных веб-приложений, позволяющее: о получить унифицированное представление значимых данных произвольной веб-страницыо выделить атомарные элементы иерархии значимых данныхо отобразить значения выделенных элементы в отдельном портлете на странице порталао обеспечить обновление значений выделенных элементов иерархии значимых данных при изменении соответствующих данных исходной веб-страницы.

• экспериментально проверить работоспособность разработанных методов и программных средств.

Методы исследования. При разработке математического аппарата в диссертационной работе используются методы теории графов, теории алгоритмов, методы обработки текстовой информации. При разработке программного обеспечения используются методы объектно-ориентированного,.

Web-ориентированного и клиент-серверного программирования, в т. ч. с использованием XML, XSLT, XPath-технологий.

Научная новизна работы заключается в следующем:

• разработана модель представления иерархии значимых данных вебсайтов;

• разработан алгоритм получения иерархии значимых данных произвольной веб-страницы и метод идентификации узлов полученной иерархии значимых данных;

• разработан алгоритм анализа изменений структуры иерархии значимых данных на основе дистанции редактирования между двумя иерархиями значимых данных веб-сайтов;

• разработано адаптивное инструментальное программное средство для интеграции унаследованных веб-приложений.

Практическая значимость. Разработанные модели и методы получения значимых данных и анализа изменений в иерархии значимых данных вебстраниц могут быть использованы в следующих областях:

• интеграция унаследованных веб-приложений;

• создание композитных приложений;

• создание в среде Веб 2.0 новых сервисов на основе существующих веб-ресурсов;

• мониторинг изменений данных на веб-сайтах (например, мониторинг котировок акций, курсов валют, информации о продукции конкурентов, аукционах и т. п.);

• эффективное кэширование веб-страниц.

Реализация результатов. Предложенные в диссертации модели и методы получения и представления иерархии значимых данных веб-сайтов реализованы в виде адаптивного инструментального программного средства для интеграции унаследованных веб-приложений в среде портальной платформы. Разработанное инструментальное программное средство было использовано в проектах «Автоматизация процесса поставок» в компании ООО «Хайтиан» (российское представительство HAITIAN INTERNATIONAL Hlds., Ltd) и «Организация процесса продаж» в компании ООО «Умный софт».

Апробация работы. Теоретические положения и практические результаты были доложены на следующих конференциях и семинарах:

• Научные сессии МИФИ 2003,2004, 2006;2008 (г. Москва, 2003, 2004, 2006 — 2008 гг.);

• XVII Международный научно-технический семинар «Современные технологии в задачах управления, автоматизации и обработки информации» (г. Алушта, 2008 г.);

• Семинар «Современные ИТ-решения для повышения эффективности работы предприятия» (г. Санкт-Петербург, 2005 г.).

Публикации. Результаты диссертации опубликованы в 14 печатных трудах, в том числе в шести статьях в журналах, которые включены ВАК РФ в перечень ведущих рецензируемых научных журналов и изданий, в статье в журнале и тезисах докладов в сборниках трудов конференций.

Структура работы. Диссертация содержит четыре главы, раздел терминологии, введение и заключение, 65 рисунков, 6 таблиц, 2 приложения. Общий объем без приложений: 138 с. (с приложениями 144 е.).

Список использованных источников

литературы содержит 53 наименования.

Результаты работы показывают, что поставленные цели построения, анализа и программной реализации интеграции контента унаследованных веб-приложений в единое информационное пространство предприятия можно считать достигнутыми. Практическое внедрение разработанного адаптивного инструментального программного средства подтвердило теоретические разработки, предложенные в данной работе и показало возможность практического использования в задаче интеграции унаследованных веб-приложений.

Терминология.

Значимые данные. Этот термин рассматривается в данной работе в контексте HTML-документов. Структурно HTML-документ состоит из набора предопределенных тегов и текста, который форматируется с помощью этих тегов для визуального представления пользователю (аббревиатура HTML расшифровывается как Hypertext Markup Language — «язык разметки гипертекста» и сам зык HTML изначально разрабатывался не для машинной обработки, а для отображения гипертекста конечного пользователю). Значимыми данными в HTML-документе назовем совокупность элементов (узлов) данных, отделенных от элементов форматирования (см. также иерархия значимых данных).

Элемент форматирования. Элементом форматирования HTML-документа называется любой HTML-тег (элемент разметки страницы). После преобразования произвольной веб-страницы в XTITML-формат все элементы форматирования могут быть разделены на два основных типа:

1. Тип 1 — фиксированный набор тегов, которые формируют иерархию элементов данных;

2. Тип 2 — фиксированный набор тегов, не влияющих на иерархию значимых данных. Согласно алгоритма построения иерархии значимых данных теги данного типа могут не рассматриваться при построении значимых данных.

Отношение (порядок) предшествования элементов форматирования. Все элементы форматирования типа 1 могут быть разделены в группы, определяющие порядок предшествования узлов данных в иерархии значимых данных веб-страницы (а именно отношения предок-потомок между узлами в иерархии значимых данных).

Элемент (узел) данных. Элемент (узел) данных — это значимые данные, заключенные в листьевой тег форматирования Типа 1. Условие, что тег является листьевым (т.е. не содержит вложенных тегов) обеспечивает атомарность узла данных. В противном случае формируется иерархия значимых данных.

Иерархия значимых данных. Иерархия значимых данных в контексте HTML-страницы представляет собой упорядоченное дерево Т, обладающее следующими свойствами:

1. корневым элементом дерева Т является содержимое тега TITLE (или просто корень HTML-документа, если TITLE отсутствует);

2. узлами дерева Т являются узлы данных HTML-документа;

3. узел t[i] является потомком tj] согласно алгоритма построения иерархии значимых данных.

Заключение

.

Объем данных в сети интернет и распространенность веб-технологий растут высокими темпами, и все чаще необходимая информация доступна в виде веб-страниц. Это могут быть биржевые котировки, информация о публичных тендерах, курсы валют, новинки и изменения цен на продукцию конкурентов и т. п. Соответственно возникает задача получения данных с внешних веб-сайтов и использования полученных данных в бизнес-процессах. Однако HTML — язык разметки гипертекста — изначально не предназначался для автоматизированной обработки, это лишь средство для представления данных в браузере конечному пользователю. Таким образом, задача интеграции контента унаследованных веб-приложений в единое информационное пространство предприятия является актуальной и нетривиальной.

В настоящее время для создания унифицированного информационного пространства предприятия на основе веб-технологий используются так называемые портальные платформы. Однако даже самые развитые и функциональные портальные платформы предлагают ограниченный набор инструментов для интеграции контента унаследованных веб-приложений в единое информационное пространство. Ключевое ограничение связано с тем, что существующие портальные платформы ориентированы, в основном, на статичное отображение отдельных частей веб-страниц в виде портлетов, оставляя задачу обработки и интерпретации данных конечному пользователю. Такой подход, конечно, укладывается в классическую трактовку портала, как интеграционного решения, в котором публикуются данные из различных источников и большая часть их обработки возлагается на самого пользователя, но налагает существенные ограничения на построение единого интеграционного решения. Между тем, необходимо не только отображать данные из внешних веб-ресурсов, но и использовать их в различных бизнес-процессах. А для решения этой задачи уже недостаточно традиционного отображения HTML-данных унаследованного веб-приложения. Необходим анализ структуры исходной веб-страницы, отделение данных от элементов форматирования, составление иерархии данных на основе структуры тегов и предоставление полученной иерархии в унифицированном виде, удобном для дальнейшей автоматизированной обработки.

В рамках данной работы рассматривались вопросы построения методов, моделей и программных средств интеграции контента произвольных вебстраниц в единое унифицированное информационное пространство предприятия. Основные результаты, полученные автором диссертационного исследования, состоят в следующем.

• Проанализированы существующие подходы к интеграции приложений для выявления основных современных проблем в области интеграции унаследованных приложений. В результате анализа предложена классификация систем интеграции приложений.

• Проведено исследование современных моделей и методов получения значимых данных с произвольных веб-сайтов, выявлены ключевые особенности и требования к разработанному алгоритму получения иерархии значимых данных унаследованных веб-приложений.

• Разработан алгоритм получения иерархии значимых данных произвольной веб-страницы с учетом структуры тегов и степени их влияния на иерархию данных.

• Разработана модель унифицированного представления иерархии значимых данных в XMLи RDF-формате, которая повышает интероперабельность результатов работы адаптивного инструментального программного средства интеграции контента унаследованных веб-приложений. Разработанный метод индексации элементов иерархии с помощь XPath-нотации предоставляет возможности получения и манипулирования отдельными элементами иерархии данных, а также повышает устойчивость индексации элементов к изменениям в структуре иерархии значимых данных.

• Разработан алгоритм анализа изменений и сопоставления иерархий значимых данных на основе дистанции редактирования в упорядоченных помеченных деревьях.

• На основе портальной платформы Microsoft SharePoint Server 2007 и технологии .NET разработано инструментальное программное средство для интеграции контента унаследованных веб-приложений, позволяющее получить унифицированное представление значимых данных с произвольной веб-страницы, выделить отдельные элементы и отобразить их в специализированном портлете на странице портала;

• Проведена экспериментальная проверка работы предложенных алгоритмов, моделей и методов на базе прототипа интеграционного решения, созданного с помощью адаптивного инструментального программного средства.

• Результаты диссертационного исследования использованы в проектах «Автоматизация процесса поставок» в компании ООО «Хайтиан» (российское представительство HAITIAN INTERNATIONAL Hlds., Ltd) и «Организация процесса продаж» в компании ООО «Умный софт», что подтверждается соответствующими актами о внедрении.