Информационная система обработки и хранения больших массивов данных с различной структурой по химии и химической технологии

Химия является одной из наиболее быстро развивающихся наук, поскольку ее достижения применяются практически во всех областях жизни человечества. Химические знания используются для производства энергии, получения продуктов питания, синтеза всевозможных материалов, обеспечения здравоохранения и решения экологических проблем. Развитие различных направлений химии сопровождается стремительным ростом объемов получаемой информации. Так, только число известных химических соединений удваивается каждые 6−7 лет. С появлением высокопроизводительных ЭВМ, компактных средств хранения больших объемов информации и высокоскоростных электронных сетей, связывающих ЭВМ между собой, появились реальные возможности качественного и количественного преобразования подходов в хранении и обработке информации [1−6]. Оценки тенденций развития информационных технологий свидетельствуют о перспективности создания электронных библиотек, объединяющих в единое целое:

• систему создания и хранения электронных версий печатных изданий;

• систему электронных каталогов, аккумулирующих данные обо всех имеющихся носителях информации (книгах, журналах, отчетах, базах данных и пр.), позволяющих осуществить быстрый поиск необходимой информации;

• систему доступа к первичным носителям информации (выполнение заказов на передачу полных текстов первоисточников по электронным сетям и средствами межбиблиотечного обмена и т. п.).

Однако специфика информации, потребляемой и производимой химической отраслью, такова, что данная информация практически не имеет какой бы то ни было детерминированной структуры, то есть, массивы производимых и потребляемых данных относятся к различным типам: структурированным, слабоструктурированным и неструктурированным.

Обработка такой информации массовыми программными продуктами, предназначенными для управления информацией, крайне затруднена и является, в большинстве случаев, нетривиальной задачей. Этот факт связан с той же слабой структурированностью исходной «сырой» информации и, как следствие, с большими трудностями при переработке такой информации, при переносе ее в базы данных (БД).

Разработка новых подходов и технологий создания информационных систем (ИС) хранения и управления информацией с различной структурой, реализующая механизмы оперативного информационного обеспечения специалистов предприятий химической отрасли, является актуальной задачей.

Основные разделы диссертационной работы выполнены в соответствии с заданием Министерства образования и науки РФ «Совершенствование информационной и патентной базы, защита интеллектуальной собственности, маркетинговые исследования по промышленной реализации проектов направления» Федеральной целевой научно-технической программы «Исследования и разработки по приоритетным направлениям развития науки и техники» на 2002;2006 годы", Блок 2 «Прикладные исследования и разработки», раздел «Новые материалы и химические продукты», подраздел «Химические процессы» (протокол № 1 от 17 января 2002 г.).

Основной целью диссертационной работы являлось создание программно-информационного комплекса, предназначенного для работы с большими массивами данных с различной структурой по химии, химической технологии и смежным областям. Для достижения поставленной цели необходимо было решить следующие задачи: • Разработка подхода к созданию информационной системы обработки и ф хранения больших объемов структурированной, слабоструктурированной и неструктурированной информации. • Создание программно-информационного решения, реализующего функции накопления информации, интеграции существующих баз данных в единой системе, обеспечивающего быстрый и бесконфликтный ввод новой информации произвольной структуры.

• Проектирование программной структуры, реализующей разработанную фактографическую модель и обеспечивающую объединение и совместное использование информации баз данных различными организациями.

• Разработка оригинального поискового механизма.

• Обеспечение различных пользователей возможностью пополнения базы данных.

• Обеспечение возможности использования сторонними организациями и предприятиями информационных ресурсов, созданных при работе с системой.

• Сбор и организация значительного количества информации в области химии и химической технологии в рамках предлагаемой фактографической модели.

Вышеперечисленные задачи решались в следующем порядке.

В первой главе — литературном обзоре — приведен развернутый анализ литературных источников, затрагивающих проблемы хранения и управления информацией в области химии и химической технологии. Рассмотрены основные источники информации, используемые специалистами химических предприятий в повседневной деятельности.

Приведены основные модели организации данных, применяемые в современных средствах обработки информации, рассмотрены типы и примеры приложений, используемых при обработке информации.

Проведен обзор основных БД в области химии и смежных с ней наук. В соответствии с целью работы и на основании выводов, сделанных в результате анализа литературы, сформулирована постановка задачи и намечены этапы ее решения.

Во второй главе был проведен системный анализ информации предметной области. Были рассмотрены различные типы данных, используемых специалистами в области химии и химической технологии, выделены категории информации и сформулированы основные признаки принадлежности данных к той или иной категории. С учетом этих особенностей была разработана расширенная модель организации данных, представляющая собой расширенную сетевую модель, управляемую специальной информацией — метаданными, описывающими блоки хранимой информации. База данных, которая представляет собой физическое воплощение представленной модели организации данных и ориентированная на хранение большого количества информации, изначально имеющей документарную форму, будет являться фактографической.

Третья глава посвящена описанию процесса проектирования созданной системы. Рассмотрены основные объекты системы, их отношения и взаимодействия. Спроектирована структура программного комплекса и всех его составляющих, от элементарных единиц хранения данных, до особенностей и функциональности пользовательского интерфейса и методик подготовки и ввода данных в систему.

В четвертой главе диссертационной работы описывается практическая реализация спроектированной системы и ее испытаний в условиях рабочего процесса реального предприятия. Глава содержит ряд примеров практического использования разработанной системы, а также содержит количественные характеристики хранилища информации, обрабатываемого созданной системой.

Автор выражает глубокую благодарность руководителю работы профессору Менынутиной Н. В., доцентам Гончаровой С. В. и Гусевой Е. В., научному сотруднику Шишулину Д. В. и инженеру Гордиенко М. Г. за обсуждение материалов и помощь в подготовке диссертации.

1. Литературный обзор

В настоящее время Россия по уровню развития электронных сетей и создания электронных библиотек значительно отстает от развитых стран мирового сообщества. Перенесение всей имеющейся информации на электронные носители в силу большого объема накопленных знаний, требует весьма продолжительного времени. Это в полной мере относится к изданиям, вышедшим до появления электронных средств подготовки печатных изданий. Однако практически любые вновь издаваемые книги, научные журналы и т. п., подготовленные с использованием компьютерных средств, могут стать доступными для пользователей электронных сетей за обозримое время.

В этих странах существуют несколько типов глобальных, региональных и локальных сетей, объединяющих информационные источники различного профиля (издательства, информационные и статистические службы и другие) и их пользователей (банки, производителей продуктов и товаров, торговые фирмы, исследовательские организации, учебные учреждения, библиотеки, издательства, коммунальные службы и частных лиц). Создаются и развиваются сети, позволяющие объединить вычислительные возможности различных организаций (концепция мезо-компьютера). Для организации таких сетей используются как специально созданные высокоскоростные оптоволоконные, так и обычные телефонные линии. Практически все крупные организации имеют собственные локальные сети, имеющие выходы в соответствующие региональные и международные сети.

Уровень развития электронных сетей можно характеризовать, например, тем, что большинство продающихся в США бытовых компьютеров имеет встроенные сетевые адаптеры и факс-модемы, мультимедийные устройства, позволяющие их пользователям получать и передавать информацию, связываться с обслуживающими их банками, коммунальными службами, информационными серверами и так далее. 8.

Причем, стоимость этих компьютеров относительно невысока (от 500 долларов). По оценкам специалистов более 50% американских семей имеют бытовые компьютеры, которые представляют постоянно растущий рынок потребления информационных услуг.

В России при неудовлетворительном развитии информационных сетей, обслуживающих индивидуальных пользователей, научные и банковские учреждения имеют достаточно крупные и разветвленные сети. Развитие этих сетей идет довольно быстрыми темпами [7], несмотря на серьезные финансовые трудности и отставание в техническом уровне коммуникационных технологий.

Согласно [7] в стране насчитывается до 30 тысяч баз данных (БД), содержащих сотни гигабайт информации, которые встроены в различные автоматизированные информационные системы (АИС) и используются только в рамках этих систем. БД, доступных для широкого круга пользователей, насчитывается около трех тысяч. Средний объем и срок жизни большинства российских БД существенно уступает зарубежным аналогам. В силу отказа от вычислительных машин типа ЕС в настоящее время идет работа по переводу имеющихся баз на компьютеры западного производства. Можно прогнозировать, что в ближайшие 2−3 года практически все научные учреждения и учебные заведения будут иметь выходы в INTERNET или другие сети. Однако возникает другая проблемаотсутствие доступа к отечественным базам данных и практическое отсутствие отечественных электронных библиотек. Для устранения этой проблемы требуется также значительное привлечение сил и средств. В настоящее время имеется лишь ограниченный доступ к базам ВИНИТИ, БЕН. Вместе с тем имеется большое количество баз и банков данных за рубежом, доступных на коммерческой основе. Так, например, только Chemical Abstracts Service, являющаяся отделением Американского Химического Общества, предоставляет доступ к 10 базам данных, аккумулирующих сведения более чем о 20 млн. названий химических веществ, 14 млн. регистрационных номеров химических соединений, 12 млн. библиографических ссылок в области химии, биохимии, геологии, металлургии, материаловедческих наук и других, 1,8 млн. патентов, 200 тыс. структур, 2 млн. химических реакций.

Практически все университетские библиотеки развитых западных стран имеют мощные библиографические базы данных (например, кумулятивные базы Chemical Abstracts), а также большинство всех значимых баз экспериментальных данных. Так, например, библиотека среднего по размерам университета г. Кливленда (Огайо, США, Case Western Reserve University) имеет более 170 электронных баз на оптических дисках.

5. Выводы.

1. Проведен всесторонний анализ данных, которые используются предприятиями и специалистами в области химии и химической технологии. Отмечено разнообразие информации и типов данных, предоставляемых различными изданиями — патенты, статьи, справочники — что не позволяет создать единое информационное пространство и обеспечить эффективный поиск информации и обмен ею между конечными пользователями.

2. Разработана архитектура фактографической программно-информационной системы, предназначенной для хранения большого объема слабоструктурированной информации. Спроектирована структура, реализующая разработанную фактографическую модель и обеспечивающая объединение и совместное использование различными организациями информации, содержащейся в базах данных.

3. Создан алгоритм поиска как по ключевым словам, так и с использованием каталогов. Запрос может быть сформулирован и в терминах ключевых слов, и как полнотекстовой поиск по всему тексту единиц хранения БД. Формализованный, правильный запрос определяет объем понятия формулой вместо прямого перечисления.

4. Разработана фактографическая система хранения информации, включающая следующие основные разделы: российские и зарубежные патенты, рефераты и статьи из российских и зарубежных журналов, материалы российских и зарубежных выставок и конференций, маркетинговая информация, правовые документы в области химии и химической технологии, химическая и технологическая информация предприятий-производителей.

5. Собрана и распределена информация в области химии и химической технологии в рамках предлагаемой фактографической системы (более 8 млн. единиц информации).

6. Обеспечена возможность наполнения базы различными пользователями, а также возможность использования созданных при работе с системой информационных ресурсов для сторонних организаций и предприятий.

7. Разработанная фактографическая система используется в закрытом доступе для государственных унитарных предприятий.