2.2 Библиотеки алгоритмов обработки изображений
В настоящее время широкую известность получили ряд библиотек, предлагаемых в качестве инструментальных средств для решения задач машинного и технического зрения. Большинство таких библиотек являются коммерческими продуктами, поставляемыми без исходных текстов. Тем не менее, они могут представлять интерес для разработки прототипов систем технического зрения.
Библиотека Matrox Imaging Library (MIL) предназначена для использования в среде MS-DOS и MS Windows. Эта библиотека содержит функции для ввода зрительных данных с помощью фреймграбберов фирмы Matrox и функции для обработки изображений. Подмножество функций ввода зрительных данных распространяется фирмой Matrox в виде самостоятельного продукта – библиотеки MIL Lite [16].
Функции ввода и хранения изображений поддерживают полутоновые, бинарные и цветные форматы изображений. Функции обработки в основном рассчитаны на полутоновой и бинарный форматы. Функции библиотеки MIL можно разделить на несколько групп. Можно отметить, что это разделение прослеживается в большинстве библиотек функций обработки изображений:
доступ к УВЗД (в MIL это только фреймграбберы фирмы Matrox);
управление буферами изображений (выделение, копирование, доступ и т.п.);
вывод графических примитивов в буфера изображений;
вывод изображений на экран;
функции для работы со связными компонентами бинарных изображений;
"низкоуровневые" функции обработки изображений (морфологические операции, бинаризация, арифметические операции с парами изображений, фильтрация, выделение краев, операции с гистограммами, маркировка связных компонент, геометрические преобразования);
функции для выполнения двумерных измерений (поиск маркеров – краев и линий, вычисление расстояний между найденными маркерами);
корреляционный поиск шаблонов на полутоновых изображениях;
распознавание символов на основе сравнения с эталонным шрифтом.
Среди характерных особенностей MIL можно отметить эффективную реализацию алгоритмов для корреляционного поиска полутоновых шаблонов. Функции библиотеки оптимизированы для процессоров фирмы Intel. Библиотека MIL рассчитана на компиляторы Visual C++, Borland C++, Watcom C++. Распространяется в виде DLL для Windows и статических библиотек для MS-DOS.
Библиотека LeadTek LeadTools [13] в основном предназначена для хранения и доступа к изображениям в различных файловых форматах. Поддерживаются полутоновые, цветные и бинарные файловые форматы (порядка 50). Предоставляется доступ к AVI-файлам, интерфейсу TWAIN для сканирования изображений. Функции обработки представлены в относительно небольшом количестве и они предназначены, в основном, для решения задач визуализации изображений:
геометрические преобразования;
комбинирование нескольких изображений;
коррекция яркости и контраста;
фильтрация для повышения визуального качества изображений;
детектирование перепадов яркости.
В LeadTools реализован механизм аннотирования изображений – поверх изображения накладываются векторные примитивы (например, отрезки, прямоугольники и текст), которые можно сохранить в отдельном файле или в файле с изображением.
Библиотека LeadTools имеет модульную структуру, и предусмотрены различные варианты комплектации. Необязательными модулями являются:
распознавание штрих-кодов;
работа с файлами формата DICOM;
распознавание символов;
захват содержимого экрана в среде Windows;
доступ к мультимедиа-данным и ввод видео- и аудио- данных посредством интерфейса VFW.
LeadTools поставляется в виде набора в DLL, в виде библиотек классов и в виде элементов управления ActiveX. Предназначена для использования в Visual Studio и в средах программирования Borland Delphi/C++ Builder.
Библиотека HALCON [10] – это коммерческий вариант системы обработки изображений HORUS, разрабатывавшейся с 1988 по 1996 г. для UNIX в рамках исследований в области интерактивной обработки изображений в Мюнхенском техническом университете.
HALCON содержит более 900 функций. Библиотека предназначена для использования в Windows и в нескольких версиях UNIX (в т.ч. Linux, Solaris, IRIX). Для Windows есть вариант библиотеки с поддержкой COM-автоматизации для использования не из Си++, например, из Visual Basic. Версия Parallel HALCON автоматически использует многопроцессорные возможности в соответствующих ОС и поддерживает написание программ для параллельной обработки изображений.
Предполагаемые области использования библиотеки HALCON –производственная автоматизация, контроль качества, бесконтактные измерения, обработка аэрофотосъемок, обработка медицинских изображений. Для быстрого прототипирования систем обработки изображений поставляется программа HDevelop. Группы функций HALCON в основном такие же, как и в библиотеке MIL. Можно отметить поддержку большого количества фреймграбберов (более 30 моделей, можно добавить новую модель), возможности обработки цветных и многоканальных изображений, а также наличие функций корреляционного поиска по описанию формы образов объектов.
Библиотека Intel OpenCV [18] представляет попытку разработки открытого стандарта в области инструментальных средств для задач машинного и технического зрения. Библиотека поставляется с исходными текстами, но для хранения изображений и низкоуровневой обработки OpenCV использует библиотеку Intel Image Processing Library (IPL) [11], которая поставляется в двоичном виде. В OpenCV нет функций для ввода зрительных данных, но есть группы функций, предназначенных для решения конкретных прикладных задач в постановке авторов библиотеки OpenCV, например, распознавание жестов и слежение за объектами на последовательности изображений (на примере слежения за лицом оператора ПК с помощью Web-камеры). В качестве интересных особенностей OpenCV можно отметить реализацию набора алгоритмов для формирования контурных описаний бинарных изображений, алгоритм калибровки камеры и алгоритмы совмещения стереоизображений. Приведен пример реализации нескольких приложений (в т.ч. слежение) в форме фильтров для подсистемы DirectShow.
Функциональные возможности обработки изображений в перечисленных библиотеках довольно похожи. Коммерческие продукты (все, за исключением OpenCV, но которая тоже базируется на закрытом продукте IPL) дороги (порядка 5000-10000$) и закрыты для модификации. Основной интерес, на наш взгляд, описанные библиотеки могут представлять на этапе проектирования и разработки прототипа СТЗ реального времени, поскольку дают возможность с относительно небольшими временными затратами изучить возможности применения известных алгоритмов для решения конкретной задачи. В случае найденных удачных решений может быть целесообразно перенести сформированный прототип на собственную алгоритмическую базу.
Среди проблем, возникающих при работе с библиотеками обработки изображений, можно отметить, что почти каждая библиотека предполагает использование собственного формата хранения изображений. Также возможны сложности с версиями библиотек, на практике обнаруженные при работе с библиотекой MIL – для новой версии ОС потребовались новые драйверы УВЗД (в составе новой версии MIL-Lite), которые не сочетаются с более ранней версией библиотеки MIL.
|
