Мультимодальная система эндоскопической визуализации

Мы разработали перспективную мультимодальную эндоскопическую систему (FL), которая предлагает цветные, спектрально классифицированные, высокочастотные ультразвуковые (HFUS) B-режимы и изображения с интегрированным коэффициентом обратного рассеяния (IBC) для обнаружения опухолей in situ. Исследование распределения опухоли от поверхности толстой кишки до более глубоких слоев имеет важное значение для определения плана лечения рака. Например, глубина инвазии опухолей в подслизистую оболочку в дополнение к распространению опухоли на поверхности толстой кишки используется в качестве индикатора того, будет ли выполняться эндоскопическая диссекция.

Таким образом, мы разработали мультимодальную эндоскопическую систему FL, которая с высокой точностью предоставляет информацию о распространении опухоли от поверхности до глубоких тканей. Эту систему оценивали с использованием двухслойных желатиновых фантомов, которые имеют разные свойства на каждом слое фантома в латеральном направлении. После оценки системы с помощью фантомов ее использовали для характеристики сорока тканей толстой кишки человека, удаленных от онкологических больных. Предлагаемая система может позволить нам получать химическую, анатомическую и макромолекулярную информацию с высоким разрешением об удаленных тканях толстой кишки, включая опухоли, тем самым улучшая обнаружение распространения опухоли от поверхности до глубоких тканей. Эти результаты позволяют предположить, что мультимодальная эндоскопическая система FL может стать инновационным инструментом скрининга для количественной характеристики опухолей.

Мультимодальность оптической системы подразумевает использование одного или нескольких оптических методов для улучшения общей производительности системы и максимальной полезности. Мы демонстрируем мультимодальную систему с косым освещением, сочетающую в себе два разных метода; флуоресцентная микроэндоскопия и спектроскопия одновременно и могут использоваться для получения разнообразной информации из одного и того же места биологического образца. В настоящей системе использование стержневой линзы с градиентным преломлением (GRIN) делает ее очень компактной, а наклонное падение отделяет геометрию освещения от геометрии сбора, предотвращая насыщение ПЗС-камер и уменьшая количество оптических элементов, тем самым делая систему еще более миниатюрной и портативной. Он также устраняет недостатки нежелательных отражений от различных оптических элементов.

Представлены экспериментальные результаты одновременной визуализации и спектроскопии биологических образцов, а также количественные спектроскопические параметры; пиковый сдвиг длины волны, площадь под кривой и полувысота полной ширины (FWHM). Кроме того, мы получили красное смещение раковой ткани полости рта по отношению к нормальной ткани полости рта 5,79 ± 1,071 нм. Это может быть важным показателем для скрининга рака полости рта.

Мы предлагаем алгоритм мозаики эндоскопических изображений, устойчивый к изменениям условий освещения, зеркальным отражениям и безликим сценам. Эти условия особенно распространены в малоинвазивной хирургии, где источник света перемещается вместе с камерой, чтобы динамически освещать сцены с близкого расстояния. Это затрудняет использование единого метода регистрации изображений для надежного отслеживания движения камеры и последующего создания согласованной мозаики расширенной хирургической сцены в различных и гетерогенных средах. Вместо того, чтобы полагаться на один специализированный метод извлечения признаков или метод регистрации изображений, мы предлагаем объединить различные алгоритмы регистрации изображений в соответствии с их неопределенностями, формулируя проблему как оптимизацию аффинного графа поз. Это позволяет объединить ориентиры, регистрацию плотной интенсивности и подходы, основанные на обучении, в единой структуре.

Чтобы продемонстрировать наше приложение, мы рассматриваем оптический поток на основе глубокого обучения, созданные вручную функции и регистрацию на основе интенсивности, однако структура является общей и может принимать в качестве входных данных другие источники оценки движения, включая другие модальности датчиков. Мы проверяем эффективность нашего подхода на трех наборах данных с очень разными характеристиками, подчеркивая его обобщаемость и демонстрируя преимущества предлагаемой нами структуры объединения. Хотя каждый отдельный алгоритм регистрации в конечном итоге терпит неудачу на определенных хирургических сценах, подход слияния гибко определяет, какие алгоритмы использовать и в какой пропорции, чтобы более надежно получить согласованную мозаику.