Трехмерное сканирование (3D-сканирование)

  • автор:

Трехмерное сканирование (3D-сканирование) и изображение: современные и будущие приложения

Визуализация имеет жизненно важное значение для оценки физиологических и фенотипических деталей. В прошлом биомедицинская визуализация в значительной степени зависела от аналоговых методов с низкой пропускной способностью, которые создавали бы двумерные изображения.

Однако новые, цифровые и высокопроизводительные трехмерные (3D) методы визуализации, основанные на компьютерном зрении и компьютерной графике, преобразуют методы работы специалистов-медиков. Трехмерная визуализация полезна при принятии диагностических, прогностических и терапевтических решений для медицинских и биомедицинских профессий.

Здесь мы суммируем современные методы визуализации, которые обеспечивают оптимальную 3D гистопатологическую реконструкцию: трехмерное сканирование (3D сканирование) и визуализация всего слайда.

Вкратце упоминаются новые платформы, которые объединяют робототехнику, секционирование и визуализацию в своем стремлении оцифровать и автоматизировать весь рабочий процесс микроскопии.

Трехмерное сканирование — Введение

Биомедицинские практики использовали множество инструментов визуализации для измерения физиологических и фенотипических деталей. Многие из этих методов визуализации были в высокой степени ручными. И либо очень трудоемкими, либо слишком дорогими.

Например, в годы новаторской радиологической практики обычная рентгенография использовала трудоемкие химические процессы для создания пленочных изображений.

Сегодня у медицинских работников имеется большой арсенал передовых инструментов визуализации. Такие инструменты обработки изображений опираются на компьютерное зрение, алгоритмы и графику.

Методы визуализации, которые доминируют в биомедицинской области, включают ультразвуковую оценку, рентгеновскую компьютерную томографию (КТ), позитронно-эмиссионную томографию — КТ (ПЭТ-КТ) и магнитно-резонансную томографию (МРТ).

Эти методы способны создавать наборы двумерных (2D) изображений и трехмерных (3D) реконструкций для интерпретации. 3D-изображения обеспечивают лучший способ визуализации и точного измерения фенотипических характеристик пациента. [5, 6]

В контексте патологии методы объемного отображения и реконструкции сетки особенно привлекательны для исследования клинических образцов тканей. Трехмерная визуализация может также улучшить изучение процессов заболевания, особенно тех, которые связаны со структурными изменениями, и в которых важны пространственные отношения. [7, 8, 9]

В настоящее время не существует четкого «лучшего» метода трехмерной визуализации, особенно в отношении медицинской визуализации. Скорее, каждый из доступных методов включает компромиссы в размере изображения, точности и разрешении.

Таким образом, определение того, какое трехмерное сканирование является наиболее подходящим, часто зависит от исследуемого медицинского вопроса.

Здесь мы суммируем современные методы 3D-визуализации и 3D-сканирования с акцентом на методиках. Которые позволяют проводить 3D гистопатологическую реконструкцию. Таких как последовательное 2D-сканирование, трехмерное сканирование и визуализация всего слайда (WSI).

Обсуждаются новые платформы, которые объединяют робототехнику, секционирование и визуализацию с целью оцифровки, и автоматизации всего процесса микроскопии. Будущие применения современных и новых методов 3D-визуализации в контексте патологии также рассматриваются.

Трехмерное сканирование и трехмерное изображение

Важно рассмотреть семантические различия между 3D-изображениями и 3D-сканированием. В компьютерной науке «сканирование изображений», часто сокращаемое до простого «сканирования», описывает процесс, с помощью которого детектор пересекает объект, поверхность или часть тела и использует электромагнитное излучение (ЭМИ) для получения изображений и преобразования их в цифровой формат.

3D-сканеры обычно содержат датчики изображения, которые фиксируют свет, отраженный от объекта, в виде данных пикселей. В этом смысле изображение представляет собой двумерное расположение пикселей, которое часто соответствует разрешению датчика изображения.

Лазерная технология была впервые внедрена в 1960-х годах. После ее изобретения лазеры были соединены с датчиками изображения и использовались программным обеспечением компьютерного зрения для сегментации и реконструкции изображения.

Популярное использование термина «3D-сканер» обозначает определенный тип 3D-лазерного сканера, который опирается на неионизирующее ЭМИ, в первую очередь на видимый свет.

В отличие от этих 3D-сканеров, существуют другие 3D-устройства, которые используют высокочастотное (рентгеновское, ПЭТ-КТ) или низкое (радио-, ультразвуковое) ЭМИ.

Большая часть этого обзора посвящена 3D-сканерам первого типа, как определено выше, поскольку они становятся все более популярными, дешевыми и относительно простыми в использовании.

Однако, прежде чем перейти к 3D-сканерам, стоит рассмотреть более традиционные методы 3D-гистопатологического анализа, подобные тем, которые предлагаются платформами WSI. [10]

Трехмерное сканирование - Цельные слайд-изображения

Трехмерное сканирование — цельные слайд-изображения

Цельные слайд-изображения являются цифровым эквивалентом традиционных стеклянных слайдов и содержат изображения с высоким разрешением того же сканированного материала, что и стеклянные слайды.

В прошлом WSI в основном фокусировался на 2D-анализе за счет структурного 3D-анализа. В последнее время трехмерная реконструкция гистологических данных всего слайда продемонстрировала ценность в визуализации и диагностике заболевания.

Трехмерные гистопатологические изображения с высоким разрешением особенно полезны для обнаружения диагностических паттернов благодаря улучшенной корреляции между изображениями. методы, такие как МРТ, обычная КТ и WSI.

Процесс WSI начинается с создания серийных срезов ткани, смонтированных на предметном стекле, полученных с помощью традиционной или автоматической гистологии. Автоматизированные роботизированные микротомы, которые автоматически обрезают и срезают блоки, особенно полезны для трехмерной реконструкции срезов тканей.

Преимущества, обеспечиваемые автоматическим секционированием по сравнению с традиционным секционированием вручную, включают почти равномерную толщину секций, равномерную ориентацию секций (т.е. выравнивание ткани между секциями) и меньшее количество артефактов секционирования.

Все эти факторы облегчают интерполяцию структуры между разделами, в результате чего 3D-реконструкции с высокой точностью.

Серийные срезы обычно приобретают при толщине 4–6 мкм. Затем они устанавливаются на стеклянные горки. Хотя рекомендуется не менее пятидесяти секций, достигается оптимальная трехмерная реконструкция с минимум 100-200 последовательными секциями.

Такие срезы должны быть окрашены с использованием рутинных гистологических и/или иммуногистохимических методов. Далее, витражи необходимо оцифровать с помощью сканера WSI, чтобы сгенерировать серию цифровых изображений, каждое из которых соответствует разному уровню сканирования блока ткани.

Эти серийные цифровые изображения затем запускаются через коммерческое или специальное программное обеспечение для создания 3D-моделей. Примеры WSI-совместимого программного обеспечения для 3D-реконструкции включают Voloom (microDimensions, Мюнхен, Германия) и Image-Pro Premier 3D (Media Cybernetics, Rockville, MD, США).

В целом, программное обеспечение для 3D-реконструкции включает в себя следующие этапы: регистрация, сегментация, интерполяция и объемный рендеринг.

Трехмерное сканирование аденокарциномы легкого по серийным двумерным цельным слайдам. Изображения полных слайдов, полученные с помощью слайдов H и E, демонстрируются через имеющееся в продаже или специальное программное обеспечение для создания трехмерных моделей путем регистрации, сегментации, интерполяции и объемного рендеринга или серийных двумерных сечений.

3D-сканирование — лазерное сканирование

Трехмерное сканирование лазером, которое часто называют просто трехмерное сканирование, использовалось для реверс-инжиниринга и проверки деталей в обрабатывающей промышленности. А также в качестве цифрового актера, реквизита и съемочной площадки в индустрии визуальных эффектов.

Тем не менее, трехмерное сканирование, как и другие новые технологии, значительно сократили расходы на оборудование, сделав 3D-сканирование более доступным для более широкой аудитории. Трехмерное сканирование анализирует реальные объекты для сбора данных об их форме и цвете.

Данные, собранные со сканера, затем используются для построения трехмерной сетки, которая может быть напечатана с использованием различных методов аддитивного производства (3D-печати).

3D-модели, которые включают в себя 3D-сетки, лучше всего определять как «числовое описание (я) объекта, которое можно использовать для визуализации изображений объекта с произвольных точек обзора и при произвольных условиях освещения».

3D-сканирование — общая терминология

Трехмерное сканирование/оцифровка:

Процесс сбора трехмерных данных с физического объекта с помощью различных устройств сбора данных, таких как портативные устройства CMM, структурированные световые системы и лазерные системы

3D модель:

Числовое описание объекта, которое можно использовать для визуализации изображений объекта с произвольных точек зрения и при произвольных условиях освещения.

Точность:

Насколько точно каждая сгенерированная точка описывает предполагаемую точку на поверхности объекта

Центровка:

Процесс ориентации данных сканирования (или данных САПР) в логической системе координат X, Y, Z; это может быть использование известных базовых данных на детали/приспособлении или соответствующих функций, или наилучшее соответствие существующим трехмерным данным или САПР

CAD:

Использование компьютерных технологий для помощи в создании, анализе или модификации дизайна

Облако точек:

Набор точек, который выражает данные значений положения (X, Y и Z), интенсивности (I) и цвета (R, G и B) для сканируемых объектов

Полигональная сетка:

Полигональная сетка — это трехмерная модель, состоящая из многоугольных плоскостей, соединенных вместе для образования поверхности многообразия.

Разрешение:

В отношении 2D-изображений, разрешение относится к общему количеству пикселей в изображении; который только его длина умножается на его ширину, измеренную в пикселях

Всплытие:

Процесс генерирования данных САПР с использованием результатов трехмерного сканирования для математического описания геометрии поверхности детали или объекта

CMM: координатно-измерительная машина, CAD: автоматизированное проектирование, 3D: трехмерный, 2D: двумерный.

Трехмерная реконструкция

фигура 2a

Трехмерная реконструкция

Процесс трехмерной реконструкции для лазерных сканеров начинается с преобразования необработанных элементов данных в облака точек (или вершины) геометрических образцов с поверхности объекта, которые просматриваются и обрабатываются с помощью графических приложений.

Затем происходит процесс создания сетки, в результате которого вершины (точки) в облаке точек алгоритмически соединяются, образуя поверхность многообразия, называемую сеткой. Затем эта сетка обычно хранится в виде серии компонентов, которые определяют каждый многоугольник, составляющий его поверхность.

На этом этапе 3D-модель, которая обычно является полигональной сеткой, дополнительно уточняется с помощью одного из нескольких различных приложений для 3D-моделирования.

Затем изображения, называемые текстурами, отображаются на поверхности сетки для точного представления исходного цвета сканируемого объекта. Это достигается путем отображения каждой трехмерной координаты вершины на соответствующую координату в двухмерной параметрической (UV) плоскости.

В процессе рендеринга это UV-отображение используется для трансляции 2D-текстуры по 3D-поверхности модели.

Создание трехмерной модели конвейера через облака точек, сетки и текстуры.

Трехмерное сканирование — карты

(a) Для трехмерных сканеров процесс реконструкции начинается с преобразования необработанных элементов данных в облака точек геометрических образцов с поверхности объекта.

(b) Затем происходит процесс построения сетки, в результате чего точки алгоритмически соединяются, образуя поверхность многообразия, называемую сеткой.

(c) Затем УФ-картирование используется для трансляции и отображения двумерных изображений, называемых текстурами, на поверхность трехмерной полигональной сетки для точного представления исходного цвета сканируемого объекта.

Для многих 3D-сканеров требуется многократное сканирование для получения высокой точности и полного трехмерного представления сканируемого объекта.

Как правило, между сканированиями объект ориентируется вдоль другой оси, чтобы гарантировать, что облака точек получаются с максимально возможного количества различных направлений; это гарантирует, что информация получена со всех сторон объекта.

После получения нескольких сканирований отдельные сканы вводятся в общую систему отсчета посредством процесса, который обычно называют выравниванием или регистрацией. После регистрации сканов они объединяются для создания более полной трехмерной модели (т.е. более плотного облака точек).

Существует широкий спектр потенциальных подходов к 3D-сканированию, каждый из которых имеет свои преимущества и недостатки. В этом обзоре мы в основном фокусируемся на неразрушающих методах, при которых объект остается практически неизменным во время оцифровки.

Классификация метода трехмерной оцифровки.

Трехмерное сканирование попадает в широкие контактные и бесконтактные категории. Контактные трехмерные сканеры подразделяются на категории в зависимости от того, является ли метод сканирования деструктивным (т.е. сканирующей микроскопией с ножевым лезвием, сфокусированной ионно-лучевой сканирующей электронной микроскопией и т.д.).

Или неразрушающим процессом (т.е. координатно-измерительной машиной, шарнирные руки с энкодерами и т.д.). Бесконтактные трехмерные сканеры подразделяются по типу используемого электромагнитного излучения. В рамках бесконтактного сканирования на основе видимого света методы могут быть дополнительно разделены на устройства, которые излучают или поглощают излучение.

Трехмерное сканирование контактов

Платформа сканирующего микроскопа Mark I (3Scan, Inc.)

Трехмерное сканирование контактов

Контактное трехмерное сканирование зондирует объекты посредством физического прикосновения, обычно, когда объекты монтируются или укладываются на плоскую поверхность. Прикосновение контактного зонда к различным точкам на поверхности объекта приводит к сбору данных.

Этот метод сбора данных, как правило, более точен для определения геометрической формы объекта, а не органических форм свободной формы. Механизация на основе механического контакта также больше подходит для объектов с высокой отражающей способностью, зеркальных или прозрачных объектов, а также для объектов с труднодоступными участками.

Контактное трехмерное сканирование особенно полезно для промышленного реверс-инжиниринга, когда точность является наиболее важным фактором. Ограничения сканирования контактов включают относительно низкую скорость сканирования и необходимость физического контакта, который может изменить или навсегда повредить объект.

Как упоминалось выше, контактное трехмерное сканирование требует физического взаимодействия с объектом. Так что контактные 3D-сканеры далее делятся на один из двух подтипов: разрушительный и неразрушающий.

Неразрушающее трехмерное сканирование требует физического прикосновения. Но оставляет объект в значительной степени неповрежденным. Многие популярные коммерчески доступные 3D-сканеры, особенно те, которые используются для промышленного применения, относятся к неразрушающему типу.

Примером такого устройства может служить координатно-измерительная машина, которая обычно используется для реверс-инжиниринга, быстрого прототипирования и крупномасштабного контроля деталей.

Деструктивные сканеры, такие как автоматическая последовательная микроскопия с блочной гранью или серийная секция, производят объемные данные, последовательно удаляя мельчайшие слои материала, оцифровывая каждый слой по мере его обработки.

Процесс повторяется до тех пор, пока весь объект не будет полностью оцифрован и, таким образом, полностью уничтожен. Примеры деструктивного контактного сканирования включают сканирующую микроскопию с ножевой кромкой (KESM), микрооптическую серийную томографию, микроскопию легких листов, и сканирующая электронная микроскопия с фокусированным ионом (FIBSEM).

Эти платформы объединяют робототехнику, компьютерное зрение и передовую оптику для высокопроизводительной визуализации и вычислительного анализа.

Например, коммерческая платформа KESM компании 3Scan (Сан-Франциско, Калифорния, США) сочетает в себе автоматизированное сечение с помощью световой микроскопии для визуализации целых органов и больших объемов ткани со скоростями, в 1000 раз превышающими ручные гистологии.

Эти методы популярны среди исследователей в области медицины и здравоохранения, таких как коннектомия, где изображения высокого разрешения используются для создания структурных карт нервных связей.

Бесконтактное трехмерное сканирование

Бесконтактное трехмерное сканирование

Бесконтактные методы предлагают более быстрый и простой способ получения 3D-сканов. С 1980-х годов оптические (или световые) бесконтактные сканеры стали предпочтительным методом для определенных типов объектов.

Некоторые включают в себя крупные, произвольные, гибкие или хрупкие объекты, объекты с многочисленными функциями и объекты, в которых контакт зонда невозможен (например, редкие артефакты).

Оптическое бесконтактное трехмерное сканирование подразделяется на активный и пассивный подтипы.

Для обоих подтипов концепция более или менее одинакова. Свет отражается от поверхности объекта через массив линз, а затем на датчик изображения. Пассивные сканеры освещают объекты с использованием ненаправленного источника света, например, внешнего освещения.

Методы пассивного сканирования просты в настройке, имеют быстрое время измерения, а некоторые коммерческие версии обеспечивают автоматическое сопоставление поверхностей.

Напротив, активные сканеры используют источник направленного света, такой как лазеры и световые диаграммы. Компьютеры могут рассчитывать трехмерные координаты точек поверхности объекта, сравнивая изображение света объекта направленным светом с тем, что было бы зафиксировано в известных условиях (т.е. без объекта). Активное сканирование является более популярным методом.

Многие широко используемые бесконтактные активные 3D сканирующие микроскопы используют флуоресцентную визуализацию для обеспечения контраста. Конфокальная, многофотонная и световая микроскопия часто используется в исследовательских лабораториях для визуализации небольших образцов тканей на ограниченной глубине.

Фундаментальная проблема для доступных в настоящее время систем трехмерной флуоресцентной микроскопии заключается в необходимости визуализировать большие объемы ткани с высоким разрешением в разумные сроки.

Системы конфокальной и многофотонной микроскопии обеспечивают отличное разрешение и контраст, но могут быть слишком медленными для визуализации клинических образцов.

Например, недавнее исследование потребовало 30 часов для получения изображения одного образца биопсии почки. Световая микроскопия (рисунок ниже) обеспечивает превосходную скорость визуализации по сравнению с системами конфокальной и многофотонной микроскопии, сохраняя при этом хорошее разрешение.

Эти свойства микроскопии на легких листах привели к значительным исследованиям в области нейробиологии и биологии развития. Однако имеющиеся в продаже системы микроскопии на легких листах плохо подходят для визуализации больших клинических образцов, что является областью активной исследовательская работа.

Трехмерное световое микроскопическое изображение для измерения биопсии простаты (2 см в длину и 1 мм в диаметре). Образец биопсии был химически очищен с помощью 2,2-тиодиэтанола для обеспечения трехмерной визуализации, затем окрашен флуоресцентными красителями DRAQ5 (ядерный) и эозин (цитоплазматический).

Изготовленный на заказ световой микроскоп показал биопсию в трех измерениях. Общее время для осветления, окрашивания и визуализации составляло <20 мин. Ядерный и цитоплазматический каналы были окрашены в ложный цвет и визуализированы с использованием программного обеспечения Imaris.

Форматы файлов

После того, как объект «захвачен» 3D-сканером, он превращается в 3D-модель в процессе компьютерной реконструкции. Программное обеспечение для трехмерного моделирования и автоматизированного проектирования может быть использовано для дальнейшей модификации модели.

Существует три основных метода трехмерного моделирования: органическое моделирование, моделирование твердой поверхности и процедурное моделирование.

Эти модели затем форматируются в одном из многих типов файлов 3D, некоторые из которых совместимы с 3D-принтерами и коммерческими поставщиками 3D-печати. Важно отметить, что только несколько форматов файлов будут поддерживать полную гамму геометрии, цветов и текстур.

Например, формат стереолитографии (.stl), который, возможно, является самым популярным форматом 3D-файлов для 3D-печати, поддерживает только геометрические элементы.

Кроме того, многие широко используемые пакеты программного обеспечения для 3D-микроскопии, включая Vaa3D и ImageJ, используют форматы растровых изображений, такие как TIFF. Эти форматы растровых изображений намного дороже в вычислительном отношении, чем векторные форматы, перечисленные в таблице 4, и не ускоряются благодаря быстрому прогрессу в графических процессорах.

Трехмерное сканирование — практическое применение

Исследования и клиническая патология используют 3D реконструкцию целых изображений слайдов. Недавние клинические примеры включают классификацию аденокарцином легких, диагностику колоректальных патологий от небольших биопсий и метастазирование рака молочной железы в лимфатические узлы.

Другие применения включают анатомические и микроархитектурные особенности нормальной ткани, инвазию опухоли, рост экспрессия фактора и локализация терапевтических мишеней в отношении микроциркуляторного русла.

Восстановление целых слайд-изображений затруднено цифровыми артефактами, полученными при разрезании тканей и захвате изображений, несоответствием качества изображений и сложным процессом ручного разрезания тканей.

Сечение серийных тканей является наиболее значительным препятствием из-за трудоемкости, связанной с оптимизацией процесса выравнивания срезов тканей. Из-за этих ограничений необходим тщательный анализ затрат на выгоду при рассмотрении этого метода для научного исследования.

Трехмерное сканирование относительно распространено во многих немедицинских областях. Высококачественные коммерческие сканеры используются археологами и специалистами по сохранению для приобретения моделей останков, исторических артефактов и крупных раскопок.

Сектора аэрокосмической, машиностроительной и конструкторской инженерии полагаются на 3D-сканеры для документирования структурных размеров, мониторинга структурных деформаций. и для реверс-инжиниринга объектов.

Промышленное производство использует 3D-сканирование для обеспечения качества и инспекции. 3D-сканирование также является основной частью индустрии визуальных эффектов и игр более 20 лет.

В медицинской сфере трехмерное сканирование также используется по нескольким причинам. Включая моделирование сложных анатомических структур, планирование сложных хирургических операций. процедуры, изготовление медицинских изделий на заказ и диагностика редких заболеваний.

Однако трехмерное сканирование в настоящее время практически отсутствует при анатомической и клинической патологии. Исключением является его использование в судебно-медицинской экспертизе, для документирования конкретных травм и в качестве средства виртуального вскрытия.

Виртуальные вскрытия (виртопсии) обычно объединяют поверхностное (т.е. фотограмметрическое) и объемное (т.е. КТ или МРТ) сканирует как средство исследования умерших тканей в цифровой среде.

Недавние исследования использования 3D-печати в анатомической патологии привели к использованию 3D-сканеров для грубого захвата хирургического образца.

Трехмерное сканирование для автоматического захвата грубых хирургических образцов потенциально возможно для цифрового архивирования образцов (например, в лабораторной информационной системе), телепатологии, образования, судебно-медицинской документации и экспериментальных исследований.

Предположительно, трехмерное сканирование образцов грубой хирургической патологии может воспроизвести реалистичные модели патологических образований. Эти модели могут быть использованы в медицинской подготовке, клинических исследованиях, образовании и клинико-патологической корреляции на междисциплинарных конференциях.

Кроме того, трехмерное сканирование не должно ограничиваться макроуровнем. Разрушающее трехмерное сканирование целых блоков ткани с помощью KESM, серийной сканирующей электронной микроскопии лица и FIBSEM также может предоставить микроскопические и ультраструктурные трехмерные модели образцов пациентов.

Наборы данных с различным уровнем разрешения, от субмиллиметровых рентгенографических исследований до субмикронных патологических исследований, могут быть объединены и преобразованы в интегрированную, полностью всеобъемлющую трехмерную модель. Эти модели, несомненно, окажутся полезными для многих процессов, включая стадию опухоли.

Заключение

Трехмерное сканирование и 3D-изображения представляют собой прорывные технологии. Их широкий спектр применения имеет потенциал для расширения практики патологии.

Благодаря технологическим достижениям эти инструменты продолжают становиться дешевле, меньше, надежнее и проще в использовании. Будущие 3D-сканеры выиграют от значительного увеличения скорости сканирования.

В настоящее время низкие скорости сканирования представляют собой серьезное техническое узкое место для многих недорогих настольных и портативных 3D-сканеров.

Недавно описали инновационный метод 3D-сканирования с использованием высококачественного глубинного зондирования с поляризационными сигналами. Их результаты позволяют создавать трехмерные изображения с высоким разрешением только из небольшого числа двумерных изображений, сделанных камерами с поляризованными линзами.

Кроме того, разрешение изображений, получаемых с помощью этой формы 3D-сканирования, намного выше, чем разрешение, полученное с помощью высокоточных лазерных сканеров. В то время как они все еще в разработке, методы как поляризованное трехмерное сканирование неизбежно приведут к появлению трехмерных моделей с более высоким разрешением, которые могут быть получены быстро и рентабельно.

Связанные технологии также материализованы и готовы существенно изменить наше представление о трехмерных данных и взаимодействие с ними. Главными среди них являются носимые гарнитуры и контроллеры виртуальной и дополненной реальности (например, Oculus rift, HoloLens).

Ссылки на авторов можете найти здесь.

Информация об авторах статьи соответствует закону об авторских правах и лицензии «Отказ от ответственности».

Все новости в наших группах: вконтакте, twitter, facebook