Новые методы микроскопии, например, визуализация живых клеток, слайд-сканирование, высококонтрастный скрининг и трехмерная электронная микроскопия генерируют огромные объемы данных. 

Для их обработки, зачастую в real-time режиме, нужны специфические системы, которые поддерживают автоматизацию на всех уровнях работы. В продолжении рассказываем о том, как микроскопы стали умными и избавили человека от рутинных задач — и не только в медицине. Данные предоставил CEO Celly.AI Ансар Жалялов.

Как все начиналось 

В начале XVII века Галилео Галилей, манипулируя вы­пуклой и вогнутой лин­зами, заметил, что в телескоп можно рассматривать в уве­личенном виде не только удаленные, но и близкие объекты небольшого размера. Уже в 1620 году Корнелиус Дреббель изобрел первый составной микроскоп. Спустя полвека — в 1670-х годах — Антони ван Левенгук начал экспериментировать с однообъективными микроскопами с очень большим увеличением, причем конструировал он их сам. Главным элементом в его микроскопах были особенным образом отполированные линзы.

Спустя более чем три века микроскопия стала обширной областью, применяемой во многих направлениях: от промышленности до медицины. В наше время микроскопы становятся все более “умными”, это уже не просто оптическая, а компьютерно-оптическая система. Рост автоматизации, смена парадигмы на Индустрию 4.0 сыграли важную роль в трансформации устройства микроскопов: производители оборудования, чтобы сохранить за собой конкурентное преимущество, вынуждены быстро внедрять инновации с использованием все более интеллектуальных систем.

Почему микроскопы важны в промышленности и как их сделать умными

Цифровые микроскопы, разработанные еще в середине 1980-х годов, сегодня по-прежнему популярны для медицинских исследовани. Также их используют  для общего контроля и обеспечения качества продукции на промышленных линиях. Цифровая микроскопия уже превратила оптические микроскопы в цифровые-системы, которые  поддерживают широкий спектр функций: от совместного использования изображений до их анализа и измерения объектов.

Возможности разных цифровых оптических систем зависит от отрасли, где их планируют использовать. Так производитель цифровых систем контроля сверхвысокой четкости INSPECTIS внедрил в свои микроскопы запись видео в качестве 4K. Возможность отслеживать весь процесс наблюдения и записывать его, в том числе, для того, чтобы обеспечить безопасность, востребовано в фармпромышленности и в сфере разработки медицинских технологий.

Еще одно типичное применение цифровых микроскопов, но уже в электронном бизнесе, — автоматизированный оптический контроль качества печатной платы — AOI. Если AOI обнаруживает неисправность, система также выявляет и причину произошедшего. Но несмотря на это, мнение оператора все равно потребуется: только человек пока что способен понять, связана ли неисправность в плате с неправильным температурным режимом или некачественным процессом пайки. ИИ здесь выполняет роль помощника. 

Микроскопы, позволяющие реконструировать поверхности и определять недочеты

Появившиеся в 80-х годах трехмерные оптические микроскопы, в том числе профилометры для измерения микрошероховатостей на прецизионных поверхностях, продолжают развиваться и сейчас. Bruker, производитель научных инструментов, является одним из лидеров отрасли в этой области: в 2018 году компания приобрела Alicona, поставщика оптических метрологических решений.

Именно Alicona разработала новую технологию для трехмерных оптических микроскопов. Речь идет о вариации фокуса, которая позволяет вычислить изображение повышенной резкости и измеряет глубину неровностей с помощью оптики с очень ограниченной глубиной резкости. Так, оптический профилограф Contour LS-K 3D дает возможность получать изображения с высоким разрешением, предоставляя исследователю поддающиеся  количественной оценке данные. 

Это важно для OEM-производителей, которым требуются измерения с более высокой частотой кадров и более высокая пропускная способность для повышения точности и контроля качества. Здесь вступают в игру автоматизация и самонастраивающиеся системы, в которые встроены самоадаптирующиеся алгоритмы. Система выполняет измерения на поверхности, а затем на основе имеющихся у нее критериев для анализа частот и амплитуд решает, какой алгоритм лучше всего использовать для воссоздания топографии поверхности.

Инженеры заставляют менять подход к микроскопии

Умное управление данными стало частью микроскопии — в этом направлении развиваются такие компании, как ZEISS. Производитель повышает интеллектуальность систем промышленных микроскопов, чтобы получать наилучшие результаты вне зависимости от человеческого фактора, т.е. оператора. Это необходимо для современного обеспечения контроля качества там, где производительность и надежность данных являются ключевым. В ZEISS тоже уверены, что место оператора умные алгоритмы пока не займут. Вместо этого люди начнут более гибко использовать автоматизированные системы. 

Диджитал-микроскопист: что делают умные системы в медицине

Машинное обучение, которое сегодня производители микроскопов используют для сегментации изображений, находит применение не только в промышленности —  анализ отказов и контроль качества. Используются эти технологии и в медицине, где они уже стали важной частью автоматизации обработки лабораторных анализов, создания массивов данных и освобождения медперсонала от рутинных процессов.

В задачи современного микроскописта входит не только подсчет тех или иных клеток на взятой у пациента пробе, но и целый спектр вопросов, требующих внимательности и усидчивости. В первую очередь это правильное определение типов клеток, предварительная интерпретация результатов и передача данных медицинскому специалисту, в чьи компетенции уже входит постановка диагноза и дальнейшее лечение пациента.

Умная технология от Celly.AI, в основе которой лежит компьютерное зрение и машинное обучение, решает эти задачи. За врачом остается только контроль и решение неординарных задач, связанных с аномалиями. Дело в том, что обучить ИИ-системы для выявления всех аномалий пока сложно. Тем не менее, сделать это все же можно — алгоритм просто добавит необычный случай в свой датасет для обучения и будет в дальнейшем учитывать этот кейс. Разметку первичных данных проводит как раз медик-человек. 

С помощью анализа изображений с применением сверточных нейронных сетей система автоматически определяет типы клеток ткани, их количество и фактически выполняет за микроскописта все его повседневные задачи. Чтобы упростить внедрение инноваций в такую консервативную отрасль, как медицина, компания предложила достаточно элегантное решение - к окуляру микроскопа, при помощи линзы-адаптера, подключается iPhone. iOS приложение, при помощи нейросетей анализирует картину мазка в режиме реального времени. Результаты исследования автоматически загружаются в облачный сервис, что позволяет моментально поделиться данными с коллегами, запросить их консультацию и обеспечить доступность медицинских услуг для удаленных географических локаций.

Есть и другие полезные разработки в этой сфере. Так, исследователи из Японии разработали автоматизированную компьютерную программу, которая может точно и воспроизводимо подсчитывать количество микроядер клеток тканей на окрашенных изображениях. Микроядра — это небольшие ядерные структуры, которые являются маркерами таких патологий, как, например, рак. Модель, которую назвали CAMDi (Calculating Automatic Micronuclei Distinction), способна подсчитывать микроядра, несмотря на их относительно маленький размер. 

Автоматические системы прежнего поколения традиционно использовали изображения, полученные только с одного уровня ткани. Чтобы понять, почему это важно, представьте, что шар, закрепленный в пространстве, разрезается в поперечном сечении. Если разрезать его ближе к верхней или нижней части, размер поперечного сечения будет намного меньше, чем если бы вы выбрали срез ближе к центру, поэтому при поперечном сечении, выполненном близко к периферии шара, ядро можно легко принять за микроядро. Чтобы решить эту проблему, исследователи из Университета Цукубы сделали фотографии на разных уровнях и создали программу, способную анализировать полученную трехмерную информацию.

Совместная команда исследователей из Оксфорда и Уорикского университета разработала метод, позволяющий лучше понять и оценить  плеоморфизм вирусов. Разработка шла в условиях пандемии, чтобы помочь в исследованиях коронавируса.

К сожалению, электронная микроскопия до сих пор слишком дорогая и медленная для масштабного использования в подобных исследований, поэтому ученые создали методику высокопроизводительной визуализации нитчатых вирионов, объединив микроскопию прямой стохастической оптической реконструкции (dSTORM). Это метод с разрешением менее 20 нм. Плюс исследователи разработали и программное обеспечение для быстрого автоматического анализа, позволяющее идентифицировать и анализировать тысячи вирионов. 

Главные преимущества нейросетевых алгоритмов — то, что они могут бесконечно работать, анализировать тысячи снимков и одновременно самообучаться. Это исключает человеческий фактор, который может быть связан как с некомпетентностью, так и с обычной усталостью или невнимательностью микроскописта. Но задачи, которые не входят в долю рутинных, полностью отдать на отработку ИИ тоже нельзя. В этом случае функционал экосистемы цифровой микроскопии позволяет сделать работу с ними максимально удобной и эффективной: удаленный доступ к информации и ее обработка и предоставление данных в удобном для восприятия визуальном виде делают умные системы незаменимым помощником для микроскописта.