В 2020 году я опубликовал  здесь статью, в которой описал свой советский растровый микроскоп МРЭМ-200  1987 года выпуска. Мне было приятно, что статья вызвала большой интерес и помогла мне познакомиться с  людьми со схожими увлечениями.

За прошедшие годы микроскоп подвергся нескольким модернизациям, об одной из которых хочется рассказать. В 80-е годы  изображения с  мониторов микроскопа фиксировались для дальнейшего изучения и сохранения с помощью пленочного фотоаппарата. Для этого в комплекте с микроскопом шла специальная тубусная приставка, фиксирующаяся на мониторе. В третьем тысячелетии  мне хотелось, конечно, уже иметь компьютерный захват картинки, как в современных растровых микроскопах. В начале я пошел по самому простому пути: стал использовать цифровой фотоаппарат Canon вместо пленочного  фотоаппарата. Поскольку построение изображения в максимальном разрешении длится 41 секунду, мне пришлось перепрошить  фотоаппарат на такую длительную выдержку. Работа  с микроскопом  сразу стала комфортней, но  я понимал, что  есть еще  к чему стремиться.

В декабре 2022 года в Телеграмме я познакомился  с еще одним владельцем микроскопа МРЭМ-200. В  этой статье я буду, называть этого человека, по его просьбе, «Владелец МРЭМ-200 из Москвы, пожелавший остаться анонимным».  Он  решил проблему прямого компьютерного захвата, использовав  видео с youtube (https://www.youtube.com/watch?v=ruuxn2u3yao) известного  американского популяризатора науки Бена Краснова (Ben Krasnow). «Владелец МРЭМ-200 из Москвы, пожелавший остаться анонимным» творчески переработал информацию Бена Краснова, адаптировал софт под технические особенности  своего микроскопа  и  любезно поделился со мной этим софтом. У меня появилась программа, которая замечательно строила и сохраняла изображение на экране компьютера синхронно с изображением на родных мониторах микроскопа. Между компьютером и микроскопом добавился отдельный модуль согласования, в котором помещался АЦП с выходом USB и операционные усилители с регулировкой коэффициента усиления:

Фотография микроскопа в комплекте с ноутбуком и модулем согласования:

Однако данная программа  не обладала всеми необходимыми мне функциями.   Хотелось, чтобы при сохранении изображения в него еще добавлялись служебные данные и масштабный отрезок, пропорциональный выбранному увеличению. Эту проблему мне помог решить Boris  с Телеграмма,  которому  удалось усовершенствовать  программу построения картинки, расширив ее  функцией добавления служебной информации. За объект подражания я предложил  использовать  ему  изображения с растрового микроскопа Феном. В итоге удобство работы с микроскопом вышло на новый уровень, о котором я мечтал с 2019 года.

При всех плюсах внедренной технологии, к сожалению, качество получаемых изображении не дотягивало еще до качества картинок современных микроскопов. В частности был заметен легкий шум на изображении, который выглядел как микроскопическая пыль. Этот шум можно  объяснить  собственными шумами электронного пучка, сканирующего образец, шумом сцинтиллятора и шумом ФЭУ с усилителем. Анализ доступной информации подтолкнул к выводу, что во всех современных микроскопах изображение подвергается компьютерной обработке, снижающей шум различными способами.  В современных микроскопах применяются также алгоритмы улучшения резкости краев объектов на изображении. Поэтому  мною  было принято решение добавить в программу функции очистки изображения от шумов и повышения резкости краев объектов.

На этом этапе  я работал  со студентом 2 курса нашего физико- технического факультета Азаматом Хамикоевым. Новые функции  добавлялись постепенно, по мере возникновения необходимости и в соответствии с полетом фантазии. Все добавленные функции работают при построении изображения в режиме реального времени  (не постобработка). В основу алгоритмов очистки изображения от шумов с помощью среднего арифметического и медианного фильтра, а также алгоритмов повышения четкости краев объектов были положены матрицы свертки 3х3.

Для данной статьи была специально сделана серия снимков одного образца с применением всех возможных доступных режимов обработки с целью сравнения снимков между собой. В качестве образца фотографировался DMD чип от видеопроектора (микрозеркальная матрица DLP технологии).  Здесь  представлено  исходное  изображение:

Тот же образец, но с включенным режимом очистки от шума  с помощью  среднего арифметического матрицы 3х3 пикселя:

Тот же образец, но с включенным режимом очистки от шума   с помощью медианного фильтра  матрицы 3х3 пикселя. Медианная фильтрация идет в режиме реального времени. Для этого был реализован оригинальный алгоритм быстрого нахождения медианного значения из матрицы 3х3:

Программа позволяет одновременно использовать фильтры очистки от шума и повышения четкости краев объектов. Результат совместного действия среднего арифметического и повышения четкости краев:

Результат совместной работы медианного фильтра и повышения резкости:

Родная аналоговая электроника МРЭМ-200 позволяла получать изображения в псевдообъеме  с помощью   так называемой Y-модуляции. Такой режим тоже был введен, но расширен возможностью изменения коэффициентов делителей для изменения амплитуды, причем в двух вариантах: построение из точек (строка с разрывами):

и построение из отрезков (строка без разрывов).

Далее в программу была добавлена функция преобразования черно-белого изображения в градациях яркости в цветное  изображение, где черному соответствует синий цвет, а белому красный (с промежуточными цветами):

На следующем этапе работы были объединены цветность и Y-модуляция  и получена цветная Y-модуляцию  из  точек:

и из отрезков:

Для удобства работы в режимах с быстрой разверткой появилась функция цифрового увеличения.В результате введения всех перечисленных функций с включением их соответствующими кнопками появился целый ворох бумаг, на которых было отмечено, какая кнопка за что отвечает. И не всегда было понятно, что включено в данный момент. Кроме того некоторые функции не сочетались одновременно друг с другом. Логическим выходом из сложившейся ситуации стало дополнение программы  экранным меню, вызываемым правой кнопкой мыши  и   управляемым левой кнопкой мыши. В меню включенные функции обозначаются изменением цвета соответствующих кнопок. Программа блокирует также одновременное включение несочетаемых между собой режимов, самостоятельно выключая ненужное. Окно работы программы в режиме цифрового увеличения и с вызванным меню:

Итак, в результате коллективного творчества функционал старого советского микроскопа поднялся на более высокий уровень. Предвосхищая вопросы внимательных читателей о назначении блока с кнопками, энкодером и двумя экранами под ноутбуком на первом фото, хочу сразу ответить, что это -  цифровой блок управления магнитной оптикой колонны. С ним микроскоп последнее время и работает. Но об  этом блоке речь пойдет в другой раз.

В качестве заключения хотелось бы показать фотографию из инструкции от растрового микроскопа МРЭМ – 100. Это старшая модель МРЭМ-200. Уже давно ищу такой микроскоп, но пока безуспешно. От всех выпущенных экземпляров до наших дней дошла только эта фотография…….

МРЭМ - 100. Фото из инструкции к микроскопу
МРЭМ - 100. Фото из инструкции к микроскопу

Комментарии (15)


  1. nikolz
    13.04.2024 11:26
    +2

    "Между компьютером и микроскопом добавился отдельный модуль согласования, в котором помещался АЦП с выходом USB и операционные усилители с регулировкой коэффициента усиления"

    Может надо было этот блок переделать для повышения качества. Если не секрет, как Вы пришли к выводу, что причина в шумах самого микроскопа?Вы измеряли эти шумы? Какой уровень шума Вашего модуля c к.з. на входе?Вы измеряли? Какое железо в модуле преобразования у Вас, если не секрет?

    --------------------

    Фильтр у Вас должен размывать границы, а они не меняются. Да и картинка первая практически не отличается от второй.


    1. FIZIK-TECHNIK Автор
      13.04.2024 11:26

      Преобразователь АЦП это TEENSY LC DEV 13305. Если не вдаваться в осциллограммы, то визуально шумы на родном мониторе микроскопа, где первичный аналоговый сигнал, практически идентичны шумам на экране ноутбука. Если выключить питание ФЭУ, (то есть вообще убрать входной сигнал) то на ноутбуке просто равномерный серый прямоугольник.


      1. nikolz
        13.04.2024 11:26
        +4

        Вот параметры Вашего модуля.

        32 bit ARM Cortex-M0+ 48 MHz CPU • 62kB Flash Memory, 8kB RAM, 1/8(emu)kB EEPROM • 13 High Resolution Analog Inputs • 27 Digital I/O Pins (NOT 5V Tolerant) • 10 PWM outputs • 7 Timers for intervals/delays, separate from PWM • 3 UARTs (serial ports) • SPI, I2C, & I2S • I2S (for high quality audio interface) • 4 Lightweight DMA channels • Touch Sensor Inputs

        https://radioskot.ru/publ/mk/teensy-lc-alternativa-arduino

        https://www.lcsc.com/datasheet/lcsc_datasheet_NXP-Semicon-MKL26Z128VFT4_C80835.pdf

        У Вас АЦП в модуле вроде бы 16 бит. Не для всех каналов. При не симметричном вводе разрешение 12 бит.

        Но интегрированные в SOC АЦП обычно очень шумят.

        Хорошо бы посмотреть сколько бит шума при отключенном микроскопе. Тогда можно решить что шумит.

        Применяемые Вами фильтры удаляют шум, но не повышают разрешение, а наоборот ухудшают. Вы контрастность увеличили, а разрешение ухудшили. Вы этого добивались?

        А какая у Вас частота дискретизации и как Вы ее выбрали по характеристикам ФЭУ? Если Вам важно разрешение микроскопа, то надо определить причину шума в железе и улучшать его. Возможно шумят блоки питания в микроскопе ну и т д.

        вот из документации реальное разрешение АЦП


  1. nikolz
    13.04.2024 11:26

    Этот микроскоп имеет максимальное увеличение 50 тысяч. У Вас на фото всего 3 тысячи.

    Вы ставите программные фильтры на разрешении в 15 раз хуже, чем может микроскоп, т е делаете еще хуже.

    Фактически превращая электронный микроскоп в оптический. Оно того стоит?


    1. Vsevo10d
      13.04.2024 11:26

      Не, ну насчёт 3000 и оптического вы моросите, в беалогии на 16×х окулярах объектив у вас будет максимум сотка, и даже в цейсовских за полтора ляма светосила у вас будет в дупе, она кончается раньше дифракционного предела.


      1. nikolz
        13.04.2024 11:26
        +2

        Но согласитесь, что 3тысячи это далеко не 50 тысяч.

        В документации на этот микроскоп указано, что можно получить увеличение 50000 , изображение 1024x1024, разрешение 10 nm. В статье же получено увеличение 3000 и затем крайнем по уровню шума сделан ФЭУ. А вещь интересная.


        1. FIZIK-TECHNIK Автор
          13.04.2024 11:26

          ФЭУ стоит Hamamatsu то растрового Хитачи. Родной ФЭУ 71 снят.


    1. FIZIK-TECHNIK Автор
      13.04.2024 11:26
      +1

      В данном случае я не ставил целью кого-то удивить разрешающей способностью. Статья совсем не про это. Я просто показал возможности самостоятельно разработанной программы на примере DMD чипа. Указанные Вами 50 000 крат это вообще предельное увеличение. Но бесполезное для детализации. Нужное в основном для точной подстройки фокуса и астигматизма. Максимальное эффективное в районе 10000-15000 крат. Это когда точки сканирования ложатся без пропусков и перекрытий на области сканирования. Если посмотреть характеристики современных микроскопов там может быть указано максимальное увеличение и 1 000 000. Но эффективное будет в районе 300 000. Дальше делается крупнее, но не добавляется детализация. Типа цифрового зума. Вообще растровый микроскоп не всегда используется на максималках. Иногда нужно воспользоваться его большой глубиной фокуса (в 200 - 300 раз больше чем у оптики при сопоставимых увеличениях) для получения хорошей объемной картинки.


      1. reactos
        13.04.2024 11:26
        +1

        Было бы здорово добавить не усреднение 3х3 на одном кадре, а усреднение по кадрам, таким образом можно было бы повысить соотношение сигнал/шум без потери разрешения. Но они и так должны убираться при снижении частоты кадров

        P.S. Ниже уже написано про это


        1. FIZIK-TECHNIK Автор
          13.04.2024 11:26

          Алексей, спасибо что заглянули сюда)))) К сожалению, усреднение по кадрам сделать "малой кровью" не получится. Управление разверткой родное (аналоговое). Из-за это идущие друг за другом кадры пиксель в пиксель не попадают. Есть небольшие отклонения. Я над этим думаю. Но это уже на новом этапе, когда цифровую развертку разработаю и поставлю.


          1. reactos
            13.04.2024 11:26

            Я от корки до корки этот пост прочитал, все фото сравнил, проникся крутостью блока управления электронной оптикой )

            А вот насчёт усреднения по кадрам - да, я не учёл этот момент. Сам ещё не пробовал, но мне казалось, что у меня довольно повторяемо кадры сканируются в джеоле. На досуге ещё попробую поэкспериментировать!


  1. Javian
    13.04.2024 11:26

    Прикрутить бы к нему фильтры от VirtualDub.

    PS Расшифрую: шумы динамические, картинка статическая - это как раз и обрабатывают видеофильтры.


  1. AndreyDmitriev
    13.04.2024 11:26
    +7

    Я не работал с таким микроскопом, но работаю с зашумлёнными рентгеновскими изображениями, и первое, что там делается для увеличения соотношения сигнал/шум — это интегрирование (усреднение) по нескольким изображениям. То есть вместо одного изображения, которое вы снимаете 40 секунд, вы набираете пятнадцать штук, так что одна "фотография" будет сниматься 10 минут, а потом складываете их вместе попиксельно и делите на количество. Обычно выбирают степени двойки — 2, 4 ,8 ,16, 32, чтобы делить сдвигом, так быстрее (хотя современному компу при таких размерах изображений и обычное деление норм). Это позволяет достичь очень хороших результатов, при условии, что все усредняемые картинки сделаны без смещений, конечно (а если и так, то можно попытаться это дело перед усреднением скомпенсировать). Из моей практики — усреднение до 64 картинок имеет смысл, дальше разница гомеопатическая, но скажем между одной и шестнадцатью картиками — отличие очень велико. Ну а алгоритмы используются только когда по каким-то причинам мы не можем усреднять, либо усреднения недотаточно (деталь в движении, требования по скорости захвата и т.д.). Из алгоритмов — понижение шума вейвлетами может дать неплохие результаты.


  1. marfin_alexander
    13.04.2024 11:26
    +1

    Очень интересно! А какие параметры вакуума?может вакуум недостаточно хорош, или напыление? Чем напыляете? Или смотрите токопроводящие образцы? Я работал в свое время на Tescan, смотрел геологические образцы. От поверхности тоже может идти заряд.


    1. FIZIK-TECHNIK Автор
      13.04.2024 11:26

      Образцы смотрю разные. Какие придет в голову или какие принесут))))) Бывают злостные с практически неубиваемой подзарядкой. В особо интересных случаях напыляю золото.