Альфа- и бета-тестирование — это разновидности внешнего пользовательского тестирования нового продукта, в нашем случае — версии. Если о бета-тестировании многие знают, т.к. оно ежегодно проводится для всех желающих в открытом формате, то про «альфу» известно не так много. О нем мы и расскажем подробнее.

Сразу после официального релиза КОМПАС-3D начинается работа над следующей версией продукта. Каждый квартал выходят технические релизы для внутренних пользователей. Есть функциональность, которая реализуется в течение квартала и соответственно попадает, например, в первый технический релиз. Другая же пишется в течение более длительного времени. Первая версия, обладающая всей функциональностью, которая была запланирована на текущий год, и есть альфа-версия.

Что из себя представляет альфа-тестирование?

Альфа-тестирование проводится в городе Коломна. Это место имеет историческое значение для компании АСКОН. Здесь базируется центр разработки КОМПАС, где размещаются аналитики, программисты, специалисты по тестированию и технической поддержке. Именно в Коломне «родился» КОМПАС и продолжает разрабатываться до сих пор.

В этом году прошло уже шестое альфа-тестирование. А первое полноценное пользовательское альфа-тестирование КОМПАС-3D мы провели в 2017 году, перед выходом 17-й версии, в которой кардинально изменился интерфейс системы. Именно смена интерфейса и проверка работы с ним стали отправной точкой для запуска пользовательского тестирования.

Вернемся в наш центр разработки. Для каждого участника альфа-тестирования подготовлено отдельное рабочее место. Места унифицированы: это компьютеры с КОМПАС-3D v22 Alpha, двумя мониторами, клавиатурой и мышью. Здесь им предстоит работать в течение двух следующих дней.

О внешней стороне альфа-тестирования мы выпускаем новость, и видеорепортаж. Но в этой статье больше расскажем о внутренней кухне мероприятия.

За каждым участником тестирования закрепляется аналитик от команды разработки. Мы называем это методикой «напарничества». В ходе тестирования аналитики отслеживают действия и реакции пользователей в режиме реального времени, фиксируют все сложные моменты при взаимодействии с системой и возникающие ошибки. Аналитик - это специалист, который ставит задачи разработчикам. Он - связующее звено между пользователем, который сделал запрос в ServiceDESK (Техническая поддержка АСКОН), и программистом, который пишет программный код. Поэтому именно аналитик обладает тайными знаниями о том, как должна работать та или иная команда и для чего она предназначена.

«Вылавливание» ошибок на этапе альфа-тестирования - не первоочередная задача, найти ошибку — это скорее бонус. Нас в первую очередь интересует впечатление о выпускаемой версии и ее функциональности. Для примера: в этом году было реализовано приложение, позволяющее создавать покрытие на деталях и сборочных единицах — это хорошо, скажете вы, но наши тестировщики вместо бурных оваций тут же спросили, как выдернуть информацию по покрытиям для того, чтобы уложить ее в PLM. И нет, мы не расстроились, наоборот - мы благодарны именно такой реакции. Без грамотной пользовательской обратной связи сложно вносить изменения в продукт. Во время тестирования того же приложения было замечено, что толщина слоя покрытия не измеряется в миллиметрах, единицей измерения покрытий являются микрометры, что естественно сразу было зафиксировано аналитиками по данному направлению.

Программа и сценарий альфа-тестирования

Для того чтобы успеть в сжатые сроки протестировать все основные новинки версии, аналитики разрабатывают программу тестирования. В этом году в ней было сформировано 14 тем. Количество тем не отражает количество выпускаемых новинок, потому что они могут объединять ряд новинок, связанных между собой как функционально, так и по логике применения.

Каждая тема - это отдельный раздел, состоящий из:

• краткого описания реализованной новинки;

• примерной последовательности действий пользователя;

• вопросов для сбора обратной связи.

Вот так выглядит сценарий на одну из тем программы тестирования КОМПАС-3D v22:

Покрытия

Время на выполнение 25 мин + 5 минут на свободное ознакомление.

Новые возможности:

• создано приложение, позволяющее добавлять в 3D-модель детали или сборки информацию о покрытии, эта информация может быть получена другими системами, участвующими в цепи автоматизации проектирования изделия;

• команда «Покрытие защитное» позволяет назначать на детали, сборочные единицы или отдельные грани одно или нескольких взаимозаменяемых видов покрытий из каталога «Покрытия» ПОЛИНОМ:MDM;

• команда «Покрытие лакокрасочное» позволяет назначать на детали, сборочные единицы или отдельные грани одно или нескольких последовательно применяемых видов покрытий из каталога «Лаки и краски» ПОЛИНОМ:MDM.

Команды приложения «Покрытия» для тестирования (выделены красным):

Задачи тестирования

Задача 1. Выполнить нанесение защитного покрытия на 3D-модель сборки «2010-00_Рама.a3d».

Рекомендации:

Использовать фильтр по телам или указание в дереве для задания покрытий отдельным деталям или сборкам. Пример модели до нанесения покрытия и после:

Сценарии нанесения защитного покрытия:

1. Откройте сборку 2010-00_Рама.a3d.

2. Выберите на ленте панель «Покрытия».

3. Запустите команду «Покрытие защитное».

4. Выберите объекты «Все тела» и «Все компоненты» (используйте Дерево ЛКМ на Компоненты и на тела).

5. Добавьте в набор два покрытия + (Ц6. хр.бцв УЭ1 — в Цинковое с бесцветным хроматированием и Ц6 УЭ1 — Цинковое).

6. Задайте плотность 0,0071 г/мм3 каждому покрытию.

7. Включите опцию «Исключить контактные площадки» (обратите внимание, что изменилась площадь покрытия и масса).

8. Включите опцию «Отобразить линию выноску», в поле текст написать «Покрыть полностью, кроме резьбовых отверстий», задать другую Базовую плоскость — Плоскость ZX (зеленая).

9. Примените покрытие.

10. Проверьте, появилось ли покрытие в дереве модели (сверху).

Задача 2. Выполнить нанесение лакокрасочного покрытия на 3D-модель сборки «2010-00_Рама.a3d».

Рекомендации

Использовать фильтр по телам или указание в дереве для задания покрытий отдельным деталям или сборкам. Пример модели до нанесения покрытия и после:

Сценарии нанесения лакокрасочного покрытия:

1. В той же сборке перейдите к исполнению 2010-00-01 Рама (ПКМ на голове сборки в дереве - Текущее исполнение - 2010-00-01 Рама).

2. Запустите команду «Покрытие лакокрасочное».

3. Выберите результат «Непокрытые».

4. Выберите объекты «Все компоненты» (используйте Дерево ЛКМ на Компоненты).

5. Добавьте в набор два покрытия + (Грунтовка АК-069 ГОСТ 25718-83 — в Акриловые (АК) и Эмаль АС-182 ГОСТ 19024-79 — Алкидно-стирольные (АС,МС)).

6. Задайте плотность грунтовки 0,0013 г/мм3 и эмали 0,0015 г/мм3 и толщины покрытий.

7. Примените покрытие.

8. Запустите команду «Покрытие лакокрасочное» еще раз.

9. Не меняйте результат, оставьте «Покрытые».

10. Выберите объекты «Все компоненты» (используйте Дерево ЛКМ на Компоненты).

11. Добавьте в набор два покрытия + (Грунтовка АК-069 ГОСТ 25718-83 — в Акриловые (АК) и Эмаль ПФ-19М ТУ 6-10-1294-87 — Алкидные (ПФ, ГФ)).

12. Задайте плотность грунтовки 0,0013 г/мм3 и эмали 0,0015 г/мм3 и толщины покрытий.

13. Измените цвет покрытия и примените покрытие.

14. Проверьте, появилось ли покрытие в дереве модели, вернитесь к нулевому исполнению.

Опрос

1. Встречали ли Вы в других САПР нанесение покрытий на 3D-модель?

2. Есть ли необходимость в нанесении покрытий в 3D?

3. Поделитесь впечатлением о функциональности.

По аналогичному принципу мы построили и программу бета-тестирования.

По итогам прохождения каждой темы делается небольшая пауза, и все альфа-тестировщики делятся своими впечатлениями о тестируемой функциональности. В этот момент мы слышим не только положительные отзывы. Например, в этом году в тестировании приняли участие пользователи, которые в своей профессиональной деятельности используют тяжёлые иностранные САПР, поэтому обратная связь содержала много сравнений.

В конце второго дня участники альфа-тестирования делятся общей оценкой о протестированной функциональности, составляя условный рейтинг “интересных” новинок.

Кроме работы по сценарию на «альфе» есть возможность пообщаться с сотрудниками АСКОН на интересующие пользователя темы. Представители предприятий, которые посещали альфа-тестирование, не раз подчеркивали важность таких контактов, когда они могут задать любой вопрос напрямую разработчику. Также каждый год мы приглашаем на «альфу» представителя сообщества из телеграм-чата КОМПАС. Это делегат, которого выбрали сами пользователи. Ему поручают особую задачу: не просто принять участие в тестировании, но и передать разработчикам собранные в чате вопросы пользователей.

К тестированию мы стараемся подготовиться не только с точки зрения программного продукта, но и технологически. Например, одной из новинок 21-й версии было добавление полигонального объекта. Чаще всего такие объекты формируются с помощью 3D-сканирования. Поэтому на альфа-тестировании v21 был создан стенд с 3D-сканером от компании Rangevision для сканирования модели и проверки корректной загрузки в КОМПАС-3D.

В момент тестирования КОМПАС-3D v18 намеренно использовались компьютеры, не обладающие мощными показателями по производительности видеокарт и процессоров. Тогда необходимо было подчеркнуть ускорение работы на обычных компьютерах.

Итак, мы проводим альфа-тестирование для получения обратной связи от пользователей о выпускаемой версии и реализованной в ней функциональности. Каждый год в Коломне собираются разные участники, но количество мест ограничено. Поэтому если у вас есть пожелания и замечания к разработчикам КОМПАС-3D, примите участие в бета-тестировании и поделитесь обратной связью! Открытое бета-тестирование стартовало 1 апреля и продлится до 31 мая 2023.

Подробнее о бета-тестировании тут:
https://kompas.ru/support/betatesting/