Пользователь вводит данные: контуры планировки, входная группа и окна. Нейросеть создает планировку с помещениями, а также стены и проемы между ними.

Программист Станислас Шайю (Stanislas Chaillou), выпускник Федеральной политехнической школы Лозанны и Гарвардской школы дизайна, использовал алгоритмы проекта Pix2Pix, способного превращать наброски пользователя в фотореалистичные портреты, для дизайнерских целей — создавать планы помещений.

Алгоритм Станисласа Шайю, созданный им в рамках работы над магистерской диссертации, представляет собой конвейер, состоящий из трех отдельных моделей Pix2Pix, обученных на разных типах и объемах данных: (I) footprint massing, (II) program repartition, (III) furniture layout.



Модель I (footprint massing) создает «след» от здания — его вертикальную проекцию. Эта модель была обучена на данных о зданиях в Бостоне из геоинформационной системы. Датасет для обучения модели I состоял из пар изображений, на одном из которых были контуры земельного участка, а на втором контуры здания на участке. В результате, нейросеть Шайю научилась достаточно хорошо создавать изображение второго типа по изображению первого типа.



Модель II (program repartition) использует контур здания, полученный в результате работы модели I, но тут требуется участия пользователя, который должен нанести на общем плане места расположения оконных проемов и входной группы. Получив эти данные, нейросеть Шайю далее размечает на плане помещения, а также стены и проемы между ними. Кроме того, она также делит созданные ей помещения на зоны (ванная, гостевая, спальная, кухня, коридор), заливая их соответствующим цветом. Модель II Шайю обучил, используя датасет из данных 800 размеченных планах квартир.



Модель III (furniture layout) использует уже готовый цветной план квартиры от модели II и наносит на него мебельные элементы, которые соответствуют типам помещений, избегая ошибок типа размещения большого стола в ванной комнате или захламления коридора. Модель III также была обучена Шайю на парах исходных и конечных изображений.



Подробное описание принципов работы дизайнерского алгоритма Шайю описано тут.

В демонстрационной онлайн версии проекта Шайю можно самому попробовать себя в качестве источника данных для нейросети.



Ссылка на онлайн версию дизайнерского алгоритма Шайю находится тут.

Пользователю предлагается самому нарисовать контуры квартиры и обозначить на ней входную группу и оконные проемы, после чего нейросеть Шайю создаст планировку квартиры, разместит на плане комнаты, стены и мебель. Масштаб не приведен, но можно представить, что это квадрат 10х10 метров.

Конечно, качество получаемого изображения достаточно низкое, но общее представление о работе нейросети Шайю и понимания задумки автора понятны.