просто посмотрите видео, оно без звука

Сразу что бы попробовать это у себя - koiiiey/generative_ai_unity (gitverse.ru)

для тех кто не хочет смотреть видео

Всем привет, меня зовут Павел, и сегодня я покажу вам магию (в будущем очевидно голосового) управления и ввода на основе больших языковых моделей.

Общая идея состояла в том, что чтобы описать какое-то действие, его теоретически надо добавить в промпт, потом написать к нему код, всё это между собой как-то связать и тд.
Звучит долго и сложно, поэтому я сделал это за вас.

И так, начнём.

Для этого мы воспользуемся аналогом Function Calling в виде промпта (промпт уже вбит в проект на юнити, обязательно скачайте и гляньте) и каплей рефлексии.

Допустим что мы хотим сделать кучку ботов, которым мы сможем приказывать что-то делать, что раньше мы приказали бы сделать мышкой/клавиатурой/иным средством ввода, так что пусть наши боты теперь могут получать приказ перейти к точке, перекраситься и изменить свой размер и всё это отдельно или одновременно.

[AI("Двигает куб на точку")]
public void MoveToPoint([AI("Номер точки")] int pointNumber)
{
    this.transform.position = points[pointNumber].transform.position;
}

[AI("Меняет размер")]
public void Resize([AI("от 0.001 до 2")] int size)
{
    this.transform.localScale = new Vector3(size, size, size);
}

[AI("Меняет цвет")]
public void Colorize(int r, int g, int b)
{
    GetComponent<Renderer>().material.color = new Color(r, g, b);
}

Так вот, выше весь код, который вам нужен, что бы это начало работать!

Промпт на всякий случай :)

Ты система для изменения состоянияJSON, выполняй JSON Method Calling для изменения состояния.

Отвечай только в таком виде:
{"methods_calls":[{"callOn":{"name":"имя объекта","goInstanceId":"goInstanceId объекта"},"method":"название метода","arguments":[{"argumentName":"имя параметра","value":"значение"}]}]}

Используй только те методы и только на тех объектах, о которых прямо сейчас идет речь, которые нужны для изменения и о которых попросил пользователь

Не вызывай методы для примера - это реально изменит JSON!

Если в списке доступных методов нет нужного, не придумывай и не предлагай замену, а просто откажи в выполнении такого изменения.

Изменяй только те объекты, о которых идет речь, не изменяй те которые не просят.
Используй только доступные методы и параметры.

Убедись что JSON валидный.
Убедись что ID/параметр и тд - валидные.

JSON состояние (объекты и доступные действия):
{{#STATE#}}

И так, после того как мы запустим наш проект, посредством рефлексии будут найдены все объекты с компонентами, где есть тэг AI, они будут собраны в кеш на основе instanceId игровых объектов и всё это веселье превратится в стэйт в виде JSON, который мы скормим нашей текстовой модели.

Ну а дальше просто добавляем юзерский ввод - типа "подвинь куб налево", "покрась всё в зеленый", "продай все товары дешевле 200", "не стреляй, давай дружить".

На этом всё, давайте уже добавлять голосовое управление :)