Привет, Хабр!

Думаю, уже многие из вас используют (или использовали) ChatGPT в своей работе. И все, кто использовал её в производственных целях, мог заметить, насколько много ошибок может допускать нейросеть.

ChatGPT: Как и зачем

ChatGPT нередко может помочь в решении рутинных задач. Например, нейросеть можно использовать для написания текстов, генерации кода, анализа документов, анализа данных, оказания "консультационных услуг". Делается это просто: мы пишем текстовый запрос, при необходимости прикрепляем файл, отправляем запрос и ждём ответ.

Схематично взаимодействие с ChatGPT (или другой генеративной моделью) выглядит так:

Но ответ не всегда может нас устраивать. Тогда мы пишем уточняющий запрос, чтобы получить ответ, который нас удовлетворит:

И вот, отправив ряд уточняющих запросов, мы получаем результат, который нас удовлетворяет!

В данной статье будут рассмотрены некоторые ошибки, с которыми мне довелось столкнуться, и способы их избежать, используя как можно меньше уточняющих запросов. При этом описанные рекомендации применимы не только для перечисленных кейсов. Придерживаться их стоит всегда.

Странные сообщения, оторванные от реальности

Когда приходится использовать ChatGPT, чтобы сгенерировать длинный и политкорректный текст, можно увидеть результаты, которые не совсем сходятся с реальностью.

Например, нам нужно пригласить коллег на встречу для обсуждения рабочих задач.

Конечно, хочется отправить очень простой запрос для получения ответа, который можно будет скопировать, используя сочетание клавиш Ctrl+C, а после вставить в приглашение, перейдя к волшебным Ctrl+V.

Что может быть проще в данной ситуации, чем:

И мы получим вполне ожидаемый, но не совсем удовлетворяющий нас ответ:

Прочитав ответ нейросети, можно понять, что его практически невозможно использовать для копипаста. Он очень холодный и оторванный от реальности. Непонятно, какие материалы должны подготовить коллеги, зачем их готовить, и нужно ли вообще это активное обсуждение, о котором говорится в ответе? Конечно, можно написать ещё один запрос, в котором мы подробнее опишем ситуацию. И получим на него более располагающий к себе ответ. Но нам, конечно же, хочется использовать как можно меньше запросов. В чём же причина такого поведения нейросети?

Причина получения такого ответа заключается в том, что в запросе не был задан контекст. Если бы мы написали более подробный промт, то обязательно получили бы результат, который нас устроил. Но что же писать в этом самом "подробном промте"?

Для того, чтобы понять это, необходимо самому ответить на следующие вопросы:

1. Что необходимо сделать нейросети?

2. Что я хочу получить в результате?

3. Каким я хочу видеть результат?

4. Какие есть факторы, которые нужно учесть при выполнении поставленной задачи?

Ответив на эти вопросы, мы сможем задать контекст, опираясь на который, нейросеть сможет сгенерировать нужный нам ответ.

Если бы мы иначе написали изначальный запрос:

То получили бы куда более подходящий для нашей ситуации ответ:

Чтобы получать удовлетворяющие нас ответы, необходимо как можно подробнее описывать контекст и точно обозначать, что мы хотим видеть в качестве результата.

Несуществующие документы

Когда приходится сталкиваться с документами государственного образца - нередко можно начать замечать, что аналитик превращается в юриста. Какие-то стандарты отменили, какие-то претерпели изменения, а какие-то вовсе были заменены. Когда консультант плюс не может дать быстрый и понятный ответ, очень хочется обратиться к ChatGPT.

Один из таких документов - «Инструкция по проектированию зданий и помещений для электронно-вычислительных машин» (СН 512-78). Он был отменён и нужно узнать, каким документом (или документами) он был заменён, чтобы указать в документации ссылки на актуальные государственные документы.

И вот мы пишем заветный запрос:

Получаем, казалось бы, отличный ответ:

Хоть бери и вставляй ссылку в документацию! Но есть нюанс:

ГОСТ Р 56939-2016 - вовсе не "Здания и помещения для электронно-вычислительных машин. Общие технические требования". Потому что ГОСТ с этим номером - "Защита информации. Разработка безопасного программного обеспечения. Общие требования". Хотя бы что-то связанное с разработкой ПО, и на том спасибо...

Вывод: ChatGPT очень плохо умеет работать с государственными документами, если вы их не отправляете файлами для анализа. Если вы используете ChatGPT, всегда проверяйте результаты! Особенно если речь идёт о работе с документами.

Итого

ChatGPT, как и многие генеративные нейронные сети, можно сравнить с Джинни из мультфильма про Аладдина.

Они выполнят те задачи, которые вы поставили. Но выполнит так, как они их интерпретировали. И так, как они умеют :)

Поэтому:

1. Описывайте задачу как можно подробнее, задавая контекст для нейросети. Чем подробнее контекст, тем выше качество интерпретации запроса нейросетью.

2. Всегда проверяйте результаты. Они могут казаться правильными, но это далеко не всегда так.