Дайджест посвящен научным работам в области Computer Science. В нем даются краткие результаты исследований, опубликованных за прошедшую неделю на сайте arXiv. В дайджест попадают самые интересные по мнению автора публикации из разделов Human-Computer Interaction, Software Engineering и Programming Languages.

Human-Computer Interaction

AI чат-помощник позволяет снизить накал страстей при обсуждении острых политических тем онлайн. При его использовании токсичность, угрозы, оскорбления и ряд других метрик качества диалога статистически значимо снижаются. И здесь не обошлось без GPT-3. https://arxiv.org/pdf/2302.07268.pdf

ChatGPT-3 решили проверить на создании хинтов для вопросов по алгебре. Корректные ответы были даны системой в 70% случаев. Такой результат ниже порога и по-прежнему требует участия человека. https://arxiv.org/pdf/2302.06871.pdf

Чем меньше перед разработчиком визуальных раздражителей, тем быстрее выполняются задачи по написанию и дебагу кода. Но это справедливо для обычных разработчиков, не страдающих от синдрома гиперактивности и дефицита внимания. А вот для тех, кто имеет проблемы с саморегуляцией, наличие таких раздражителей в краткосрочной перспективе повышает эффективность выполнения задач. В качестве визуальных раздражителей в работе использовались настройки отображения дополнительной информации в IDE (терминал, папки и т.д.). https://arxiv.org/pdf/2302.06376.pdf

Использование ChatGPT-3 не улучшает качество написанных эссе у студентов. Наряду с этим время написание эссе не отличается между экспериментальной и контрольной группами. Результаты у GPT-2 были аналогичные. По всей видимости, студентам проще писать самим, нежели взаимодействовать с инструментом. https://arxiv.org/pdf/2302.04536.pdf

ChatGPT-3 решили попробовать в тестировании приложений и предложили ему справиться с учебным курсом по Q&A. Инструмент может выдавать корректные или частично корректные ответы в 44% случаев, и давать корректные или частично корректные объяснения в 57% случаев. Однако пройти финальный экзамен на тестировщика система не может и отвечает корректно лишь на 37,5% вопросов. А еще ChatGPT-3 мешает самоуверенность: процент правильных ответов выше тогда, когда система в меньшей степени уверена в правильном ответе. https://arxiv.org/pdf/2302.03287.pdf

Software Engineering

Ученые предложили новый метод анализа типов в динамически-типизированных языках. Исследование проводилось на примере языка Python. Новизна метода в том, что он использует обратный path-sensitive анализ. https://arxiv.org/pdf/2302.07512.pdf

Появился SkCoder - очередной помощник разработчика, который использует парадигму “how to write”. Подход основан на использовании сниппетов кода для создания скетчей, которые потом дорабатываются разработчиком. Сами сниппеты формируются после текстового описания задачи. SkCoder оказался на треть эффективней стандартной модели CodeT5-base. https://arxiv.org/pdf/2302.06144.pdf 

GitHub Copilot позволяет писать код на 55,8% быстрее. Такое справедливо для экспериментальной задачи написания HTTP сервера на JS. При этом в большей степени от Copilot выигрывают начинающие разработчики. Однако о качестве кода в работе ничего не говорится. https://arxiv.org/pdf/2302.06590.pdf  

Уровень разработчика влияет на предпочтение в выборе ботов, сопровождающих процесс написание кода, CI/CD, тестирования и т.д. Чем выше уровень, тем более проактивных действий и большей автономии ждут от бота. https://arxiv.org/pdf/2302.05048.pdf

В мире Java-разработки появился RICK - автоматизированный инструмент для тестов. Новизна инструмента в том, что он собирает данные для mock и stub из самого приложения, а затем мимикрирует поведение на проде. https://arxiv.org/pdf/2302.04547.pdf

В IntelliJ IDEA есть плагин AntiCopyPaster, позволяющий упростить использование extract метода при рефакторинге кода. ML-модель Convolutional Neural Network показала наилучшие результаты в поиске и определении повторений кода, открытого для рефакторинга. https://arxiv.org/pdf/2302.03416.pdf

Programming Languages

В VS Code появилось расширение для популярного языка обучения COOL. С помощью этого ООП языка студентов обучают современным основам программирования. https://arxiv.org/pdf/2302.04926.pdf