В феврале мы познакомились с Gemini 1.5 Pro и контекстным окном в 1 миллион токенов, позволяющим обрабатывать огромные объемы информации за один раз — 1 час видео, 11 часов аудио, 30 000 строк кода или более 700 000 слов.

Сегодня я бы хотела рассмотреть вопрос обработки видео, а именно просмотра часового видео (вернее сказать 58 м 19 с) и оценить, как хорошо модель будет извлекать информацию.

Начнем с вводных. Модель испытывается на способность работать с обширным контекстом через ряд искусственных и прикладных задач. В частности, в задачах искусственного характера, таких как "поиск иголки в стоге сена", которые проверяют способность модели точно выделять нужные данные на фоне избыточной информации, модель Gemini 1.5 Pro продемонстрировала исключительные результаты, превышающие 99,7% точности. Это касается и поиска при значительном увеличении объема "шума" до нескольких миллионов токенов в разнообразных модальностях, включая текст, видео и аудио.

На рисунке ниже проводится сравнение между Gemini 1.5 Pro и GPT-4V в задаче идентификации скрытого слова в видео разной длительности, достигающей до трех часов. Задача моделей заключается в выявлении слова, замаскированного в тексте на протяжении всего видео. Для анализа используется частота 1 кадр/с. На левой стороне изображения две сетки размерами 10 на 50 отражают эффективность работы Gemini 1.5 Pro и GPT-4V на примере первого часа документального фильма. К примеру, верхняя левая ячейка отображает результаты анализа первых 1.2 минут видео и отбор кадров из первых 10% этого временного отрезка, где было скрыто слово. Зеленый цвет ячейки символизирует успешное обнаружение слова, в то время как серый указывает на ошибку API. В то время как API GPT-4V способно анализировать видео только до трех минут, Gemini 1.5 Pro показывает возможность находить слово на протяжении полного часа видео, что подтверждается полностью зеленой сеткой. Справа расположена сетка 10 на 10, которая иллюстрирует безупречную работу Gemini 1.5 Pro в анализе трехчасового видео.

Поскольку мы говорим про видео, то стоит обратиться к примеру обработки немого кино Бастера Китона "Шерлок-младший", продолжительностью в 45 м. Преобразовав видео в последовательность изображений (2674 кадра) с частотой 1 кадр/с, они создали вводный контекст из 684,000 токенов для модели. Это позволило модели извлекать и обрабатывать информацию из конкретного кадра и предоставлять соответствующую временную метку. На картинке ниже по второму промту модель определяет сцену в фильме по рисунку от руки:

Что ж, звучит заманчиво, потому не будем медлить и проверим самостоятельно.

Потестим?

Вспомним методы коммуникации Мэтта Абрахамса и с ними пройдемся по модели, поскольку целый час времени выделить тяжело, а память освежить хочется.

Ремарка на всякий случай: доступ из России ограничен, поэтому для использования необходим иностранный IP, те еще танцы с бубном.

Качаем mp4 видео и идем в Google AI Studio. При загрузке увидела целый 1,032,500 токенов, не дурно, да? 1 токен примерно равен 0,75 слова или 4-м символам, то есть общее число слов составляет порядка 774,375 или если считать по символам - 4,130,000. (для английского)

Я прикинула пул вопросов, поэтому не будем тянуть и перейдем к каждому по порядку!

*Я не буду злоупотреблять, потому прикреплю только часть скринов, поскольку некоторые из них без явной демонстрации того, о чем говорится.

**Также промты я писала на английском, потому здесь будут представлены переводы вопросов и ответов.

Почему спонтанная речь более распространена?

Первый ответ сгенерировался примерно за 80 с (по завершении - это в принципе среднее время ответа модели в моем случае).

Спикер объясняет, что спонтанная речь встречается чаще, чем запланированная (03:43). Он приводит несколько примеров ситуаций спонтанной речи, с которыми мы сталкиваемся в нашей повседневной жизни:

• Предисловие: Когда вас просят представить людей на ужине или мероприятии.

• Обратная связь: Предоставление импровизированной обратной связи, когда это запрашивает начальник или коллега.

• Тосты: Произнесение неожиданного тоста на торжестве.

• Вопросы и ответы: Ответы на вопросы во время сессии вопросов и ответов после презентации или выступления.

Эти примеры иллюстрируют, как спонтанная речь переплетается с различными аспектами нашей личной и профессиональной жизни, делая её более частым явлением по сравнению с запланированными презентациями или речами.

Перейдем по таймкоду:

Да, это нужный таймкод, именно в этот момент лектор начинает приводить примеры спонтанной речи.

Тогда двигаемся далее.

Основные темы, освещаемые спикером

Основные темы видео:

• Управление тревожностью при публичных выступлениях: Спикер подчеркивает важность управления тревожностью при публичных выступлениях, признавая, что это общий опыт для большинства людей (04:41). Он предлагает техники, такие как "приветствие своей тревоги" (07:00) и переосмысление ситуации выступления как беседы (09:19), чтобы помочь людям чувствовать себя более комфортно и уверенно.

• Структура в спонтанных выступлениях: Видео подчеркивает ценность структуры в спонтанных выступлениях. Спикер представляет две структуры:

  • Проблема-Решение-Выгода: Эта структура включает в себя описание проблемы, предложение решения и выделение выгод от этого решения (40:14).

  • Что-И что из этого-Что дальше: Эта структура фокусируется на объяснении, что такое что-то, почему это важно и какие следующие шаги (41:58).

• Ориентация на настоящее: Спикер поощряет сосредоточение внимания на настоящем моменте, а не задумываться о потенциальных будущих исходах или ошибках (12:04). Он предлагает техники, такие как обратный отсчет от 100 сложными числами или произношение скороговорок (13:22), чтобы помочь людям оставаться в настоящем и избегать переосмысления.

• Важность слушания: Видео подчеркивает критическую роль слушания в эффективной коммуникации, особенно в спонтанных сценариях выступлений (06:18). Активно слушая аудиторию и понимая их потребности, спикеры могут адаптировать свои ответы и вступать в более значимое взаимодействие.

• Практика и подготовка: Несмотря на то, что акцент делается на спонтанных выступлениях, спикер признает ценность практики и подготовки. Он поощряет людей репетировать, используя предложенные структуры и техники, чтобы нарастить уверенность и улучшить свою способность эффективно реагировать в непредвиденных ситуациях.

Первые четыре пункта - все хорошо, даже отлично, идеальные таймкоды, в каждый из предложенных спикер начинает погружать в тему, однако вопрос вызывает последний пункт - модель не прикрепила таймкод, в целом, это можно уточнить, но на карандаш стоит взять.

Идем дальше.

Как мы управляем тревогой при общении?

Управление тревогой при общении

Видео предлагает несколько техник управления тревогой, особенно в первые минуты перед выступлением, на основе академических исследований и опыта лектора в Высшей школе бизнеса Стэнфорда:

• (07:20 - 07:47) Приветствуйте свою тревогу: Видео предлагает, вместо того чтобы пытаться подавить чувство нервозности, признать его и осознать, что это естественная реакция на ситуацию, воспринимаемую как важную. Принимая эти чувства, вы можете предотвратить их усиление и взятие под контроль.

• (08:26 - 09:13) Переосмысление ситуации: Измените свою точку зрения, перестав рассматривать выступление как представление и начав видеть его как разговор. Думая о нем как о разговоре с вашей аудиторией, вы уменьшаете давление необходимости сделать все "правильно" и позволяете себе более естественное и расслабленное взаимодействие.

• (13:34 - 13:40) Сосредоточение на настоящем моменте: Техники, такие как скороговорки или обратный отсчет с 100 по семь, могут помочь сосредоточить ваше внимание на настоящем моменте. Занимая ваш ум простой задачей, вы переключаете внимание с тревог о будущем или потенциальных негативных исходов.

• (13:40 - 13:46) Разминка голоса: Многие нервные ораторы пренебрегают разминкой голоса, что может усугубить тревогу. Занятия вокальными упражнениями, такими как скороговорки, могут помочь подготовить ваш голос к выступлению и дополнительно способствуют сосредоточению на настоящем моменте.

В целом, все тайминги верные, разве я бы начало третьего интервала переместила с 13:34 на 13:27. Последние два пункта стоило бы поместить внутрь "переосмысления", а также внутри переосмысления должны быть "начните с вопросов" и "используйте разговорный язык". То есть либо должно быть шесть самостоятельных пунктов, либо два основных, где у последнего 4 подпункта.

Переходим к следующему вопросу.

Стоит ли использовать юмор на выступлениях?

Использование юмора в выступлениях

Видео кратко затрагивает тему юмора, выделяя риски и вознаграждения, и предлагая советы по его эффективному включению:

• (56:14 - 56:21) Риски и вознаграждения: Хотя юмор может быть мощным инструментом для связи с аудиторией и повышения привлекательности вашей презентации, он также несет в себе риски. Шутки, которые не срабатывают или культурно неприемлемы, могут негативно повлиять на вашу достоверность и эффективность вашего сообщения.

• (56:31 - 56:33) Проверьте ваш юмор: Чтобы снизить риски, докладчик предлагает проверять ваш юмор на других, прежде чем включать его в вашу презентацию. Получите обратную связь от разнообразной группы людей, чтобы оценить, насколько ваши шутки, скорее всего, найдут отклик у вашей целевой аудитории и избежать любых потенциальных культурных промахов.

• (56:37 - 56:43) Имейте запасной план: Если шутка не сработает как задумано, имейте запасной план для изящного восстановления. Докладчик предлагает самоиронию как "наименее рискованный" вариант, так как это позволяет вам признать ситуацию и потенциально превратить её в юмористический момент.

• (56:14 - 56:21): Видео подчеркивает, что "самоирония - ваш лучший выбор" при использовании юмора, так как она менее вероятно обидит и может помочь наладить контакт с аудиторией, показав вашу человеческую сторону.

Про юмор спикер начинает говорить на моменте 55:54. В 56:00 он уже говорит о том, что это рискованно и начинает перечислять причины, а в 56:10 начинает говорить о самоиронии. В принципе не критично, поскольку все основные моменты передал, но пометку сделали.

А что еще аудитория спрашивала? Сейчас узнаем!

Какие еще вопросы были заданы во время выступления?

Вопросы, заданные во время презентации

Видео включает два вопроса аудитории, связанных с конкретными ситуациями выступления:

(51:00 - 51:15): Участник аудитории, который часто участвует в удаленных презентациях с географически разбросанной аудиторией через телеконференции, попросил советов по обращению с этим типом выступлений. Докладчик признал сложности удаленных презентаций и предложил включать методы вовлечения, требующие активного участия аудитории, даже когда они физически отсутствуют.

(52:18 - 52:26): Другой участник аудитории, работающий адвокатом, осведомился о стратегиях управления враждебной средой перекрестного допроса во время судебных разбирательств. Хотя докладчик признал отсутствие личного опыта в этой конкретной области, он подчеркнул важность ранее обсуждавшихся техник, таких как управление тревогой, переосмысление ситуации и перефразирование вопросов, чтобы выиграть время и сформулировать эффективные ответы.

Как я понимаю: модель вывела диапазоны именно для заданного вопроса, то есть в какой момент кто-то из аудитории задал вопрос, поскольку по таймингам именно такой вариант подходит. Оба вопроса верно подсвечены, однако не хватает пары вопросов, например, я хотела бы увидеть вопрос про враждебное общение. Всего спикеру было задано 6 вопросов, не учитывая вопрос, когда девушка просила вернуть экран, а также опуская вопрос про юмор, которые мы осветили ранее. То есть суммарно модель проигнорировала 3 вопроса (либо 4, если учитывать вопрос-просьбу), хотя запрос изначально подразумевал все вопросы, заданные о стороны аудитории во время выступления (опуская вопрос про юмор). Думаю, это вполне решаемо уточнением промта. Запомнили и можем идти дальше.

Напиши детализированное резюме лекции

Краткое содержание лекции: Думайте быстро, говорите умно - эффективное спонтанное выступление

Этот интерактивный семинар в Высшей школе бизнеса Стэнфорда был направлен на помощь людям в становлении более эффективными и уверенными коммуникаторами в ситуациях спонтанных выступлений. Докладчик, опираясь на академические исследования и личный опыт, рассмотрел общую проблему тревоги, связанной с публичными выступлениями, и предложил несколько техник для ее управления, включая:

• Приветствие вашей тревоги: принятие чувства нервозности как естественной реакции.

• Переосмысление ситуации: изменение перспективы с выступления на разговор.

• Фокус на настоящем моменте: техники, такие как скороговорки или упражнения на счет, чтобы оставаться в настоящем.

• Разминка голоса: выполнение вокальных упражнений для подготовки голоса и снижения тревоги.

Лекция подчеркивала важность структуры для эффективной передачи сообщения. Докладчик представил две ключевые структуры:

• Проблема-Решение-Выгода: эта структура помогает докладчику четко очертить проблему, предложить решение и подчеркнуть выгоды от принятия этого решения.

• Что? И что из этого? Что дальше?: Эта структура помогает отвечать на вопросы, уточняя проблему, объясняя ее важность и намечая следующие шаги.

Семинар также затронул использование юмора, признавая его потенциал для связи с аудиторией, но также подчеркивая риски, связанные с тем, что шутки могут не сработать или быть культурно неприемлемыми. Докладчик рекомендовал использовать самоироничный юмор как более безопасный вариант и подчеркнул важность тестирования юмора на разнообразной группе людей перед его включением в презентацию.

Наконец, семинар рассмотрел проблемы удаленных презентаций и враждебных вопросов, предлагая техники, такие как вовлечение аудитории и перефразирование, для эффективного управления этими конкретными ситуациями.

Какие ключевые уроки были выделены?

Основные уроки из лекции:

• Управление тревогой имеет решающее значение для эффективной коммуникации. Примите свою нервозность, переосмыслите ситуацию и сосредоточьтесь на настоящем.

• Структурируйте свое сообщение для ясности и воздействия. Используйте рамки, такие как "Проблема-Решение-Выгода" или "Что? И что из этого? Что дальше?"

• Используйте юмор осторожно. Самоирония часто является самым безопасным вариантом, и всегда проверяйте свои шутки заранее.

• Активно слушайте, чтобы понять потребности и ожидания вашей аудитории. Это позволяет вам адаптировать ваше сообщение и соответствующим образом реагировать в данный момент.

• Практика и подготовка необходимы для развития уверенности и компетентности в спонтанных выступлениях.

Итого: сегодня мы пробежались по лекции через Gemini 1.5 Pro и на мой взгляд - это очень хороший инструмент, поскольку число совпадений гораздо больше, нежели неточностей. Что неточности, что галлюцинации решаются качественным промтом в большинстве случаев. Конкретно в этом примере не сказать, что было что-то критичное, чего нельзя было бы, например, уточнить.

В общем-то на мой взгляд отлично подойдет для поиска информации из видео конференций, подкастов и лекций (но, опять же - доверяй, но проверяй).

Спасибо за внимание!