«Цель этого курса — подготовить вас к вашему техническому будущему.»

Привет, Хабр. Помните офигенную статью «Вы и ваша работа» (+219, 2442 в закладки, 389k прочтений)?

Так вот у Хэмминга (да, да, самоконтролирующиеся и самокорректирующиеся коды Хэмминга) есть целая книга, написанная по мотивам его лекций. Мы ее переводим, ведь мужик дело говорит.

Это книга не просто про ИТ, это книга про стиль мышления невероятно крутых людей. «Это не просто заряд положительного мышления; в ней описаны условия, которые увеличивают шансы сделать великую работу.»

Мы уже перевели 22 (из 30) главы. И ведем работу над изданием «в бумаге».

Глава 19. Моделирование — II

(За перевод спасибо V.Pinchuk, который откликнулся на мой призыв в «предыдущей главе».) Кто хочет помочь с переводом — пишите в личку или на почту magisterludi2016@yandex.ru

Теперь мы перейдем к вопросу о достоверности моделирования. Полагаю уместным начать с цитаты из летней конференции 1975 года по компьютерному моделированию:

«Компьютерное моделирование в настоящее время широко распространилось для анализа моделей систем и оценки теоретических решений наблюдаемых проблем. Поскольку ответственные решения должны опираться на моделирование, важно, чтобы его действительность проверялась, и чтобы его приверженцы были способны описать уровень аутентичности представления, который они достигли».

Но, к сожалению, зачастую на вопрос о надежности результатов моделирования вам расскажут о том, сколько трудозатрат пошло на это, насколько большой и быстрый компьютер был использован, насколько важна эта задача, и прочие вещи, которые не имеют абсолютно никакого отношения к заданному вопросу.

Я бы обозначил проблему несколько иначе:

Почему кто-то должен верить в релевантность моделирования?

Не начинайте любое моделирование до тех пор, пока вы не обдумали тщательно этот вопрос и не нашли надлежащие ответы. Часто под любыми благовидными предлогами пытаются отложить ответ на этот вопрос, но пока на него не получено удовлетворительного ответа, всё, что вы предпримете, будет пустой тратой усилий, или даже хуже, заблуждением, или просто ошибкой.

Этот вопрос охватывает как точность моделирования, так и точность вычислений.

Позвольте мне упомянуть еще одну историю. Это случилось однажды вечером после технического совещания в Пасадене, Калифорния, когда мы все пошли на ужин вместе, и мне довелось сидеть рядом с человеком, который рассказывал о моделировании надежности первых космических полетов, за которое он отвечал. Это было в то время, когда было произведено восемь космических стартов. Он рассказал, что запуск не производился до тех пор, пока не обеспечивалось более чем 99 процентов надежности, скажем, 99,44% надежности. На что я заметил, что было восемь космических стартов; при этом при одном натурном наземном эксперименте погибли астронавты, и был еще один явный провал, так что откуда получена такая высокая надежность? Он упорно стоял на своём, но к счастью для меня человек, сидевший по другую сторону от него, присоединился к моей позиции, и мы вынудили его неохотно признать, что он рассчитывал не надежность самого запуска, но лишь надежность его моделирования. Он далее утверждал, что все понимали это. Его отказ ответить мне на настойчивый вопрос: «В том числе и директор, который окончательно утверждает рейс?», был очевидным признанием моей правоты, он сам точно знал, что директор не понимал это различие, но думал, что результат отражал надежность самого запуска.

Позже он пытался оправдать то, что он сделал, якобы не оставалось больше ничего другого, что можно было еще сделать, на что я сразу указал много вещей, которые он мог бы сделать, чтобы увязать моделирование с реальностью гораздо ближе. Это было в субботу вечером, но я уверен, что в понедельник утром он вернулся к своим привычным методам выявления соответствия моделирования с реальностью, предпринимая минимум или совсем не предпринимая независимых проверок, вполне ему доступных. Вот что вы можете ожидать от экспертов в моделировании — они погружены в процесс моделирования и обращают мало внимания или не обращают его вовсе на реальность, или даже «наблюдаемую реальность».

Рассмотрим повсеместное моделирование бизнеса и военных учений, которое происходит в наши дни. Всё ли существенное включено правильно в модель, или мы обучаем людей делать неправильные вещи? Насколько релевантны реальности эти игровые модели? И многие другие модели?

У нас давно есть тренажеры для пилотов, которые дают гораздо более всестороннее и полезное обучение, чем то, которое может быть предоставлено в реальной жизни. В тренажере мы можем подвергнуть пилота чрезвычайным ситуациям, на которые мы бы не отважились в реальности, да и просто не могли бы даже надеяться на возможность создания такого разнообразия ситуаций, какое обеспечивает тренажер. Очевидно, эти тренажеры являются очень ценными активами. Они являются сравнительно дешевыми, эффективными в использовании и очень гибкими. Говоря современным языком, они являются примерами «виртуальной реальности».

Но время идет вперед, и разрабатываются другие типы самолетов. Будут ли люди тогда так же тщательны, как они должны быть, чтобы отразить все новые взаимодействия в модели, или некоторые небольшие, но жизненно важные, особенности поведения нового самолета будут пропущены по недосмотру, и это создаст пробелы в подготовке пилота в таких ситуациях?

Здесь эта проблема отчетливо видна. Она не в том, что моделирование не является необходимым сейчас и в ближайшем будущем (из-за возможных ошибок), но для нынешнего поколения людей при малом опыте работы с реальностью необходимо отчетливо уяснить, что необходимо убеждаться в том, что моделирование учитывает все основные детали. Как вы можете убедить себя, что не ошиблись где-то в огромном количестве деталей? Вспомните, как много компьютерных программ даже после многих лет эксплуатации по-прежнему имеют серьезные ошибки в них! Во многих ситуациях такие ошибки означают разницу между жизнью и смертью для одного или многих людей, не говоря уже о потере ценного оборудования, денег и времени.

Надлежащие точность и надежность моделирования являются серьезной проблемой. К сожалению, для этой проблемы не существует ни панацеи, ни магических заклинаний. Всё, что есть в вашем распоряжении — это вы сами.

Позвольте мне теперь рассказать о моём самом поверхностном подходе к моделированию. Летом 1955 года Bell Telephone Laboratories решили провести день открытых дверей, чтобы люди, живущие по соседству, а также родственники и друзья сотрудников, смогли узнать немного о том, что делают те люди, которые работали там. Я был тогда во главе большого аналогового дифференциального анализатора, и я должен был обеспечить демонстрацию его работы весь субботний день. В основном мы занимались в то время траекториями управляемых ракет, и я не хотел рисковать с безопасностью, пытаясь показать какие-то упрощенные версии. Поэтому я решил теннис — игра, которая иллюстрирует аэродинамику, траектории и т.д., — как раз будет серьёзной демонстрацией того, что мы сделали, во всяком случае, я думал, что это было бы гораздо более привлекательным и интересным для посетителей.

С помощью классической механики я задал уравнения, включая упругий отскок, настроил машину играть на одной стороне против человека-игрока на другой. Угол ракетки и сила, с которой вы посылаете мяч, устанавливались на двух удобных циферблатах. Напомню, что в те дни (1955) игровые автоматы еще не стали обыденными во многих общественных местах, поэтому такое представление было новинкой для посетителей. Затем я пригласил друга, опытного физика, который был еще и заядлым теннисистом, чтобы проверить и настроить константы для отскока (для асфальтового корта) и сопротивления воздуха. Когда он был удовлетворен, втайне от него я попросил еще одного физика дать аналогичное мнение, впрочем не давая ему изменить константы. Таким образом, я получил разумную модель тенниса без «вращения» мяча.

Будь это для чего-то кроме общественных развлечений, я должен был бы сделать гораздо больше. Я должен был бы подвесить теннисный мяч на струне перед вентилятором переменной мощности и тщательно отметить углы отклонения для различных скоростей потока, таким образом, получить сопротивление воздуха, в том числе в зависимости от износа теннисного мяча. Я должен был бы бросать мячи с разной высоты и замерять отскок, чтобы проверить линейность констант упругости. Если бы это было важной задачей, я мог бы снять некоторые игры и проверить, могу ли я воспроизвести удары без вращения. Я не сделал ни одной из этих вещей! Это не стоило затрат. Поэтому это был моим самым небрежным моделированием.

Однако главная часть истории — это то, что произошло! Приходившим группам рассказывали, о том, что происходит, некоторые помощники, при этом им показывали отображение игры на устройствах графического вывода. Затем мы давали им сыграть против машины, и я запрограммировал модель так, что машина могла проиграть. Наблюдая весь процесс от первоисточников, человека и машины, я заметил, спустя некоторое время, что ни один взрослый не понял происходящего достаточно для того, чтобы успешно играть, и почти каждый ребенок сделал это! Вдумайтесь в это! Это говорит о гибкости молодых умов и окостенелости пожилых! Сейчас очевидно, что большинство пожилых людей не могут пользоваться видеомагнитофоном, а дети могут!

Помните этот факт, пожилые умы имеют больше проблем с адаптацией к новым идеям, чем молодые умы, так как вы на протяжении большей части вашей карьеры будете представлять новые идеи и официальные презентации для пожилых людей. Способность ваших детей понять то, что вы показываете, имеет мало отношения к восприятию той аудитории, которой вы даете презентацию. Это был жестокий урок, который я должен был выучить, и я пытался больше не повторять эту ошибку снова. Пожилые люди не чутки к восприятию новых идей — это вовсе не означает, что они тупые, глупые, или что-нибудь еще в этом смысле, просто пожилые обычно медленно адаптируются к радикально новым идеям.

Я подчеркивал необходимость наличия полного контроля в модели базовых законов той области, которую вы моделируете. Но таких законов в экономике нет! Единственный закон экономики, которому я доверяю, это закон Хемминга: «Вы не можете потреблять то, что не производится». Не существует ни одного другого надежного закона во всей экономике, все они являются математической тавтологией упомянутого, либо просто ложны. Следовательно, когда вы занимаетесь моделированием в экономике, у вас нет той надежности, как в точных науках.

Позвольте мне привести другой пример. Несколько лет назад в Университете Беркли произошло следующее. Примерно равное число мужчин и женщин подали заявления в высшую школу, но было принято намного больше мужчин, чем женщин. Не было оснований полагать, что мужчины были в среднем лучше подготовлены, чем женщины. Поэтому с точки зрения идеальной модели справедливости явной дискриминации не было. Но президент университета потребовал расследовать, какие факультеты были виновны. Тщательное исследование показали, что ни один факультет не был виновен! Как это может быть? Легко! Различные факультеты имеют разное количество вакансий для поступления выпускников школы и различные показатели соотношения числа мужчин и женщин, подающих заявления на них. Те, на которых много вакансий и много поступающих мужчин, — это точные науки, включая математику, а те, на которых мало вакансий и много поступающих женщин, — это гуманитарные, такие как литература, история, драма, социальные науки и т.д. Таким образом, дискриминация, если говорить, что она произошла, объясняется тем, что мужчин в юности чаще ориентировали на математику, как базовую для точных наук, а женщины могли выбирать или не выбирать ее по своему желанию. Те, кто не выбрал математику, лишил себя тем самым и физики, и химии, и инженерии, таким образом, они просто не могли поступать туда, где вакансии были многочисленнее, и пришлось подавать заявления туда, где конкурс выше. Люди имеют проблемы адаптации к таким ситуациям в наши дни!

Здесь вы видите не общеизвестное явление, которое, тем не менее, всесторонне рассматривается во многих своих проявлениях статистиками: объединение групп данных может создавать эффекты, которых не было в каждой из групп. Вы хорошо знакомы с понятием, что объединение данных может скрыть частности, но то, что оно также может создавать новые эффекты, известно гораздо хуже. Вам нужно быть осторожным в будущем, чтобы это не произошло с вами — чтобы вас не обвинили из-за объединения данных в том, к чему вы не имеет никакого отношения. Парадокс Симпсона является известным примером, когда при наличии двух групп данных, в каждой из которых наблюдается одинаково направленная зависимость, при объединении этих групп направление зависимости меняется на противоположное, например А превосходит по отдельности B и C превосходит D, но объединенные данные B+D превосходят А+С. (прим. Переводчика -Причина парадокса заключается в некорректном усреднении двух групп данных с различной долей контрольных наблюдений (нерепрезентативная выборка). Поскольку интуитивно предполагается, что при применении найденных зависимостей доля контрольных будет одинаковой в обеих группах, а в исходных данных это не выполняется, то к ним нельзя применять арифметическое усреднение.)

Теперь вы можете сказать, что при моделировании космического полета мы объединяли данные и порой трактовали весь аппарат как материальную точку. Да, мы так поступали, но мы знали законы механики и знали, когда мы были вправе так делать и когда не могли. Например, при коррекции траектории в полете мы ориентируем летательный аппарат точно в требуемом направлении и затем включаем соответствующие корректирующие ракетные двигатели, и в это время экипажу запрещено перемещаться в летательном аппарате, так как это может привести к его вращению и испортить точность коррекции. Мы считали, что мы знаем достаточно теории, и у нас есть многолетний опыт работы в этом вопросе, поэтому объединение всех деталей массы в одной материальной точке дает надежные результаты моделирования.

Однако во многих предлагаемых областях моделирования нет ни известных экспериментальных данных, ни теории. Таким образом, если бы мне вдруг поручили провести экологическое моделирование, я бы смиренно спросил о математически сформулированных закономерностях для каждого возможного взаимодействия, например, роста деревьев в зависимости от количества осадков, каковы используемые константы, а также где я мог бы получить реальные данные для сравнения с тестовыми результатами моделирования. Заказчики могли бы вскоре решить пойти поискать кого-то более покладистого и готового работать над весьма сомнительным моделированием, которое даст желаемые для них результаты, удобные для пропаганды их собственных идей. Я советую вам сохранять свою целостность и не позволить вовлечь себя, чтобы использоваться для пропаганды других людей; вам нужно быть осмотрительными, когда вы соглашаетесь провести моделирование!

Если в сфере гуманитарных наук трудно моделировать с большой надежностью, то не забывайте также и о том, что люди из-за своего знания о моделировании могут изменить своё поведение и таким образом исказить моделирование. Так, в страховом бизнесе компания ставит на то, что вы будете жить долго, а вы ставите, что умрете рано. Кстати, для пенсионного обеспечения стороны меняются местами, в случае, если вы не задумывались об этом. Хотя, в принципе, вы можете попытаться обмануть страховую компанию и совершить самоубийство, но это редкость, и страховые компании весьма заботятся об этом.

На фондовом рынке, если бы существовала какая-либо широко известная стратегия для зарабатывания денег, само знание о ней разрушит такую стратегию! Ведь тогда люди изменят свое поведение, чтобы исказить сделанные вами прогнозы. Не то, чтобы некая юридически допустимая стратегия не может существовать (хотя я уверен, что это должна была бы быть сугубо нелинейная теория, чтобы быть способной принести больше обычного роста фондового рынка), но она должна сохраняться весьма секретной. Основные проблемы — это нечестность на фондовом рынке. Инсайдеры владеют знаниями, которые, согласно четко установленным законам, они не имеют права использовать, но они делают так все время! Если вы не используете инсайдерской информации, то у вас мало шансов против тех, кто ее использует, а если вы действуете на основе инсайдерской информации, то вы действуете незаконно! Это плохой бизнес в любом случае, и инсайдеры сопротивляются любым попыткам автоматизировать торговлю с применением машин, что исключит возможность инсайдерских сделок, на которых они сейчас зарабатывают. Известно, что они делают это, но это не доказуемо в суде! Более того, ложная «инсайдерская информация» постоянно распространяется среди аутсайдеров, чтобы они думали о себе как об инсайдерах и действовали к выгоде инициаторов слухов.

Таким образом, берегитесь любого моделирования ситуации, которая позволяет человеку использовать выходные данные для изменения своего поведения в своих собственных интересах, ибо он будет делать это всякий раз, когда только сможет.

Но не все потеряно. Мы разработали метод сценариев для преодоления многих сложных ситуаций. В этом методе мы не пытаемся предсказать, что произойдет в точности на самом деле, мы просто даем ряд возможных прогнозов. Это именно то, что Спок сделал в его книге о воспитании ребенка. Из наблюдений за многими детьми в прошлом он предположил, что (близкое) будущее поведение детей не будет радикально отличаться от этих наблюдений, и он предсказал не то, что будет делать ваш конкретный ребенок, но только типичные шаблоны с диапазонами поведения, по вопросам, когда младенцы начинают ползать, разговаривать, говорить «нет» на всё, и т.д. Спок предсказывал главным образом биологическое поведение и избегал, как мог, прогнозировать культурное поведение ребенка.

В некоторых моделях метод сценариев — это лучшее, что мы можем сделать. Именно это я делаю в данных главах; будущее, которое я предсказываю, не может быть известно в деталях, но только в виде сценариев о том, что может произойти, на мой взгляд. Подробнее об этом в следующей главе.

Я хочу вернуться к проблеме принятия решения, о том, как вы можете сделать реалистичные оценки надежности результатов вашего моделирования, или тех результатов, которые будут представлены вам в будущем. Во-первых, поддерживает ли среда принятые законы в высокой степени? Насколько вы уверены в том, что некоторые небольшие, но жизненно важные, эффекты не упущены? Надежны ли входные данные? Является моделирование стабильным или нестабильным? Какие перекрестные проверки с ранее известными данными доступны для использования вами? Можете ли вы применить какие-нибудь внутренние проверки, такие как закон сохранения массы, или энергии или углового момента? Без избыточности, как вы знаете из бесед по помехоустойчивым кодам, не может быть проверки надежности.

Я пока не упомянул то, что поначалу кажется тривиальным: наши представления и заметки на бумаге, описывающие проблему, — насколько точно они перенесены в машину? Как известно, ошибки программирования весьма распространены.

Позвольте мне рассказать одну историю, которая иллюстрирует, что здесь можно многое сделать. Однажды кафедра химии рассматривала контракт от федерального правительства по химии верхних слоёв атмосферы сразу же после взрыва атомной бомбы. Меня просили только о предоставлении консультации и рекомендациях. Вникнув в проблему, я нашел, что в каждом конкретном случае, который подлежит расчету, должны быть решены где-то около 100 обыкновенных дифференциальных уравнений, в зависимости от конкретных химических реакций они ожидали.

Я осознал, что они не смогут всякий раз правильно ввести различные наборы этих уравнений в машину, поэтому я сказал, что мы сначала должны написать программу, которая будет идти от перфокарт, где на каждой перфокарте будет описание одной конкретной реакции со всеми ее соответствующими константами взаимодействия, к самим уравнениям. Таким образом, будет гарантировано отсутствие ошибок, например, в коэффициентах, обеспечено будет, что коэффициенты одинаковы во всех одинаковых реакциях в различных уравнениях, и т.д.

Оглядываясь назад, это кажется очевидным; но в то время это было неожиданностью для них, хотя в итоге стоило затраченных усилий. Им оставалось только отобрать нужные перфокарты из файла, для использования в частном расчете, который они собирались запустить, и машина автоматизировала все остальное, включая интервал шагов интегрирования. Моя главная идея, помимо простоты и точности, была сохранить их умы сосредоточенными на том, что они могли наилучшим образом делать — химии — и не отвлекать их машиной, где они не являются экспертами. Более того, именно они руководили фактическими вычислениями. Я облегчил им программирование и использование компьютера, но я отказался избавлять их от принятия решений.

Подведу итог: надежность моделирования, которое становится все более распространенным, имеет жизненно важное значение. Эта надежность заключается не в том, что вы можете бездумно принять готовый результат только потому, что мощный компьютер выдает красиво распечатанные таблицы, или отображает красочные диаграммы. Вы ответственны за ваши решения и не можете переложить за них ответственность на тех, кто выполнял моделирование, как бы вам этого ни хотелось. Надежность — это центральный вопрос, не имеющий простых ответов.

Давайте вернемся к соотношению аналоговых и цифровых компьютеров. Эта проблема иногда возникает в связи с нейронными сетями. Есть мнение, что аналоговые машины могут вычислить такие вещи, которые недоступны цифровой версии. Мы должны ближе взглянуть на данный момент — это действительно так же, как и было годы назад, когда аналоговые компьютеры заменялись на цифровые компьютеры. В этих главах мы располагаем необходимыми знаниями для тщательного анализа этого вопроса.

Основной факт, что теорема Найквиста о выборке говорит, что для воспроизведения (с точностью до округления) оригинального непрерывного сигнала во всем диапазоне частот достаточно использовать дискретные числа, следующие друг за другом с частотой не менее удвоенного значения наивысшей частоты исходного непрерывного сигнала. На практике большинство сигналов имеют довольно резкую отсечку по верхней частоте, без отсечки получилась бы бесконечная энергия сигнала!

На практике мы обычно используем ограниченное число дискретов в цифровом решении и таким образом требуется что-то около удвоенного требуемого числа Найквиста. Кроме того, обычно у нас есть дискреты только на одной стороне, и это еще вдвое снижает требования по количеству чисел. Таким образом что-то от семи до десяти дискретов для высокой частоты необходимы. И остается еще немного наложения высоких частот в той полосе, которая обрабатывается (но в ней редко содержится информация в сигнале, обычно это шум). Всё это может быть проверено теоретически и экспериментально.

Иногда математик можно точно оценить содержание частот в сигнале (возможно, из рассчитываемого ответа), но обычно вы должны пойти к конструкторам и получить их лучшие оценки. Компетентный конструктор должен быть в состоянии предоставить такие оценки, но если он не сможет, то вам нужно выполнить объемные исследования решений для оценки этого критического числа, шага дискретизации в цифровом решении. Пошаговое решение проблемы в действительности и является дискретизацией функции, так что вы можете использовать адаптивные методы пошагового решения, если вы так пожелаете. На вашей стороне обширная теория и немного практики.

Для точности в цифровых машинах можно использовать увеличение разрядности представления чисел, в то время как показатели точности аналоговых машин редко превосходят одну десятитысячную на компонент, и это в лучшем случае. Таким образом аналоговые машины не могут ни давать очень точные ответы, ни осуществлять «глубокие расчеты». Но часто моделируемая ситуация имеет неопределенности аналогичного размера, и с осторожностью вы можно решать проблему точности.

С течением времени удалось расширить полосу пропускания аналоговых компьютеров, но это было в первую очередь для ускорения вычислений, а не для повышения точности. В любом случае фундаментальные ограничения точности аналоговых частей ограничивают достижимую точность аналоговых компьютеров. Старые механические компьютеры, такие как RDA #2, затрачивали около получаса на решение; электрические компьютеры, ведущие свою родословную от прицельных приспособлений, по-прежнему имели некоторые механические части, но тратили уже минуты; затем появившиеся полностью электронные укладывались за секунды; а теперь некоторые из них могут вывести решение на экране сразу, как только вы вводите данные.

Несмотря на их относительно низкую точность, аналоговые компьютеры все еще имеют определенную ценность, особенно когда вы можете включить часть исследуемого устройства в его цепи, так что вам не придется искать надлежащее математическое описание для его численного моделирования. Некоторые из быстрейших аналоговых компьютеров могут реагировать на изменения параметра, как в начальных условиях, так и в уравнениях, и вы можете непосредственно увидеть на экране эффект от такого изменения. Таким образом, вы можете «ощутить» суть проблемы легче, чем для цифровых машин, для которых обычно требуется больше времени на решение и необходимо иметь полное математическое описание. Аналоговые машины обычно игнорируются в наши дни, так что я считаю себя обязанным напомнить вам об их месте в арсенале инструментария ученого и инженера.

Продолжение следует...

Кто хочет помочь с переводом, версткой и изданием книги — пишите в личку или на почту magisterludi2016@yandex.ru

Кстати, мы еще запустили перевод еще одной крутейшей книги — «The Dream Machine: История компьютерной революции»)