Нейросети переживают второй Ренессанс. Сначала еще казалось, что сообщество, решив несколько прикладных задач, быстро переключится на другую модную тему. Сейчас очевидно, что спада интереса к нейросетям в ближайшем будущем не предвидится. Исследователи находят новые способы применения технологий, а следом появляются стартапы, использующие в продукте нейронные сети.
Стоит ли изучать нейросети не специалистам в области машинного обучения? Каждый для себя ответит на этот вопрос сам. Мы же посмотрим на ситуацию с другой стороны — что делать разработчикам (и всем остальным), которые хотят больше знать про методы распознавания образов, дискриминантный анализ, методы кластеризации и другие занимательные вещи, но не хотят расходовать на эту задачу лишние ресурсы.
Ставить перед собой амбициозную цель, с головой бросаться в онлайн-курсы — значит потратить много времени на изучение предмета, который, возможно, вам нужен лишь для общего развития. Есть один проверенный (ретроградный) способ, занимающий по полчаса в день. Книга — офлайновый источник информации. Книга не может похвастаться актуальностью, но за ограниченный период времени даст вам фундаментальное понимание технологии и способов ее возможной реализации под ваши задачи.
Neural Network Design
Если у вас уже есть базовые знания в области машинного обучения, и вы хотите двигаться дальше, то авторы «Neural Network Toolbox для MATLAB» предложат вам четкое и подробное погружение в фундаментальные основы архитектуры нейронных сетей и методов обучения. Методы обучения приводятся как для нейронных сетей прямого распространения (включая многослойные и радиальные сети), так и для рекуррентных сетей. Дополнительно к книге можно получить иллюстрации и код для примеров (сайт).
Deep Learning (Adaptive Computation and Machine Learning series)
Священная книга сверточных нейронных сетей и глубокого обучения — без шуток, это действительно очень важная книга, которую рекомендуют многие успешные разработчики… и не только они. «Написанная тремя экспертами, "Deep Learning" является единственной всеобъемлющей книгой в этой области», — так сказал Илон Маск, и если вы верите в надежность автопилота Tesla и перспективы проекта OpenAI, то ему можно верить. :)
Книга предлагает математический инструментарий и фундаментальные основы, охватывающие линейную алгебру, теории вероятностей и теории информации, численные методы и непосредственно машинное обучение. В «Deep Learning» описываются методы глубокого обучения, используемые специалистами-практиками в промышленности, в том числе глубокие сети прямого распространения, алгоритмы оптимизации, сверточные сети, методы Монте-Карло, построение сетевой модели и т.д. Кроме того, вы узнаете много интересного про обработку естественного языка, распознавание речи, компьютерное зрение, системы рекомендаций, биоинформатику и даже игры. Проще сказать, чего в этой книге нет… хотя и это сложно — если вы чего-то не найдете на 800 страницах, есть еще сайт к книге с дополнительными материалами.
P.S. Электронная версия книги выложена в открытый доступ.
Neural Networks: A Systematic Introduction
Классика жанра, фундаментальный труд 1996 года из эры до глубокого обучения. Если вы хотите не только познакомиться с предметом машинного обучения, но и стать специалистом в этой области, стоит познакомиться и с таким взглядом на проблематику. В книге меньше (по сравнению с другими в этой подборке) чистой математики, вместо этого делается попытка дать читателю интуитивное понимание концепции нейронных сетей. Делается это за счет глубины подхода — нет попыток сходу написать свою сеть; автор сначала предлагает изучить теоретические законы и модели на примере биологии. Не будем забывать, что каждый человек обладает своей собственной нейронной сетью. На простых примерах показывается, как изменяются свойства моделей, когда вводятся общие вычислительные элементы и сетевые топологии.
Pattern Recognition and Machine Learning (Information Science and Statistics)
Если вам понравится предыдущая книга из подборки, то можете усилить знания схожим по концепции изданием 2006 года. «Распознавание образов и машинное обучение» стал первым учебником по распознаванию образов, представляющим Байесовский метод (хотя сама формула Байеса была опубликована аж в 1763 году). В книге представлены алгоритмы вывода, которые позволяют быстро найти ответы в ситуациях, когда точные ответы невозможны. Автор Кристофер Бишоп, директор лаборатории Microsoft Research Cambridge, первым дал пояснение графическим моделям для описания вероятностных распределений.
P.S. В 2013 году подразделение Microsoft Research выпустила в открытый доступ отдельную книгу Deep Learning.
Programming Collective Intelligence
Одна из лучших книг по основам машинного обучения (в связке с Python), написанная за несколько лет до того, как нейросети обрели культовый статус. Но возраст ей не помеха — методы коллаборативной фильтрации, байесовская фильтрация, метод опорных векторов сохраняют актуальность. Затрагиваются принципы работы поисковых систем (поисковые роботы, индексы, механизмы запросов и алгоритм PageRank), алгоритмы оптимизации, неотрицательная матричная факторизация и другие темы.
Make Your Own Neural Network
Пошаговое путешествие по математике нейронных сетей к созданию собственных сеток с помощью Python. Большой плюс книги — заниженные требования к объему знаний читателя. В области математики потребуются лишь школьные знания (без глубокого погружения). Авторы поставили себе цель дать представление о нейросетях самому широкому кругу читателей. Похвально, учитывая, как много книг написано для продвинутых специалистов.
После прочтения вы сможете сделать главное: писать код на Python, создавать свои собственные нейронные сети, обучая их распознавать различные изображения, и даже создавать решения на базе Raspberry Pi. Математика в книге тоже есть, но она не заставит кричать от ужаса (что возможно, если область вашей деятельности сильно далека от алгоритмов) — математические идеи, лежащие в основе нейронных сетей, даются с большим количеством иллюстраций и примеров.
P.S. Если вы заинтересовались, но не можете заниматься по книге, рекомендуем одноименный блог с большим количеством полезных статей.
Python Machine Learning
«Машинное обучение на Python» это сборник полезных советов для начинающих специалистов по машинному обучению. Почему Python? Так автор захотел, просто ему язык нравится. Себастьян Рашка объясняет самые общие концепции, дополняет их необходимым математическим аппаратом для понимания темы на внутрисистемном уровне, приводит примеры и объясняет способы реализации. Также есть репозиторий на GitHub с общей информацией и примерами кода. Планируется перевод книги на русский язык.
Learning From Data
Эта книга кратко познакомит вас с миром машинного обучения. Кроме того, читателям предоставляется бесплатный доступ к онлайн-главам, которые постоянно обновляются в соответствии с тенденциями в области машинного обучения. Это книга рекомендуется тем, кто только-только начал знакомиться с предметом и не понимает, что значит высказывание «обучение на массиве данных».
Авторы соблюдают баланс между теоретической и практической частью машинного обучения. Эта книга используется в качестве учебного пособия в Калифорнийском технологическом институте, Политехническом институте Ренсселера (США) и Национальном университете Тайваня. Авторы также активно консультируются с финансовыми и коммерческими компаниями по приложениям, использующим машинное обучение.
Artificial Intelligence: A Modern Approach
Популярная книга от известных авторов Stuart Russell и Peter Norvig, которая пережила уже третье издание. Полное, современное введение в теорию и практику искусственного интеллекта, предназначенное для учащихся первых курсов вуза. Книга используется в качестве введения в тему на огромном количестве курсов по Data science и ИИ. Если вас интересует применение нейросетей именно для создания искусственного интеллекта, с нее можно начать путь в этой увлекательной и очень сложной области.
Artificial Intelligence: A Modern Approach есть в открытом доступе.
Neural Networks and Deep Learning
Эта «книга» не совсем книга — у нее даже обложки нет. Но перед вами действительно полноценное издание, выложенное в открытый доступ (по ссылке выше). Майкл Нильсен дает отличное введение в нейронные сети в серии пошаговых примеров, посвященных проблемам распознавания рукописных цифр. Книга хорошо подходит для тех, у кого уже есть опыт машинного обучения, и хочется глубже вникнуть в нейронные сети.
Заключение
Теперь даже программисты, которые почти ничего не знают о технологии глубокого машинного обучения, могут использовать простые и эффективные инструменты для создания самообучающихся программ.
Что касается книг по нейросетям на русском, то отзывы о них противоречивые. «Нейронные сети. Полный курс» Саймона Хайкина отличается повышенной сложностью и неоднозначным переводом (но если вас не пугает, можете ознакомиться). Найти книгу, которая была бы на таком же уровне качества, как и другие издания в подборке, нам так и не удалось. Если вы можете что-то порекомендовать, напишите в комментариях.
Комментарии (43)
Roaming
21.07.2017 18:14Так же, могу порекомендовать «Neural Networks: A Comprehensive Foundation» Саймон Хайкин.
Есть хорошее русскоязычное второе издание.
Old_Chroft
21.07.2017 21:39Цена книги (впрочем, как и некоторых из представленных в посте) безусловно соответствует заявленной цели «что делать разработчикам (и всем остальным), которые хотят больше знать [...] но не хотят расходовать на эту задачу лишние ресурсы».
CrazyFizik
23.07.2017 23:58+1Я думаю те разработчики, которые хотят больше знать следует для начала завязать с поиском халявы.
Профессиональная литература не может стоить дешево, т.к.: а) она печатается небольшими тиражами для узкого круга специалистов и и организаций, б) внезапно она издается для профессионалов, т.е. людей которые делают это все за деньги и книги покупают для того что бы заработать больше.
Локализованные книги в РФ продаются еще по божеским ценам, за бугром специализированная литература стоит уже от 50 и до 5000 баксов. У меня вот все ждет накоплений заказ двух книжек в сумме на 12 килорублей (и это еще дешевый вариант!), денег, конечно жалко, но раскошелиться придется.
А бесплатно знания в школе и универе раздают.
dklein
24.07.2017 09:32В данном конкретном случае цена книги определена не сложностью перевода и не проблемами «её раздобыть», а просто хайпом вокруг нейронных сетей и большим спросом на литературу по этой теме. Для переводчика, к примеру, тексты о нейронных сетях, не сложнее других специализированных текстов в 100 раз, вы же понимаете.
CrazyFizik
24.07.2017 10:43Вообще литературу НЕ по нейросетям найти ещё сложнее и дороже. Как раз благодаря хайпу по нейросетям книжек больше и они дешевле.
Вот например по моей области как оказалось книжка за 1 килобаксов далеко не предел.
Выше я уже привел пример, книга Хайкина по нейросетям переведена на русский и стоит всего 5+ килорублей, другая его книга по Цифровой обработки сигналов и адаптивной фильтрации на русском не существует, а везти ее из-за бугра это баксов 200 минимум — уже в 2 раза дороже. Ну потому что кому нужна цифровая фильтрация, когда есть нейросети? :-)
CrazyFizik
24.07.2017 11:23А для сравнения можете посмотреть Кормэна, Алгоритмы: построение и анализ — он будет стоить порядка 4+ килорублей, Седжвик Алгоритмы С++ порядка 3к, ну а куда более простой Скиена обойдется не дороже тысячи, дешевле даже чем Керриган и Ритчи Язык программирования С — маленькая книжка в мягкой обложке, а стоит полторы тысячи. Каждая книга Кнута сейчас стоит по 3 т.р., а у него их много. Как видите — цены сравнимы, при этом нейросетями занимается куда меньше народу, чем алгоритмами — издание будет меньше. У переведенного Хайкина всего там всего 500 книг на тираж.
Профессиональная литература стоит дорого, чем уровень книги выше, тем она дороже, а если это узкоспециализированная область, то цены могут быть совсем космическими и в России фиг уже купишь
Это вот всяких Донцовых можно печатать на туалетной бумаге десятками тысяч экземпляров и раздавать у входа в метро по 100р — оно окупится.
CrazyFizik
24.07.2017 00:55+1И кстати помимо книг, для те кто хочет больше знать есть еще одна здоровенная статья расходов — подписка на научные журналы: их дофига, читать надо много разных и постоянно.
Но вообще это должна быть головная боль работодателя — он должен и книгами обеспечивать и соответствующие журналы выписывать, а еще лучше покупать корпоративный доступ к IEEEexplore, Springer, Science Direct (Elsevier) и т.д. — на них вообще могут драть по 50 баксов/фунтов за 1 статью (!). Т.е. такие штуки надо рассматривать как и прочие расходы, типа покупки рабочей станции, сред разработки, патентов и т.п.Old_Chroft
24.07.2017 08:54Отвечу на оба ваши комментария сразу.
Мы здесь все же обсуждаем не «профессиональную литературу для профессионалов». Которая естественно стоит хороших денег. В статье четко заявлена цель — преподнести список своего рода «научно-популярных» книг из области НС. Моя текущая работа никак не связана с нейронными сетями, но это не значит что это мне не интересно. Мне не нужен подробный справочник с алгоритмами и полными математическими выкладками за 5.5Крублей, и уж тем более мне не нужна научная статья за 50$, в которой я скорее всего ничего не пойму. Так что дело тут вовсе не в поиске халявы. Астрономы-любители ведь не начинают сразу с постройки «Хаббла»? :-)CrazyFizik
24.07.2017 10:34Любительские телескопы стоят от 30 и до 200 килорублей, совсем начального уровня — 10..20, я уж не говорю про аксессуары к ним. Астрономические же атласы тоже не из дешёвых, плюс там всякие поездочки, по всяким Чили, Карелиям и т.п. Астрономия увлечение ну совсем не из дешевых — плохой пример.
А научно-популярно можно почитать на Википедии, но вообще это все бесполезный информационный шум, можно бесплатно почитать хелп на сайте Mathworks (сам Матлаб правда более чем платный).
Мне не нужен подробный справочник с алгоритмами и полными математическими выкладками за 5.5Крублей, и уж тем более мне не нужна научная статья за 50$, в которой я скорее всего ничего не пойму
Тогда не покупайте, в чем проблема? Тут все просто — либо тратитесь, либо не занимайтесь этим вообще. Тем более не стоит надеятся что здесь можно что-то неакадемическое найти — оно попросту работать не будет.Old_Chroft
24.07.2017 11:25Похоже, вы все таки не заметили сарказма в моем первом комментарии:
Цена книги [...] соответствует заявленной цели [...] хотят больше знать [...] но не хотят расходовать
Плюс общий посыл статьи — что почитать начинающему.
А пример про астрономию хороший, может несколько гипертрофированный. Начинающие астрономы не начинают с орбитальных обсерваторий. Согласитесь, его стоимость мало сопоставима с «поездочками по всяким Чили» :-)
За сим прекращаю бесполезный (с моей точки зрения) спор на тему «нужна ли любителю профессиональная литература на много денег».
Roaming
21.07.2017 18:22+1Вот тут можно заказать, после окончания печати «Deep Learning» Яна Гудфеллоу (Google).
mefrill
21.07.2017 19:21O'Reilly выпустила книжку Fundamentals of Deep Learning. В принципе, читается неплохо, хорошее введение в TensorFlow.
Arastas
21.07.2017 19:44Скажите, пожалуйста, а книга Python Machine Learning — это про машинное обучение в общем, или, в основном, про нейронные сети? Там такие расплывчатые формулировки в оглавлении.
Я изу себе какую-то вводную книгу по машинному обучению, но не хочу застрять только на сетях.IliaSafonov
21.07.2017 22:02Можно сказать, что в общем. Нейронным сетям там посвящено только две главы из 13. Ссылка
Barry_Y
22.07.2017 11:18Та что за авторством Sebastian Raschka? Про машинное обучение в общем. Вплотную там о нейросетях лишь главы 12 и 13.
LuchS-lynx
22.07.2017 11:33Я может глупость спрошу, но ия волнует один вопрос, а есть ли готовые программы, которые можно установить и использовать локально, подсовывая им обучающую выборку для тестов и собственного использования, например распознавания речи, поиска дублирующих файлов на пк или из частей, управление командами и т.п.?
niksite
22.07.2017 19:52Можно начать с https://github.com/jupyter/jupyter/wiki/A-gallery-of-interesting-Jupyter-Notebooks
Вообще, последнее время стало модно публиковать научные работы с приложением python notebook, дабы коллеги могли сразу и проверить работу идеи. Соответственно, таких notebooks очень много доступно на все возможные темы.
3draven
23.07.2017 01:44Для не желающих платить 5500 за книжку. Можно за 50р стедать переплет самому. В инете есть моя статья на эту тему :) Причем настоящий книжный :) Такова реальная себестоимость производства книги дома. Вместе с печатью… была года два назад. Сейчас наверное уже рублей 100 целых :)
Но это обычно лень. потом идете в крупную «копирную» контору и там печатаете с переплетом на скрепках. Обойдется около 1000р за книгу.3draven
23.07.2017 01:49https://drive.google.com/file/d/0BxF5azYQRni4amszbk8zWkFiWmw5ZDlWSWxhajUtRFlsSDlz/view?usp=sharing
До сих пор мои книжки служат мне. Эта по спрингу %)
А сходящие с ума издательства надо посылать к черту. Книги по 5-6тыс продавать. Офигеть можно.3draven
23.07.2017 01:59Ради такого дела нашел свой древний блог :)
https://eztechno.blogspot.ru/2012/06/blog-post.htmlOld_Chroft
23.07.2017 14:11Спасибо за подробное описание как превратить файл в бумажную книгу. Но в случае с «Neural Networks: A Comprehensive Foundation» он мало применим (хотя конечно дело вкуса): я себе плохо представляю 1000-страничную книгу размером А5 — это будет нечто похожее на кирпич, даже если печатать на тонкой бумаге :-)
3draven
23.07.2017 14:13В блоге написано, что надо бумагу купить дешевую «Для машинописных работ». Кирпича не будет.
1. Она будет тоньше обычной магазинной книги и так же удобна с такой бумагой.
2. Подели на нужное количество частей, если бумагу не найдешь (бумага в любом канц магазе есть).
Бумага бывает писчая и пр. 45-65г/м2. Плотности. Очень удобная при чтении, хотя пока не сошьешь переплет кажется тонковата.3draven
23.07.2017 14:20Я брал 65грамм бумагу. Для машинописных работ. Получается чуть тоньше магазинной книги и очень удобно. В бумагу в магазинах добавляют хлопок, от чего страницы более прочны. Но. Когда сшит переплет это на деле не имеет значения, если книгой не пользуется в библиотеке 100 человек. При этом цвет бумаги для машинописных работ не белый, а немного сероватый или желтоватый, что просто идеал.
Но потом обленился и стал просто делить книги на части и брать снегурочку :) Дело вкуса.
С бумагой для машинописных работ получается «совсем настоящая книга». Только принтер ее из за тонкости иногда ест по несколько листов, потому надо печать контролировать, зажимая пачку пальцем.3draven
23.07.2017 14:22Плюс. Шитый переплет придумали что бы кирпичи читать было удобно. Это его назначение. Толстенный цельный талмуд по питону из снегурочки читать удобно. Так как открывается он легко. Особенность переплета такая.
Old_Chroft
23.07.2017 14:38Я видел что написано про бумагу. Я иногда тоже печатаю книги (на обычной бумаге для принтеров) — и книжка на 300-400 страниц получается совсем не тоненькой. Переплеты делаю «по-колхозному»: печатаю просто на А4, зажимаю стопку листов в «спец-устройстве» (две узенькие фанерки, скручивающиеся болтами, и в них просверлены разметочные отверстия с шагом 15 мм) и просверливаю тонким сверлом. Потом иголка-нитка и все ок :-) С размером А5 и толстой книгой такой фокус уже не прокатит — читать будет очень неудобно.
oldbie
23.07.2017 15:27Простите за занудство, но книга с печатью не может стоить 50р, вы скорее всего неточно считаете. Например не заложили клей, который "все равно есть" или иные расходники. Вообще норм. бумага уже будет стоит дороже.
3draven
23.07.2017 15:43Бумага для машинописных работ стоит 60р за 500 листов там где я брал. Она еще и идеальна для книги. Рассчет приведен в блоге. 500 листов это 2000 страниц книги. Все я нормально считал.
Old_Chroft
23.07.2017 16:00Простите за занудство, но «своими силами» все равно дешевле будет. Вот сильно-сильно упрощенный подсчет: Клей 50р. + Бумага писчая 500 листов 200 р… + нитки 30р. + тесьма 20р. = 300 р. Обложку не считаю — тут сильно индивидуально (можно и из домашнего барахла склеить). Амортизацию принтера и стоимость тонера еще посчитаем + 300 р. Итого — 600. Потраченное время… ну, будем считать это своеобразным хобби. Это все равно меньше, чем 5.500 рублей.Но ведь все же понимают, что в стоимость книги из издательства включено еще много чего: начиная от гонорара автора до зарплаты уборщицы в офисе издательства. А некоторые книги просто уже не купишь, а читать с монитора — как то хуже доходит что ли :-)
3draven
23.07.2017 16:03Причем 600р это макс стоимость первой книги. Вторая будет 100р так как все уже будет и это развлечение, а не работа.
oldbie
23.07.2017 16:35Мы с Вами об говорим об одном и том же, ведь я и не утверждаю что дороже. Просто цена в 50р кажется нереальной, сегодня на 50р можно только жвачку себе позволить. А в подобных выкладках почти всегда кроются ошибки вроде такого:
можно и из домашнего барахла склеить
Потраченное время… ну, будем считать это своеобразным хоббиКонечно!, но тогда это хобби и цена вопрос второй. И уж если браться за сравнение, то и условия должны быть равными. Ведь бизнес в своем ценнике считает все до последней скрепки да еще маржу сверху и не вычеркивает целые статьи расходов за "незначительностью". Поэтому такие вот допущния это… подтасовка что-ли, в ползу нужного варианта и сравнение выходит как минимум некорректным.
P.S. вообще сравнивать бизнес и домашние поделки некорректно само по себе =)
/зануда офф.
3draven
23.07.2017 16:43Никакого сравнения не проводилось. Книга сделаная самостоятельно для меня лично обходится минимум в 10 раз дешевле. Это многократно проверенный факт. Около 50р раньше… на время статьи в блоге. Нечего тут сравнивать. Мне все равно сколько бабла с меня хочет издатель, факта сравнения нет.
3draven
23.07.2017 16:05Стоимость тонера я учитывал. Аммортизация принтера значения не имеет, у меня еще не ломались хьюлитовские лазерники, они вечные.
CrazyFizik
23.07.2017 23:49+1Не вижу здесь Симона Хайкина: S. Haykin, Neural Networks: A Comprehensive Foundation (переведена русский — «Нейронные сети. Полный курс») и S. Haykin, Neural Networks and Learning Machines. Более обширной и фундаментально книги по нейросеятм нет. Тем более у него же есть книга по смежной и очень тесно связанной области с которой все собственно и начиналось — адаптивной фильтрации: S.Haykin. Adaptive filtration, без знаний в которой копаться в машинном обучении будет несколько проблематично.
И нет Тойво Кохонена, Самоорганизующиеся карты (T. Kohonen, Self-Organizing Maps).
Ну и начинать наверное надо вообще с азов, т.е. с Уидроу Б., Стирнз С. Адаптивная обработка сигналов. (B. Widrow and S. D. Stearns. Adaptive Signal Processing.) Это тот самый мужик, который и заложил основы для всех этих ваших нейросетей и их бэк-пропагейшенов. Кстати мужик еще живой (как и Пенроуз), на Ютубе лекции читает не смотря на свои 87 лет.
Ну основное достоинство этих книг, помимо фундаментальности, то что они все же существуют на русском языке (кроме Adaptive filtration Хайкина, её уже даже на китайский перевели, а на английский все нет)
leshabirukov
24.07.2017 18:03Artificial Intelligence: A Modern Approach переведена на русский.
Не понравилась совсем. Претендует на всеохватность, а излагаются только байесовские методы, подходам типа логического программирования и нейросетей там посвящено страниц по тридцать, с итогом «как видите, всё это полная фигня по сравнению с байесом».
atikhonov
Вторая книга переведена и поступает в продажу
Goron_Dekar
Где можно заказать?