05.10.2016 15:21
anastasiagrishina 29 16600 Источник
Привет, Хабр! Последнее время все больше и больше достижений в области искусственного интеллекта связано с инструментами глубокого обучения или deep learning. Мы решили разобраться, где же можно научиться необходимым навыкам, чтобы стать специалистом в этой области.

image


1. “Deep Learning” от Google


Лектор: Vincent Vanhoucke, ведущий научный сотрудник Google, руководитель по технологиям проекта Google Brain
Платформа: Udacity
Стоимость: бесплатно
Язык: английский
Длительность: приблизительно 3 месяца (можно проходить в собственном темпе)
Сроки проведения: свободные, постоянный курс
Ссылка на курс: www.udacity.com/course/deep-learning--ud730

Программа

Машинное обучение: основы машинного обучения, логистическая регрессия, стохастическая оптимизация, загрузка и предобработка данных, подбор параметров, кросс-валидация, оценка качества.

Глубокие нейронные сети: введение в нейронные сети, архитектура глубоких нейронных сетей, подбор гиперпараметров, регуляризация.

Сверточные нейронные сети: введение и основные принципы работы, архитектура сверточных нейронных сетей, регуляризация и подбор параметров, обработка изображений и другие приложения.

Глубокие нейронные сети для работы с текстами: основные подходы к обработке текстов в машинном обучении, мешки слов, word2vec, рекуррентные нейронные сети, LSTM, регуляризация.

Преимущества

  • Курс от лидеров индустрии Google, в котором они широко используют свою библиотеку глубокого обучения TensorFlow — активно развивающийся и один из лучших доступных на сегодняшний день инструментов.
  • Большое количество интерактивных опросов и интересных практических заданий в формате iPython notebook + курсовой проект: разработка мобильного приложения, распознающего цифры на изображениях с камеры телефона в реальном времени.
  • Активные форумы курса, возможность обсуждения заданий с преподавателями и другими студентами.
  • Программа не перегружена, покрывает как общую теорию нейронный сетей, так и их основные типы, используемые в глубоком обучении: сверточные и рекуррентные.

Недостатки

  • Курс на английском языке.
  • Достаточно высокая сложность: насыщенный курс продвинутого уровня, имеет ограниченную вводную часть, которая охватывает только часть базовых тем машинного обучения, не включает математику и основы Python.
  • В практических заданиях использованы стандартные учебные задачи распознавания изображений и обработки текстов, практические приложения изученных моделей к задачам бизнеса в заданиях отсутствуют и в курсе не обсуждаются.
  • В бесплатной версии все практические задания проверяются самим учащимся на основе результатов работы моделей и метрик качества, получение комментариев от преподавателей или других студентов не предусмотрено.


2. Neural Networks for Machine Learning от Университета Торонто


Лектор: Geoffrey Hinton, профессор университета Торонто, известный британский информатик и когнитивный психолог, внесший большой вклад в теорию искусственных нейронных сетей.
Платформа: Coursera
Стоимость: бесплатно
Язык: английский
Длительность: 4 месяца
Сроки проведения: сейчас стартует перезапуск после перерыва с 2012 года
Ссылка на курс: www.coursera.org/learn/neural-networks

Программа

Введение, обучение персептронов, процедура обратного распространения ошибки, получение векторов признаков для слов, распознавание объектов с помощью нейронных сетей, оптимизация: ускорение процесса обучения, рекуррентные нейронные сети, улучшение обобщающей способности нейронных сетей, комбинирование нейронных сетей, сети Хопфилда и машины Больцмана, ограниченные машины Больцмана, нейронные сети Deep Belief, глубокие нейронные сети с генеративным предобучением, моделирование иерархических структур, новые приложения глубоких нейронных сетей.

Преимущества

  • Автор курса – выдающийся ученый, один из пионеров в области искусственных нейронных сетей.
  • Курс покрывает как общие принципы построения и работы нейронных сетей, так и их современное развитие вплоть в рамках глубокого обучения с приложениями к распознаванию речи и визуальных объектов, сегментации изображений, моделированию естественных языков и человеческих движений и т.д. Нейронные сети здесь изучаются очень глубоко, многие темы в других курсах не рассматриваются.
  • После рассмотрения каждого из алгоритмов даются практические советы по его применению для решения задач машинного обучения, построению архитектуры и подбору параметров.
  • Доступны лабораторные задания и тесты.
  • Данный курс имеет очень большое количество слушателей и проводится не в первый раз, имеет обширные форумы, где можно задать вопросы и обсудить задания.

Недостатки

  • Высокая сложность: много математики, достаточно сложные задания для самостоятельной работы, обширная теоретическая часть, насыщенная программа.
  • Задания выполняются в Octave, а не в Python, современные библиотеки глубокого обучения не используются.
  • Высокий порог вхождения: для прохождения курса будет достаточно хороших знаний математики, однако перед этим курсом рекомендуется сначала пройти курс по машинному обучению от Andrew Ng на той же платформе, иначе будет слишком много новой информации и курс будет тяжело воспринимать.


3. “Нейронные сети” от Института биоинформатики


Лекторы: Анатолий Карпов, аспирант кафедры общей психологии СПбГУ, читает курс математической статистики и анализ данных в R для биологов в Институте биоинформатики; Арсений Москвичев, инженер-исследователь, выпускник биологического факультета СПбГУ; Анастасия Миллер, математико-механический факультет СПбГУ, JetBrains.
Платформа: Stepik
Стоимость: бесплатно
Язык: русский
Длительность: приблизительно 3 месяца (можно проходить в собственном темпе)
Сроки проведения: курс завершен, но сохранен свободный доступ к материалам
Ссылка на курс: stepik.org/course/Нейронные-сети-401

Программа

Основы линейной алгебры, перцептрон и градиентный спуск, алгоритм обратного распространения ошибки, мониторинг состояния сети, заключение.

Преимущества

  • Курс на русском языке.
  • Не очень высокая сложность, будет понятен не только выпускникам технических и физико-математических специальностей, но даже школьникам.
  • Невысокий порог вхождения: требуется только знание Python и школьной математики.
  • В лекции встроено большое число практических заданий и тестов, также курс содержит ряд полноценных практических заданий в формате iPython Notebook.

Недостатки

  • Не используются современные библиотеки и фреймворки глубокого обучения.
  • Вводный курс: посвящен собственно нейронным сетям, составляющим основу глубокого обучения, но конкретные видов нейронных сетей, используемых в глубоком обучении, и их приложения в программе курса отсутствуют.
  • Курс ориентирован на академическое сообщество, в том числе на школьников и студентов, бизнес-приложения не обсуждаются.

4. “Convolutional Neural Networks for Visual Recognition” от Стэнфорда


Лекторы: профессор и руководитель лабораторий компьютерного зрения и искусственного интеллекта Стенфордского университета Fei-Fei Li и ее ученики Justin Johnson и Andrej Karpathy (PhD студенты)
Платформа: Stanford University
Стоимость: бесплатно
Язык: английский
Длительность: приблизительно 3 месяца (можно проходить в собственном темпе)
Сроки проведения: свободные
Ссылка на курс: cs231n.stanford.edu

Программа

Введение в компьютерное зрение, линейная классификация изображений, оптимизация, стохастический градиентный спуск, введение в нейронные сети, обучение нейронных сетей, введение в сверточные нейронные сети, сверточные нейронные сети для локализации объектов, визуализация сверточных нейронных сетей и построение изображений, рекуррентные нейронные сети, длинные сети короткой памяти, обзор библиотек глубокого обучения, практика обучения сетей: мультипроцессность, использование GPU/CPU, эффективные свертки, курсовой проект.

Преимущества

  • Высокая академическая репутация университета.
  • Полнота программы: программа охватывает как общие принципы работы нейронных сетей и их обучения, так и основные виды нейронных сетей, используемых не только в компьютерном зрении, но и в глубоком обучении в целом.
  • Обсуждаются практические вопросы обучения нейронных сетей на GPU/CPU, современные библиотеки глубокого обучения.
  • Для внешних слушателей курса создано сообщество в reddit, где можно обсудить задания и задать вопросы.

Недостатки

  • Курс на английском языке.
  • Высокая сложность, ориентация на академическое сообщество: это оригинальный курс Стэндфордского университета, ориентирован на его студентов.
  • Больше теории, чем практики, конкретным библиотекам и программным реализациям уделяется меньше времени, чем теоретической части, курс не привязан к конкретной библиотеке.
  • Высокие входные требования: необходимы прочные знания математики, машинного обучения, Python и его библиотек.
  • Это не массовый онлайн курс, а опубликованные в открытом доступе материалы университетского курса.

5. “Deep Learning for Natural Language Processing” от Стэнфорда


Лекторы: Richard Socher, профессор Стенфордского университета и ведущий научный сотрудник Salesforce.
Платформа: Stanford University
Стоимость: бесплатно
Язык: английский
Длительность: приблизительно 3 месяца (можно проходить в собственном темпе)
Сроки проведения: свободные, но не все лекции есть
Ссылка на курс: cs224d.stanford.edu

Программа

Введение в обработку естественных языков и глубокое обучение, простые векторные представления слов: word2vec, GloVe, продвинутые векторные представления слов, нейронные сети для распознавания именованных сущностей, практические вопросы конструирования сетей, обучения и подбора параметров, введение в TensorFlow, рекуррентные нейронные сети, сети GRU и LSTM и их использование в машинном переводе, рекурсивные нейронные сети их применение в парсинге и анализе тональности, сверточные нейронные сети в классификации текстов, распознавание речи, машинный перевод, модели seq2seq, будущее нейронных сетей для обработки естественных языков: сети динамической памяти, курсовой проект.

Преимущества

  • Высокая академическая репутация университета.
  • Полнота программы: охвачены все основные модели и виды нейронных сетей, используемых в глубоком обучении для анализа текстов, в том числе перспективные и развивающиеся.
  • Используется современная библиотека глубокого обучения TensorFlow, охвачены практические вопросы обучения сетей, построения их архитектуры и подбора параметров.
  • Курс имеет отдельный форум на платформе Piazza, где можно обсудить задания и задать вопросы.

Недостатки

  • Курс на английском языке.
  • Высокая сложность, ориентация на академическое сообщество: это оригинальный курс Стэндфордского университета, ориентирован на его студентов.
  • Больше теории, чем практики, конкретным библиотекам и программным реализациям уделяется меньше времени, чем теоретической части.
  • Высокие входные требования: необходимы прочные знания математики, машинного обучения, Python и его библиотек.
  • Это не массовый онлайн курс, а опубликованные в открытом доступе материалы университетского курса.

6. “Data Science: Deep Learning in Python” от Lazy Programmer


Автор курса: аналитик данных, разработчик и big data инженер с широким академическим опытом (преподавал математический анализ, статистику, машинное обучение, алгоритмы, компьютерную графику и физику в университетах Columbia University, NYU, Humber College и The New School) и опытом работы с онлайн рекламе и digital media, скрывающийся под именем Lazy Programmer. Помимо данного курса ведет еще ряд курсов по глубокому обучению.
Платформа: Udemy
Стоимость: 120$
Язык: английский
Длительность: не указана, курс содержит 37 лекций, объединенных в 7 разделов
Сроки проведения: свободный, постоянный курс
Ссылка на курс: www.udemy.com/data-science-deep-learning-in-python

Программа

Введение в нейронные сети, многоклассовая классификация, обучение нейронных сетей, настройка гиперпараметров, кросс-валидация, регуляризация, работа с TensorFlow, проекты: распознавание выражение лица и предсказание поведения пользователя сайта.

Преимущества

  • Большое количество тестов и практических заданий, в том числе 2 курсовых проекта.
  • Низкий порог вхождения: требуются только некоторые сведения из высшей математики и основы Python.
  • Практико-ориентированный курс, не перегруженный математикой и сложной теорией, однако содержащий все необходимые теоретические сведения.
  • Курс охватывает как основы теории нейронных сетей, так и конкретные виды нейронных сетей, применяемые в глубоком обучении.
  • Курс ориентирован в том числе и на практические приложения в бизнесе, содержит курсовой проект в области, в котором студенты будут предсказывать поведение пользователя на сайте Интернет-магазина.
  • Используются современные библиотеки анализа данных и глубокого обучения, в том числе TensorFlow.

Недостатки

  • Курс на английском языке.
  • Не бесплатный, имеет достаточно высокую цену для онлайн-курсов.
  • Ограниченная программа: курс покрывает только часть основных тем глубокого обучения, например, обработка текстов и рекуррентные нейронные сети оставлены за рамками этого курса, но их можно найти в других курсах автора.


7. “Reinforcement Learning” от Georgia Institute of Technology


Лекторы: Charles L. Isbell, Georgia Institute of Technology, профессор, специалист в области искусственного интеллекта. Michael L. Littman, Brown University, профессор, специалист в области обучения с подкреплением.
Платформа: Udacity
Стоимость: бесплатно
Язык: английский
Длительность: приблизительно 4 месяца (можно проходить в собственном темпе)
Сроки проведения: свободные, постоянный курс
Ссылка на курс: www.udacity.com/course/reinforcement-learning--ud600

Программа (неполная)

Введение в обучение с подкреплением, марковские процессы принятия решений, в т.ч. обобщенные и частично наблюдаемые, вознаграждения и их последовательности, политики и их поиск, поведенческие структуры, оценка политик и агентов, TD-обучение (temporal difference), Q-обучение, сходимость, продвинутый алгоритмический анализ, стратегия исследования (разведки), теория игр и ее связь с машинным обучением.

Преимущества

  • Курс подготовлен ведущими исследователями в области обучения с подкреплением.
  • Очень широкий охват тем, включая смежные области, такие как теория игр.
  • Большое количество интересных практических заданий.
  • Несмотря на то, что в сфере глубокого обучения с подкреплением были получены выдающиеся результаты (например, AlphaGo от Google DeepMind) и это направление достаточно перспективно, в других курсах, представленных в данном обзоре, тема обучения с подкреплением не раскрывается.

Недостатки

  • Курс на английском языке.
  • Высокий порог вхождения: необходимы знания машинного обучения и математики на уровне выпускника западного университета. Также требуется знать язык Java, введение в Java в курсе отсутствует.
  • Высокая сложность: много математики, обширная теоретическая часть.
  • Охватывает только одно направление достаточно специфичное направление машинного обучения, применяющееся в области искусственного интеллекта.
  • Не все разделы курса посвящены именно глубокому обучению. Для глубокого обучения с подкреплением вы можете дополнительно использовать материалы курса Deep Reinforcement Learning, Berkley.
  • Курс ориентирован на академическое сообщество, бизнес-приложения не рассматриваются.


Список других онлайн-курсов по глубокому обучению есть в подборке Eclass.cc

TL:DR В сухом остатке преимущества большинства онлайн-курсов заключаются в их стоимости, удобстве (можно учиться из любого места в любое время), хорошем охвате теоретических тем. Основные недостатки: ориентация на академическое сообщество и недостаточное внимание практическим вопросам, большинство программ на английском языке.

Недавно на Data Science Week мы анонсировали свою очную программу по deep learning.

“Deep learning” от New Professions Lab


Преподаватель: Григорий Сапунов, CTO и сооснователь Intento, экс-руководитель разработки сервиса Яндекс.Новости. Программирует более 20 лет, из них около 15 лет занимается анализом данных, искусственным интеллектом и машинным обучением, с 2011 года занимается Deep Learning, участвовал в проектах RoadAR (нейросетевое распознавание объектов на дороге), Icon8 (нейросетевые фильтры) и др.
Площадка: Москва, м. Краснопресненская
Стоимость: 60 тыс. руб.
Язык: русский
Длительность: очный день + неделя лабораторной работы + очный день
Сроки проведения: с 26 ноября по 3 декабря
Ссылка на курс

Программа

День 1
Обзор современных возможностей нейронных сетей
Основы нейронных сетей
Принципы классификации изображений. Сверточные сети (CNN)
Case studies. Разбор известных моделей: LeNet, AlexNet, …
Практика: Библиотека Caffe. Создание собственного нейросетевого классификатора с нуля
Использование свёрточных сетей для других задач (перенос стиля, детекция/сегментация, классификация текстов, …)
Case studies: Перенос стиля изображения. Как работают алгоритмы, стоящие за сервисами типа Prisma

Недельная лабораторная работа по классификации изображений.

День 2
Разбор лабораторной работы и награждение победителей
Основы рекуррентных сетей (RNN)
Классификация текстов с помощью нейросетей. Word2vec, doc2vec. Полносвязные сети, свёрточные сети, рекуррентные сети для классификации
Практика: Библиотека Keras/Theano. Работа по сентимент-анализу текстов с использованием RNN
Sequence Learning и парадигма seq2seq. Примеры задач, решаемые с помощью seq2seq: перевод, генерация текстов, распознавание речи, …
Case study: “Создаем чат-бота”. Генерация текстов в диалогах
Мультимодальное обучение. Связь свёрточных и рекуррентных сетей. Case study: генерация описаний картинок
Мастер-класс применения deep learning в бизнесе

Особенности программы:

  • Упор на решение практических задач
  • Разбор бизнес-кейсов
  • Теории ровно столько, чтобы начать становиться специалистом в области глубокого обучения
  • Лабораторная работа на выданной GPU-машине в облаке
  • Возможность задавать вопросы преподавателю
  • Отсутствие удаленного участия (на текущий момент)
  • Теоретическим вопросам не уделяется такого же внимания, как в онлайн-курсах


Почитать подробнее о нашей программе можно здесь, а по коду HABR-DL (его нужно сказать менеджеру) вы получите скидку 10%.

Будем рады вашим комментариям и вопросам.
Поделиться с друзьями
-->

Комментарии (29)


  1. samodum
    05.10.2016 18:28
    #9843358
    +1

    Спасибо! Отличная подборка!


  1. potan
    05.10.2016 19:31
    #9843452

    А почему «octave» указано как недостаток? Он по синтаксису практически совпадает с matlabом, с которым при анализе данных стоит познакомится. Но, в отличие от matlabа свободный.


    1. ternaus
      05.10.2016 20:26
      #9843512
      +6

      Во-первых, потому что, что у Matlab, что у Octave нет нормальной IDE уровня pycharm, и как следствие невозможность рефракторить код. => большие проекты очень тяжело поддерживать и улучшать.


      Во-вторых, потому при работе с нейронными сетями достаточно много предобработки и постобработки данных и прочей инженерии. Многое можно делать в MatLab, но обычно это море боли.


      В-третьих, хочется чтобы при работе с нейронными сетями прокачивались и другие навыки, а именно умение писать код, который пригодится, например, при поиске работы. А MatLab, в индустрии не очень распространен.


      Не так давно я написал текст по мотивам работы в стартапе, который использовал MatLab в Data Science и попытался объяснить почему мне это не понравилось. => Из физиков в Data Science (Из двигателей науки в офисный планктон). Вторая часть


      Вот прямо сейчас проходит соревнование по машинному обучению, в котором надо предсказать эпилептические припадки => https://www.kaggle.com/c/melbourne-university-seizure-prediction


      Его спонсирует Matlab и даже выдает бесплатную лицензию. Можно использовать много различных подходов к этой проблеме, но нейронные сети один из наиболее перспективных. Есть подозрение, что в итоге в топе не будет никого, кто бы использовал MatLab. При всем уважении к этому инструменту есть гораздо более внятные альернативы, которые дадут как минимум не худший результат, но быстрее и с меньшей болью.


    1. mungobungo
      05.10.2016 21:13
      #9843574
      +3

      Потому что октав не умеет в CUDA, cudann и тому подобные вещи для интеграции глубоких сетей с GPU

      Потому что для питона есть куча готовых моделей и на нем написан TensorFlow в который гугл вбахивает очень много

      Потому что большинство статей по дип лернингу зачастую имею гитхаб репозитории с готовыми моделями на питоне.

      Если рассматривать машинное обучение в целом и если есть желание поколупать математику октав ок. Но есть scikit.learn, numpy, и прочая прочая прочая

      Плюс как правильно подсказывают удобные IDE

      И еще python notebooks

      Я в свое время прошел курс Andrew Ng, который использовал как раз octave
      Потом был курс от яндекса на питоне. На питоне легче.
      cs231n.stanford.edu использует питон
      cs224d.stanford.edu использвет питон
      www.udacity.com/course/deep-learning--ud730 тоже использует питон

      Если есть большое желание разобраться с нуля именно в дип лернинге то cs231n.stanford.edu
      Если нет времени но разобраться все равно хочется, то

      http://brohrer.github.io/how_convolutional_neural_networks_work.html


      1. ternaus
        05.10.2016 22:10
        #9843684
        +3

        Спаведливости ради замечу, что билиотека caffe использует CUDA, cudnn и прочее, и к ней можно прикрутить octave/matlab interface.


        Хотя keras с theano / tensorflow backend все-равно гораздо удобнее. А neon, еще и быстее.


        1. mungobungo
          05.10.2016 22:19
          #9843698
          +1

          ну к кафе можно и пхп прикрутить раз уж на то пошло )


      1. potan
        05.10.2016 22:21
        #9843700
        +1

        Для octave notebook тоже есть. Эта технология к языку не привязана.


  1. enabokov
    05.10.2016 21:02
    #9843556
    +1

    А где же курс Машинного обучения от Физтеха и Яндекса на Корсере?


    1. a-pichugin
      06.10.2016 12:12
      #9844392
      +1

      Думали, добавлять или нет. Решили сделать подборку конкретно специализированных курсов по deep learning.


  1. mephistopheies
    05.10.2016 21:28
    #9843600
    +6

    а где недостатки в вашем курсе?


    1. MuradGazibekov
      06.10.2016 12:02
      #9844372
      -3

      ИМХО, трудно оценить себя(или результат своей работы) объективно, поэтому выявить преимущества и недостатки суждено людям, прошедшим этот курс.


      1. mephistopheies
        06.10.2016 12:27
        #9844420

        ну а попробуйте сравнить ваш курс и курс Хинтона, например? я же не предлагаю вам оценить хороший у вас курс или нет, а оценить по конкретным параметрам, которые объективны, вот вы написали что у Хинтона трудный, а у вас какой? ну и так далее


        1. a-pichugin
          06.10.2016 12:49
          #9844464
          -1

          Постарался выделить объективные параметры.

          Сложность: средняя. Преподаватель очень хорошо умеет объяснять сложные вещи простыми словами, а не наоборот, умеет доносить интуицию, которая скрывается за тем или иным алгоритмом. Тем не менее, есть требования для входа: человек должен уже обладать знаниями в области машинного обучения + уметь пользоваться Linux.

          Упор: практика и бизнес. Теории ровно столько, чтобы уметь решать практические задачи. Серия разборов кейсов — как это все применять в бизнесе и какие есть подводные камни.

          Инфраструктура: виртуальная машина с GPU, на которой всю неделю 24/7 можно решать лабораторную работу по классификации изображений.

          Поддержка: преподаватель и координатор будут на связи постоянно, помогая в непонятных моментах.

          Нетворк: знакомство с людьми, которые развиваются в том же направлении.

          Стоимость: программа платная в отличие от большинства онлайн-курсов.

          Участие: пока только очное.


          1. mephistopheies
            06.10.2016 13:00
            #9844478
            +1

            ну теперь если по вашей логике отсортировать, то получится так

            Преимущества

            • Упор: практика и бизнес. Теории ровно столько, чтобы уметь решать практические задачи. Серия разборов кейсов — как это все применять в бизнесе и какие есть подводные камни.
            • Инфраструктура: виртуальная машина с GPU, на которой всю неделю 24/7 можно решать лабораторную работу по классификации изображений.
            • Поддержка: преподаватель и координатор будут на связи постоянно, помогая в непонятных моментах.


            Недостатки
            • Сложность: средняя. Преподаватель очень хорошо умеет объяснять сложные вещи простыми словами, а не наоборот, умеет доносить интуицию, которая скрывается за тем или иным алгоритмом. Тем не менее, есть требования для входа: человек должен уже обладать знаниями в области машинного обучения + уметь пользоваться Linux.
            • Стоимость: программа платная в отличие от большинства онлайн-курсов.
            • Участие: пока только очное.


            то что есть везде можно вынести за скобки я думаю:
            • Нетворк: знакомство с людьми, которые развиваются в том же направлении.


            И позвольте еще пару вопросов задать по поводу оценок?

            В практических заданиях использованы стандартные учебные задачи распознавания изображений и обработки текстов, практические приложения изученных моделей к задачам бизнеса в заданиях отсутствуют и в курсе не обсуждаются.

            Почему это плохо? Вам не кажется, что преподы топовых вузов не спроста выбирают всегда именно эти датасеты?

            Вводный курс: посвящен собственно нейронным сетям, составляющим основу глубокого обучения, но конкретные видов нейронных сетей, используемых в глубоком обучении, и их приложения в программе курса отсутствуют.

            А у вас за 2 дня не вводный?

            Это не массовый онлайн курс, а опубликованные в открытом доступе материалы университетского курса.

            Так у вас не массовый, может тоже в недостатки?

            Ограниченное число студентов, за все время всего 2500 – ограниченные возможности пользоваться форумами и помощью community.

            Вы серьезно? Извините, но похоже на высасывание недостатков из пальца.

            Ну что добавим в статью это?


            1. a-pichugin
              06.10.2016 13:15
              #9844500
              -1

              Давайте начнем с того, что мы не претендуем на истину в последней истанции. Любой обзор чего угодно содержит в себе степень субъективизма и любой читатель, а тем более человек разбирающийся в этой области как вы, имеет полное право с чем-либо не согласиться. Для этого и есть комментарии, в которых участники обогащают общую картину мира, как это и происходит сейчас.

              1) У меня нет точного знания, почему преподаватели топовых вузов выбирают эти датасеты. Причин может быть масса: нет доступа к другим датасетам; они уже однажды были хорошо разобраны и нет смысла что-то менять (path dependence); они удобны по каким-то другим причинам. Мы можем только догадываться.

              2) Конечно, вводный. Я так и написал, что теории ровно столько, чтобы начать решать задачи в этой области. Мы стремимся дать базу, с которой можно работать дальше. Попробовать deep learning на практике на нескольких задачах, убедиться, что это не страшно, и выстроить в голове фреймворк, который дальше можно целенаправленно заполнять, уже понимая, что к чему в этой области. Понятно, что за два дня невозможно стать экспертом в области, но начать им становиться можно.

              3) Конечно, не массовый, это же очное участие.

              4) По количеству студентов — согласен, тут может быть перегнули.

              Спасибо за участие в дискуссии и вопросы!


              1. mephistopheies
                06.10.2016 13:25
                #9844512

                Давайте начнем с того, что мы не претендуем на истину в последней истанции. Любой обзор чего угодно содержит в себе степень субъективизма и любой читатель, а тем более человек разбирающийся в этой области как вы, имеет полное право с чем-либо не согласиться.


                ну так я помогаю вам улучшить пост, нужно пользоваться моментом

                1) У меня нет точного знания, почему преподаватели топовых вузов выбирают эти датасеты.

                пф, ну это отмазки уже; даже если нет точного знания, то нельзя выбирать случайно, при полной неопределенности, как у вас, нужно выбирать, то что используют старшие преподы, или обосновывать свой выбор более конструктивно; ну или просто не писать, что выбор стандартных датасетов это что то плохое

                Причин может быть масса: нет доступа к другим датасетам;

                Хинтон например в гугле работает…

                они уже однажды были хорошо разобраны и нет смысла что-то менять (path dependence);

                а вы на курсе собираетесь заниматься научным поиском модели которая превзойдет остальные и такие простые датасеты вам не подходят?

                Мы можем только догадываться.

                да, точно, вы правы

                2) Конечно, вводный.

                так почему вы не записали это в свои недостатки, а у других записали?

                3) Конечно, не массовый, это же очное участие.

                почему у кого то это в недостатках, но не у вас?

                4) По количеству студентов — согласен, тут может быть перегнули.

                ну хоть в чем то, вы уже вычеркнули это из недостатков “Data Science: Deep Learning in Python” от Lazy Programmer?

                Спасибо за участие в дискуссии и вопросы!

                пожалуйста, мне это тоже доставляет удовольствие


    1. Dolbe
      06.10.2016 12:29
      #9844422
      +2

      Недостатки — не для рекламных статей!


    1. enabokov
      06.10.2016 12:32
      #9844430
      +1

      Неадекватная цена.


    1. brickerino
      06.10.2016 12:33
      #9844438
      +2

      Наверное искали и не нашли. 30к за день — там же сам Хинтон лабы проверять будет.

      Ничего не имею против платы за обучение, но эти ребята стригут что-то совсем не по-детски, при всей сомнительной полезности данного «курса».


  1. QtRoS
    05.10.2016 22:43
    #9843732

    Номер 7 вроде бы не о том, Reinforcement learning != Deep learning
    P.S. От себя рекомендую курсы на Udacity — средний курс там лучше среднего в других источниках. Не хочу обидеть Coursera'у, там есть, например, Compilers или Discrete Optimizations, но реальность по моим наблюдениям такова.


    1. brickerino
      06.10.2016 12:02
      #9844370

      Это да, но видимо имеется в виду общая область, тот же AlphaGo, например.


  1. ternaus
    06.10.2016 02:23
    #9843896
    +1

    Добавлю:


    Oxford. 2015 год.
    https://www.youtube.com/watch?v=PlhFWT7vAEw


    Не онлайн класс, а курс лекций причем по английски. Но уж очень мне в свое время понравилось. Всем сильно рекомендую.


  1. tomzarubin
    06.10.2016 08:32
    #9844050
    +1

    Очень странно про ваш курс. 60 000 рублей за 2 дня обзорной экскурсии? Нет, спасибо.


  1. atepeq
    06.10.2016 11:46
    #9844338

    https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info — TensorFlow, Python в ноутбуках Jupyter. Правда, текущий курс уже заканчивается, но материалы (включая текстовые варианты лекций, где немало полезных ссылок) можно найти на гитхаб — https://github.com/pkmital/CADL.


  1. PavelGatilov
    06.10.2016 13:44
    #9844562

    Забыли еще курс от Stanford https://www.coursera.org/learn/machine-learning
    Основы Machine Learning для новичков, вместе с повторением математики.


  1. max_m
    06.10.2016 14:23
    #9844658

    А кто-нибудь может посоветовать нормальные курсы по математике, которые бы упрощали вход в machine learning / deep learning?


    1. enabokov
      06.10.2016 17:42
      #9845034
      +3

      Скопирую рекомендуемые ресурсы с курса от МФТИ и Яндекса.

      Линейная алгебра
      Ильин, Ким. Линейная алгебра и аналитическая геометрия (1998) — МГУ.
      Умнов. Аналитическая геометрия и линейная алгебра (2011) — МФТИ.
      Деммель. Вычислительная линейная алгебра. Теория и приложения (2001) — понятный кусок про матричные разложения.

      Математический анализ
      Ильин, Позняк, Основы математического анализа (2005) — МГУ.
      Тер-Крикоров, Шабунин. Курс математического анализа (2001) — МФТИ, много примеров.
      Иванов. Лекции по математическому анализу (2000) — МФТИ, очень короткое, но полное изложение.

      Методы оптимизации
      Нестеров. Методы выпуклой оптимизации (2010) — математически строгое введение в оптимизацию от живого классика.
      Boyd, Vandenberghe. Convex Optimization (2004) — идеальная книга по классической оптимизации, много интересных постановок задач.
      Schneider, Kirkpatrick. Stochastic Optimization (2006) — стохастическая оптимизация во всём многообразии.

      Теория вероятностей и статистика
      Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005) — доступная книга, описывающая базовые понятия, теоремы и методы; разбирается очень много примеров, тесно связанных с задачами машинного обучения и анализа данных.
      Лагутин. Наглядная математическая статистика (2007) — в основном статистика, но есть и небольшое введение в теорию вероятностей. Стоит читать, кроме глав про классификацию и анализ данных, там изложение не слишком современно.
      Чжун, АитСахлиа. Элементарный курс теории вероятностей. Стохастические процессы и финансовая математика (2007) — очень простое изложение.
      Отличные лекции с мехмата Новосибирского Государственного Университета:http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf — теория вероятностей,http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf — математическая статистика.
      Diez, Barr, Cetinkaya-Rundel, Dorazio. Advanced High School Statistics (2015) — вводная книга, программа соответствует типичному курсу Statistics 101 хорошего западного университета.
      DasGupta. Probability for Statistics and Machine Learning: Fundamentals and Advanced Topics (2011) — для смелого читателя, рассматриваются в том числе достаточно высокоуровневые методы.


      1. max_m
        06.10.2016 20:00
        #9845234

        ох, нифига себе списочек.
        Спасибо


        1. ternaus
          06.10.2016 21:41
          #9845390

          Я бы посоветовал пытаться разобраться в туториалах по Deep Learning, пытаясь методом тыка улучшить свои результаты и для этого соревнования по машинному обучению подходят как нельзя лучше.


          Например, под циферки с MNIST https://www.kaggle.com/c/digit-recognizer сотни туториалов.


          Вот это чуть более насыщенное — http://danielnouri.org/notes/2014/12/17/using-convolutional-neural-nets-to-detect-facial-keypoints-tutorial/


          Это позволяет сфокусироваться на том, где не хватает знаний вот именно сейчас + пока не начнешь писать код и пытаться понять, почему все работает не так как хочется ни черта ни запоминается.


          Книжки надо читать и много. Но не все подряд (хочется, конечно, но времени нет ), а те, которые углубят знания, которых не хватает прямо сейчас.


          Но начать участвовать в соревнованиях по машинному обучению и deep learning я бы рекомендовал уже сейчас, даже если есть чувство что математического апарата не хватает.


          Чтобы чакры начали открываться надо создать сотни моделей, которые не заработают, понять почему они не работают — а это много-много итераций и в результате возможно создать что-то стоящее. И чем раньше начать их делать, тем лучше.


          И если по началу это просто метод тыка, то после определенного числа итераций он превращается в метод научного тыка — а это основной подход в нейронных сетях в настоящее время в силу того, что теория по нейронным сетям очень сильно отстает от того, что можно достигнуть на практике.