Ч а с ть I. Как обучать н ей р он ны е сети
Глава 1. От биологии к информатике, или We need to go deeper... 6
1.1. Революция обучения глубоких с е т ей ... 7
1.2. Искусственный интеллект и машинное обучение...11
1.3. Немного о словах: каким бывает машинное обучение... 17
1.4. Особенности человеческого мозга... 21
1.5. Пределы нейробиологии: что мы на самом деле знаем? . . ...26
1.6. Блеск и нищета современных нейронных сетей...30
Глава 2. Предварительные сведения, или Курс молодого б о й ц а ... 38
2.1. Теорема Байеса...39
2.2. Функции ошибки и регуляризация...53
2.3. Расстояние Кульбака — Лейблера и перекрестная энтропия...63
2.4. Градиентный спуск: основы...69
2.5. Граф вычислений и дифференцирование на нем... .. 75
2.6. И о практике: введение в TensorFlow и Keras... 81
Глава 3. Перцептрон, или Эмбрион мудрого компьютера...93
3.1. Когда появились искусственные нейронные с е т и ... 94
3.2. Как работает перцептрон... 97
3.3. Современные перцептроны: функции активации... 105
3.4. Как же обучаются настоящие нейроны...ИЗ
3.5. Глубокие сети: в чем прелесть и в чем сложность?..117
3.6. Пример: распознавание рукописных цифр на TensorFlow... 123
Ч а с ть II. О сн о вны е ар хи тек ту ры
Глава 4. Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах .137
4.1. Регуляризация в нейронных с е тя х ...138
4.2. Как инициализировать в е с а ... 142
4.3. Нормализация по мини-батчам... 153
4.4. Метод моментов: Ньютон, Нестеров и Гессе... 164
4.5. Адаптивные варианты градиентного сп у ска ...169
Глава 5. Сверточные нейронные сети и автокодировщики,
или Не верь глазам своим... 176
5.1. Зрительная кора головного мозга... 177
5.2. Свертки и сверточные сети... 182
5.3. Свертки для распознавания цифр...199
5.4. Современные сверточные архитектуры...206
5.5. Автокодировщики...214
5.6. Пример: кодируем рукописные цифры...219
Глава 6. Рекуррентные нейронные сети,
или Как правильно кусать себя за х в о с т ... 231
6.1. Мотивация: обработка последовательностей... 232
6.2. Распространение ошибки и архитектуры RN N ... 236
6.3.LST M ...242
6.4. GRU и другие варианты... 249
6.5. SCRN и другие: долгая память в обычных RNN... 253
6.6. Пример: порождаем текст символ за символом... 259
Часть III. Новые архитектуры и применения
Глава 7. Как научить компьютер читать,
или Математик — Мужчина + Женщина = ... 278
7.1. Интеллектуальная обработка текстов... 279
7.2. Распределенные представления слов: word2vec... 285
7.3. Русскоязычный word2vec на практике...297
7.4. GloVe: раскладываем матрицу правильно...305
7.5. Вверх и вниз от представлений слов... 313
7.6. Рекурсивные нейронные сети и синтаксический ра зб о р ...322
Глава 8. Современные архитектуры, или Как в споре рождается истина . . .330
8.1. Модели с вниманием и encoder-decoder... 331
8.2. Порождающие модели и глубокое обучение... 341
8.3. Состязательные с е т и ... 348
8.4. Практический пример и трюк с логистическим сигмоидом...353
8.5. Архитектуры, основанные на GAN...359
Глава 9. Глубокое обучение с подкреплением,
или Удивительное происшествие с чемпионом... 372
9.1. Обучение с подкреплением...373
9.2. Марковские процессы принятия решений...379
9.3. От TDGammon к DQN... 391
9.4. Бамбуковая хлопушка... 399
9.5. Градиент по стратегиям и другие применения...405
Глава 10. Нейробайесовские методы,
или Прошлое и будущее машинного обучения...409
10.1. Теорема Байеса и нейронные сети...410
10.2. Алгоритм ЕМ...412
10.3. Вариационные приближения...419
10.4. Вариационный автокодировщик...426
10.5. Байесовские нейронные сети и дропаут... 438
10.6. Заключение: что не вошло в книгу и что будет дальше... 446
Благодарности... 450
Литература...451