Проблема оптимизации вычислительного ресурса в архитектуре нейронных сетей

Дмитрий Игоревич Старков; Наталья Владимировна Елисеева; Наталья Александровна Бычкова

Авторы

Дмитрий Игоревич Старков Московский государственный технологический университет «СТАНКИН»
Наталья Владимировна Елисеева Московский государственный технологический университет «СТАНКИН»
Наталья Александровна Бычкова Московский государственный технологический университет «СТАНКИН»

Ключевые слова:

нейронная сеть, архитектура системы, машинное обучение, искусственный интеллект, генетические алгоритмы

Аннотация

В работе рассматривается проблема роста вычислительных ресурсов, необходимых для тренировки современных моделей нейронных сетей. Для оптимизации предлагается исследовать способы создания неполносвязных архитектур, не требующих обучения параметров, которые не будут задействованы после. Возможность такого подхода показана на двух различных исследованиях в данной области.

Биографии авторов

Дмитрий Игоревич Старков, Московский государственный технологический университет «СТАНКИН»

Магистр по направлению «Информатика и вычислительная техника», Московского государственного технологического университета «СТАНКИН».

Наталья Владимировна Елисеева, Московский государственный технологический университет «СТАНКИН»

Кандидат технических наук, доцент кафедры «Управление и информатика в технических системах» Московского государственного технологического университета «СТАНКИН», руководитель информационно-аналитического центра ООО «джи икс групп».

Наталья Александровна Бычкова, Московский государственный технологический университет «СТАНКИН»

Кандидат технических наук, доцент кафедры «Управление и информатика в технических системах» Московского государственного технологического университета «СТАНКИН», директор по развитию ООО «джи икс групп».

Библиографические ссылки

Эмма Струбел, Ананья Ганеш, Эндрю МкКалум Энергетические и политические соображения в глубоком обучении в NLP//arXiv.org – 2019 - https://arxiv.org/abs/1906.02243

Адам Гайер, Дэвид Ха Нечувствительные к весам нейронный сети//arXiv.org – 2019 - https://arxiv.org/abs/1906.04358

Саининг Кси, Александр Кириллов, Росс Гиршик, Каиминг Хе Ис-следование случайно соединенных нейронных сетей для распознава-ния изображений//arXiv.org - 2019 https://arxiv.org/abs/1904.01569