Архив публикаций

Тезисы

XX-ая конференция

Структурный подход стохастического градиентного спуска и его применения

Никулин В.Н.

Россия, 610000, Киров, Московская, 36, ВятГУ, кафедра ММЭ

В задаче маркетинга (оценка качества товаров потребителями) количество потребителей исчисляется сотнями тысяч, а количество товаров исчисляется десятками тысяч. Как правило, имеющиеся результаты опросов охватывают малый процент от теоретически полного объема информации. Поэтому эти данные не могут быть представлены в традиционной форме двумерной матрицы и, как следствие, стандартные методы, используемые для факторных разложений матриц (такие как метод главных компонент), не применимы в этой задаче.

Важно также отметить, что функция риска (целевая функция) включает в себя огромное количество регулирующих параметров и может быть нестабильна в случае, если мы будем её минимизировать без учета взаимной зависимости факторных элементов. В качестве решения этой проблемы, и в соответствии с фундаментальными принципами стохастического градиентного спуска [1], мы предлагаем рассмотреть последовательно компоненты (или слагаемые) целевой функции, минимизируя их как функции параметров, которые использованы при определении этой конкретной компоненты. В сравнении с обычной градиентной оптимизацией, мы имеем дело в этом случае с двумя взаимно зависимыми множествами параметров (одно из которых соответствует потребителям, а другое - товарам) и должны равномерно чередовать пересчёты этих параметров, чтобы гарантировать стабильность сходимости процесса оптимизации.

Три новых и взаимосвязанных метода предлагаются в этой статье:

1) факторизационный механизм градиентного спуска с двумя гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета; 2) непараметрический критерий для отбора количества факторов; и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью.

Мы иллюстрируем эффективность предложенных методов в приложении к задачам прогнозирования в области маркетинга, образования (прогноз того как конкретные студенты справятся с данными заданиями) и биоинформатики [1].

Литература

1. Nikulin V., Huang T.-H., Ng S.-K., Rathnayake S. and McLachlan G.J. A Very Fast Algorithm for Matrix Factorization // Statistics and Probability Letters, том 81, год 2011. Стр. 773-782.

• открыть в PDF формате (на русском языке) (PDF)