Локальные методы распределенной оптимизации

Оптимизационные задачи имеют большое количество приложений в современном мире. В то же время наблюдается тенденция, что практические оптимизационные задачи становятся все более вычислительно сложными. Поэтому уже трудно обойтись без параллельных/распределенных вычислений. Их можно организовать, например, разделив обучающую выборку между вычислительными устройствами. При этом эффективность метода напрямую зависит от скорости процесса общения. Более того, в последние годы особую популярность приобрели федеративные распределенные постановки, которые предполагают, что частично или полностью процесс обучения будет проходить не на кластере из видеокарт, а на персональных устройствах пользователей (компьютерах, планшетах, смартфонах). В таком случае вопрос эффективности коммуникации между устройствами встает еще более остро.

В рамках доклада будет рассмотрена одна из техник уменьшения коммуникационных затрат для ускорение процесса оптимизации — так называемый, локальный подход. Суть данной техники заключается в использовании большого числа локальных вычислений между раундами общения. Для начала обсудим базовые алгоритмы, например, широко известный FedAvg. Далее перейдем к более продвинутым методам, решающие основные проблемы базового FedAvg (например, метод Scaffold). Кроме этого, рассмотрим, где сейчас находится передний край развития локальных методов и познакомимся с техникой Scaffnew. В завершении доклада изучим, как локальная техника себе проявляет в зависимости от похожести данных на вычислительных устройствах.

Семинар пройдет по адресу: Пресненская набережная, д. 6 стр. 2, 4 этаж (Москва-Сити, Башня «Империя»). Для получения разового пропуска необходимо предъявить паспорт.