Щи, или Распознавание 330 млн лиц на скорости 1000 фото / секЭлементы архитектуры
Технический директор ВКонтакте, VK Видео, VK Клипов и VK Звонков, вице-президент по технологиям и разработке VK. Более 15 лет в коммерческой разработке, 10 из них в роли руководителя — от небольшой команды до компании в несколько тысяч человек.
Высоконагруженное распознавание лиц на фотографиях пользователей в социальной сети.
Распознаванием лиц сейчас никого не удивишь, если у вас не:
- 330 миллионов пользовательских аккаунтов;
- ежедневно заливается 20 млн пользовательских фотографий;
- максимальное время на обработку одного фото не должно превышать 0.2 сек (забегая вперед, скажу, что нам удалось сделать это быстрее);
- ограниченные объемы оборудования для решения задачи.
В докладе будут рассмотрены:
- pipeline для: построения векторов пользователей и поиска пользователя на загруженном фото;
- обучение нейросети: построение dataset'а > обучение нейросети > построение датасета > варить до готовности;
- детектор лиц на каскаде нейросетей и его оптимизация;
- построение нормализованного вектора пользователя на GPU;
- железо и оптимизации, запуск в облаке, отказоустойчивость.