Вы хотите записать видео, где дёргаете лицом, а потом на основе этого двигать лицо персонажа? Я не понял что именно вы хотите анимировать.
Отслеживание движения называется tracking, захват движения motion capture.
В Blender можно это сделать, в том числе для лица, чтобы потом анимировать смоделированное лицо, например
https://www.youtube.com/watch?v=uNK8S19OSmA. Есть другие программы для трекинга и motion capture. Это не интерактивно.
Для создания интерактивных масок и AR есть
Spark AR Studio от Facebook. Может пригодится, но требуется Win10 (раньше только для установщика) и поддержка SSE 4.1 или SSE 4.2 у процессора (с эмулятором инструкций будет медленно).
С помощью OpenCV вроде можно интерактивно распознавать с камеры и что-то накладывать, но это не для нубов, так что если только искать программы использующие её.