1.OpenFace 是 卡耐基梅陇(CMU)大学的一个图像+机器学习项目,整体程序包含:人脸发现,特征提取,特征神经网络训练,人脸识别这四部分。
github https://github.com/cmusatyalab/openface/
API文档 http://openface-api.readthedocs.io/en/latest/index.html
website http://cmusatyalab.github.io/openface/
2.安装
官方安装说明 http://cmusatyalab.github.io/openface/setup/
说的不是很详细,很多关键依赖以及基本概念并没有讲清楚。很容易导致安装、编译失败。
2.1操作系统
只支持Linux 和OSX,官方强烈推荐使用docker镜像来使用,不过为了运行加速或自主修改,还是建议大家从源码搭建。
OpenFace已经在ubuntu14.04和OSX10.10上成功测试。
我使用ubuntu14.04.5 https://mirror.tuna.tsinghua.edu.cn/ubuntu-releases/14.04.5/ubuntu-14.04.5-desktop-amd64.iso
2.2从头安装
我的实验室位置在西安,更换中科大的软件源超屌 http://mirrors.ustc.edu.cn trasty ,以下所有依赖的安装速度均与网速有关,也可能跟长城有关,安装时还需要耐心等待。若某一步安装不成功可以重启计算机重新安装。
sudo apt-get update sudo apt-get install ssh git curl zsh vim #安装基本工具 sudo -i #进入root,基本上主要程序都放在/root/目录下,只有openface源码放在/home/usr/也可以。
#安装必要依赖
1 sudo apt-get install build-essential cmake gfortran libatlas-dev libavcodec-dev libavformat-dev libboost-all-dev libgtk2.0-dev libjpeg-dev liblapack-dev libswscale-dev pkg-config python-dev python-pip wget zip
#必要的数值计算库
1 pip2 install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple #选择下载镜像,可以加速, 2 3 pip2 install scipy #numpy安装成功后,scipy总失败,reboot之后就好了 4 5 pip2 install pandas 6 7 pip2 install scikit-learn 8 9 pip2 install scikit-image #发现安装慢也可以使用 sudo apt-get install python-skimage的方式
#安装Torch 基于lua的科学计算工具,其包管理器是luarocks。
1 sudo apt-get install luarocks 2 3 curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash -e #安装Torch的依赖库 4 5 git clone https://github.com/torch/distro.git ~/torch --recursive #源码 6 7 cd torch 8 9 bash install-deps #(cloning openblas) 10 11 ./install.sh #源码安装torch 如果网络被墙也可以从www.pandaroll.cn/openface/torch.tar.gz 下载 ,解压:tar -xvf torch.tar.gz
#再安装torch需要的依赖,下载
1 ~/torch/install/bin/luarocks install moses #若安装很慢可以从源码解压后直接安装,下载:www.pandaroll.cn/openface/Moses-master.zip 然后在终端输入~/torch/install/bin/luarocks install Moses-master/rockspec/moses-1.4.0-1.rockspec 2 3 ~/torch/install/bin/luarocks install torchx #www.pandaroll.cn/openface/torchx-master.zip 4 5 ~/torch/install/bin/luarocks install nn #www.pandaroll.cn/openface/nn-master.zip 6 7 ~/torch/install/bin/luarocks install dpnn #www.pandaroll.cn/openface/dpnn-master.zip 8 9 ~/torch/install/bin/luarocks install csvigo #www.pandaroll.cn/openface/lua---csv-master.zip 10 11 ~/torch/install/bin/luarocks install fblualib #www.pandaroll.cn/openface/fblualib-master.zip 12 13 ~/torch/install/bin/luarocks install optim #www.pandaroll.cn/openface/optim-master.zip
#安装opencv
1 sudo apt-get install libjpeg-dev libpng-dev libtiff-dev libjasper-dev 2 3 sudo apt-get -qq install libopencv-dev build-essential checkinstall cmake pkg-config yasm libjpeg-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev python-dev python-numpy libtbb-dev libqt4-dev libgtk2.0-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils
下载opencv https://github.com/Itseez/opencv/archive/2.4.11.zip 或 http://www.pandaroll.cn/openface/ocv.zip
1 cd ~ 2 3 unzip ocv.zip 4 5 cd opencv-2.4.11 6 7 mkdir release 8 9 cd release 10 11 cmake -G "Unix Makefiles" -D CMAKE_CXX_COMPILER=/usr/bin/g++ CMAKE_C_COMPILER=/usr/bin/gcc -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_V4L=ON -D INSTALL_C_EXAMPLES=ON -D INSTALL_PYTHON_EXAMPLES=ON -D BUILD_EXAMPLES=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D BUILD_FAT_JAVA_LIB=ON -D INSTALL_TO_MANGLED_PATHS=ON -D INSTALL_CREATE_DISTRIB=ON -D INSTALL_TESTS=ON -D ENABLE_FAST_MATH=ON -D WITH_IMAGEIO=ON -D BUILD_SHARED_LIBS=OFF -D WITH_GSTREAMER=ON .. 12 13 sudo make all -j4 #cpu是4核 14 15 sudo make install #若报错硬件问题或操作系统问题,可能是过热问题,换个主板或计算机,最好是台式机。
#安装无报错后将cv2.so 考到python目录下
cp /lib/cv2.so /usr/local/lib/python2.7/dist-packages
#安装dlib
下载dlib https://github.com/davisking/dlib/releases/download/v18.16/dlib-18.16.tar.bz2
若难以下载,也可以 www.pandaroll.cn/opencv/dlib-18.16.tar.bz2
1 cp dlib-18.16.tar.bz2 ~/src 2 3 cd src 4 5 tar xf dlib-18.16.tar.bz2 6 7 cd dlib-18.16/python_examples 8 9 mkdir build 10 11 cd build 12 13 cmake ../../tools/python 14 15 cmake --build . --config Release 16 17 sudo cp dlib.so /usr/local/lib/python2.7/dist-packages
#到目前,opencv 和 dlib应该安装好了,测试一下安装成功否:
1 python 2 3 import cv2 4 5 import dlib
#若都成功,则继续下面的步骤
#安装openface
1 git clone https://github.com/cmusatyalab/openface.git #若下载太慢则:www.pandaroll.cn/openface/openface.zip ,然后解压unzip openface.zip,可以放到/home/usr/目录下面。 2 3 git submodule init 4 5 git submodule update 6 7 cd openface 8 9 sudo python2 setup.py install
#获取模型
1 cd models/get-models.sh #若下载太慢 2 3 则下载 www.pandaroll.cn/openface/shape_predictor_68_face_landmarks.dat.bz2 ,放入 models/dlib中 4 5 bunzip2 shape_predictor_68_face_landmarks.dat.bz2 6 7 下载 www.pandaroll.cn/openface/celeb-classifier.nn4.small2.v1.pkl ,放入 models/openface中 8 9 下载 www.pandaroll.cn/openface/nn4.small2.v1.t7 ,放入 models/openface中
========================安装完成==========
3.测试
3.1demo1 #进入sudo -i root模式
计算不同面孔之间的相似度距离:
1 cd openface 2 3 ./demos/compare.py images/examples/{lennon-1.jpg,clapton-1.jpg}
运行结束后会给出一个结果:l2距离是1.132
1 ./demos/compare.py images/examples/{lennon-1.jpg,lennon-2.jpg}
运行结束后会给出一个结果:l2距离是0.763
发现:同一个人的确更相似。
3.2训练一个分类器
需要人脸原图,每个图包含一个人脸,每个人脸15张图。不同的人的照片放入不同的文件夹下。例如我收集了我自己和妹子的分别15张照片。一共相当于2个人,但是有几个人就分几个文件夹即可。将这几个文件夹放入同一个目录。
1 cd openface 2 3 mkdir training-images 4 5 cp -r siyi/ openface/traning-images 6 7 cp -r naixin/ openface/traning-images
#人脸发现和矫正和裁剪 对其的新照片将放入/aligned-images/目录中,是96*96的正方形图片:
1 ./util/align-dlib.py ./training-images/ align outerEyesAndNose ./aligned-images/ --size 96
#提特征,每个人脸128个特征点,新特征为csv文件,放入了/generated-embeddings/目录中:
1 ./batch-represent/main.lua -outDir ./generated-embeddings/ -data ./aligned-images
#训练自己的面部检测模型,是最基本的SVM模型:classifier.pkl 会放入generated-embeddings/目录下:
1 ./demos/classifier.py train ./generated-embeddings/
#获取一张不在数据集中的照片,利用分类器检测并归属然后会得到一个属于哪个名字的结果 和 一个可信度数值:
新照片siyitest1.jpg:
1 ./demos/classifier.py infer ./generated-embeddings/classifier.pkl siyitest1.jpg
分类器会给出分类结果和可信度,一般同样的人的可信度在99%左右,未在分类器中的人会低于80%。
3.3web-demo
1 sudo pip install -r demos/web/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 2 3 ./demos/web/start-servers.sh
安装一个usb摄像头,打开火狐浏览器:127.0.0.1:8000 可以在线添加训练,实时识别。
转自:https://www.cnblogs.com/pandaroll/p/6590339.html