那么，如何来选择我们要观察的窗口呢?所谓眼见为实，要判断图像上的某个位置是不是一张人脸，必须要观察了这个位置之后才知道，因此，选择的窗口应该覆盖图像上的所有位置。显然，最直接的方式就是让观察的窗口在图像上从左至右、从上往下一步一步地滑动，从图像的左上角滑动到右下角——这就是所谓的滑动窗口范式，你可以将它想象成是福尔摩斯(检测器)在拿着放大镜(观察窗口)仔细观察案发现场(输入图像)每一个角落(滑动)的过程。
别看这种用窗口在图像上进行扫描的方式非常简单粗暴，它的确是一种有效而可靠的窗口选择方法，以至于直到今天，滑动窗口范式仍然被很多人脸检测方法所采用，而非滑动窗口式的检测方法本质上仍然没有摆脱对图像进行密集扫描的过程。
对于观察窗口，还有一个重要的问题就是：窗口应该多大?我们认为一个窗口是一个人脸窗口当且仅当其恰好框住了一张人脸，即窗口的大小和人脸的大小是一致的，窗口基本贴合人脸的外轮廓。
那么问题来了，即使是同一张图像上，人脸的大小不仅不固定，而且可以是任意的，这样怎么才能让观察窗口适应不同大小的人脸呢?一种做法当然是采用多种不同大小的窗口，分别去扫描图像，但是这种做法并不高效。换一个角度来看，其实也可以将图像缩放到不同的大小，然后用相同大小的窗口去扫描——这就是所谓的构造图像金字塔的方式。图像金字塔这一名字非常生动形象，将缩放成不同大小的图像按照从大到小的顺序依次往上堆叠，正好就组成了一个金字塔的形状。
通过构建图像金字塔，同时允许窗口和人脸的贴合程度在小范围内变动，我们就能够检测到不同位置、不同大小的人脸了。另外需要一提的是，对于人脸而言，我们通常只用正方形的观察窗口，因此就不需要考虑窗口的长宽比问题了。
选好了窗口，我们开始对窗口中的图像区域进行观察，目的是收集证据——真相只有一个，我们要依靠证据来挖掘真相!在处理图像的过程中，这个收集证据的环节我们称之为特征提取，特征就是我们对图像内容的描述。由于机器看到的只是一堆数值，能够处理的也只有数值，因此对于图像所提取的特征具体表示出来就是一个向量，称之为特征向量，其每一维是一个数值，这个数值是根据输入(图像区域)经由某些计算(观察)得到的，例如进行求和、相减、比较大小等。总而言之，特征提取过程就是从原始的输入数据(图像区域颜色值排列组成的矩阵)变换到对应的特征向量的过程，特征向量就是我们后续用来分析和寻找真相的证据。
特征提取之后，就到了决断的时刻：判别当前的窗口是否恰好包含一张人脸。我们将所有的窗口划分为两类，一类是恰好包含人脸的窗口，称之为人脸窗口，剩下的都归为第二类，称之为非人脸窗口，而最终判别的过程就是一个对当前观察窗口进行分类的过程。因为我们的证据是由数值组成的特征向量，所以我们是通过可计算的数学模型来寻找真相的，用来处理分类问题的数学模型我们通常称之为分类器，分类器以特征向量作为输入，通过一系列数学计算，以类别作为输出——每个类别会对应到一个数值编码，称之为这个类别对应的标签，如将人脸窗口这一类编码为1，而非人脸窗口这一类编码为-1;分类器就是一个将特征向量变换到类别标签的函数。
考虑一个最简单的分类器：将特征向量每一维上的数值相加，如果得到的和超过某个数值，就输出人脸窗口的类别标签1，否则输出非人脸窗口的类别标签-1。记特征向量为，
分类器为函数f(x)，那么有：
