AFM的关键组成部分是一个头上带有一个用来扫描样品表面的尖细探针的微观悬臂。这种悬臂大小在数十至数百微米，通常由硅或者氮化硅构成，其上载有探针，探针之尖端的曲率半径则在纳米量级。当探针被放置到样品表面附近的地方时，悬臂上的探针头会因为受到样品表面的力而遵从胡克定律弯曲偏移。在不同的情况下，这种被AFM测量到的力可能是机械接触力、范德华力、毛吸力、化学键、取向力、静电力、磁力（见磁力显微镜）卡西米尔效应力、溶剂力等等。通常，偏移会由射在微悬臂上的激光束反射至光敏二极管阵列而测量到，较薄之悬臂表面常镀上反光材质（ 如铝）以增强其反射。其他方法还包括光学干涉法、电容法和压电效应法。这些探头通常由采用压电效应的变形测量器而制得。通过惠斯登电桥，探头的形变可以被测得，不过这种方法没有激光反射法或干涉法灵敏。 当在恒定高度扫描时，探头很有可能撞到表面的造成损伤。所以通常会通过反馈系统来维持探头与样品片表面的高度恒定。传统上，样品被放在压电管上并可以在z方向上移动以保持与探头之间的恒定距离，在x、y方向上移动来实现扫描。或者采用一种“三脚架”技术，在三个方向上实现扫描，这种方法部分抑制了压电管扫描时所产生的扭曲效应。在较新的设计中，探针被装载在垂直压电扫描器上，而样品则用另外的压电结来扫描X和Y方向。扫描的结果*z = f(x,y)*就是样品的形貌图。