在基于位置的视觉伺服系统中，对图像进行处理后计算出目标相对于摄像机和机器人的位姿，所以这就要求对摄像机、目标和机器人的模型进行校准，校准精度影响控制精度，这是这种方法的难点。控制时将需要变化的位姿转化成机器人关节转动的角度，由关节控制器来控制机器人关节转动。　　在基于图像的视觉伺服系统中，控制误差信息来自于目标图像特征与期望图像特征之间的差异。对于这种控制方法，关键的问题是如何建立反映图像差异变化与机器手位姿速度变化之间关系的图像雅可比矩阵；另外一个问题是，图像是二维的，计算图像雅可比矩阵需要估计目标深度(三维信息)，而深度估计一直是计算机视觉中的难点。　　雅可比矩阵的计算方法有公式推导法、标定法、估计方法以及学习方法等，前者可以根据模型推导或标定得到，后者可以在线估计，学习方法主要利用神经网络方法。　　●按照采用闭环关节控制器的机器人，视觉伺服系统分为动态观察-移动系统和直接视觉伺服　　前者采用机器人关节反馈内环稳定机械臂，由图像处理模块计算出摄像机应具有的速度或位置增量，反馈至机器人关节控制器；后者则由图像处理模块直接计算机器人手臂各关节运动的控制量。