机器视觉系统虽然功能强大，惟目前在使用时皆常发生下列问题：
1.数字化影像处理之量测能力不易决定，影响品质决策。
2.数字化影像处理之应用软件多与所使用之影像处理卡有关，因此当任何硬、软件或工作环境改变，均导致系统重新设定，亦即所谓CASEBYCASE的情形，甚至需要使用者另外撰写应用软件，配合数字影像处理分析之软件之更新，及计算机软件，需作整体性参数的修改。因此一方面造成数字化影像处理之应用软件使用效率差，另一方面也造成数字化影像处理硬件、软件种类繁多，各个目的不同，欲将其系统整合不易，推广困难。
3.背景的干扰：背景光常扰乱主题而使主题待测物不明显，以致出现误判。
4.反光区域之噪声：由于待测物表面太光滑而导致其一部位强烈反光而使得其它轮廓漫灭不清或边缘断线。
5.物体本身之条纹干扰：物体本身由于有突然的陡生陡降的曲线以致造成阴影而遭误判为物体边缘条纹。
6.在照明系统方面之问题：照明系统是由灯和光学组件组成。由于向四方八面放射的灯，其光通量可被导向一个受限制的空间角范围，所以在这个使用方向上的光强度会较高，因此尽量可选择在灯侧选择有大的口径角或斜角之灯罩以提高光的通量，因此发光面必须尽可能是不定形状的(例如碳弧、或氙气高压灯)。至于光场不均匀的情形可利用模糊成像方法予以减低或消除。当发光面与物面的大小致相等，且在物面上存有最窄的光路收缩时，可运用简单光路，因为一个发光面应该能够完照到物面；所以得知镜头的倍数须与其焦距配合，并尽量在发光面与聚光镜之间保持最小距离。因为聚光镜的像侧口径角度必须配合后面物镜的物侧口径角度(像侧口径角度必须略小于物侧口径角度)，而聚光镜直径要略大于组合组件的要求。
7.在光学布置方面之问题：因该机器视觉系统不但对工作环境极为灵敏，且其组成零件在使用期间，较难保证系统能力稳定，诸如：光源强度分布不均将会影响其系统能力。故针对影像处理发展一套线自我监控方法诚属必要，以随时保证其检测品质。
光学投影布置方式，可分为八个部分去做修改：
(1)投影幕
(2)投影透镜
(3)受检工件
(4)消色差滤光镜
(5)绝热滤光镜
(6)光源
(7)聚光透镜
(8)反射镜

8.整体而言，机器视觉系统在光学布置方面可以如图1之思考方向去安排，一般照明系统大都使用连续光，当量测振动物体时可使用闪烁光来作为照明光源，一般光场布置大都使用扩散光线，而平行光线之使用例子如以阴影条纹技术及数字影像处理的技巧来测绘模具曲面之等高线，偏光光线之使用例子如利用光弹仪配合影像处理设备可先行侦测出材料之压力分布图，一般光源照射情形大都使用反射光线正对待测物打光以求得较佳之效果，而落地照明最简单易行，透过照明则用于透明物体之检测。
白炽灯、钠光灯、氖气灯、水银灯可用于各种待测表面，必须实际打光才知道何者为佳，红外线用于军事及温度、热像之检测、紫外线之使用例子如秘密暗码之检测、雷射用于干涉检测、x光用于医学及工程非破坏之检测。光栅可用于分光之场合、光幕可调制所需之光场、滤光镜可得到单色光场、遮光外罩可用于简化背景之场合。