尽管自动驾驶汽车会带来许多好处和便捷，同样也存在一些潜在的缺点或者弊端，例如：恶劣天气的使用、被黑客攻击的可能性、隐私数据的安全性、汽车间的通讯、以及显示中路面及交警指挥的适应。

尽管自动驾驶汽车会带来许多好处和便捷，同样也存在一些潜在的缺点或者弊端，例如：恶劣天气的使用、被黑客攻击的可能性、隐私数据的安全性、汽车间的通讯、以及显示中路面及交警指挥的适应。

• 损害赔偿责任。
• 个人会抗拒放弃其对汽车之控制权。
• 软件的可靠性。
• 需要车辆间通讯系统来协调个别汽车的电脑系统，车联网的资讯安全性等。
• 政府须为自动驾驶汽车建立且施行特定之法规架构。
• 若出现需要手动驾驶的情形，部分驾驶者可能没有经验。
• 减少与驾驶有关之工作机会。
• 丧失隐私。
• 为了汽车间的通讯，需要更多的无线电频谱。
• 自动驾驶汽车可能被装载炸药、毒物等而作为恐怖攻击使用。
• 类似有轨电车难题的伦理问题－当自动驾驶汽车的软件被迫在不可避免的碰撞时对可能的伤害做出决断，会出现的问题。
• 汽车在不同天气类型下的导航系统之可靠性（截至 2014 年止，Google 的原型机仍未在大雪或大雨中行驶过的纪录）。
• 自动驾驶汽车为正常运作，需要极高品质的专用地图。若这些地图已过时，自动驾驶汽车必须能够自行回归合理行为。
• 目前警察与其他行人的手势与身体运作无法被自动驾驶汽车所认知与理解。
• 目前的道路基础设施可能需要为自动驾驶汽车改建，以达到最好的效果。一些例子包括，能与自动驾驶汽车通讯的交通号志与路灯。