初听到"自闭症"或"孤独症”的人，往往联想到性格孤僻或内向，即把它与某类纯心理障碍疾病联系起来，认为这孩子一定是受到某种来自外界环境的刺激而发生障碍。也曾有人认为是因为他们往往有一个不良的家庭气氛，如父母性格怪异，或母亲忙于工作而使孩子在发育早期（婴幼儿阶段）受到忽视……等等，这类被称做"心理环境"的因素被研究结果所否认。研究结果表明自闭症的发生与大脑系统的生理结构异常有关系，只是目前尚无法确定是什么原因导致大脑系统的异常结构。虽然自闭症并非为纯心理方面的障碍，但有心理障碍疾病的人，由于其在感知加工功能方面受到影响，也可能引发自闭症表现。