回忆让人心里难受是因为它常常唤起过去的经历和情感，而这些经历和情感可能包含未解决的问题、失去的遗憾或对未来的不确定性。当我们回忆起某些事件时，大脑会重新激活与这些事件相关的情绪反应，使我们仿佛再次经历了当时的感受。如果那些记忆是痛苦的、悲伤的或者充满压力的，那么这种情绪就会让我们感到心理上的不适。
此外，人类倾向于对负面事件记忆更为深刻，心理学上称这种现象为“负面偏差”。这意味着相比愉快的记忆，我们更容易记住并反复思考不愉快的事情，这也解释了为什么有时回忆会让人心情沉重。