在物理学中，对空间和时间的认识可以分为三个阶段：经典力学阶段、狭义相对论阶段及广义相对论阶段。
在经典力学中，空间和时间的本性被认为是与任何物体及运动无关的，存在着绝对空间和绝对时间。牛顿在《自然哲学的数学原理》中说：“绝对空间，就其本性来说，与任何外在的情况无关。始终保持着相似和不变”“绝对的、纯粹的数学的时间，就其本性来说均匀地流逝，而与任何外在的情况无关”。 另一方面，物体的运动性质和规律，却与采用怎样的空间和时间来度量它有着密切的关系。相对于绝对空间的静止或运动，才是绝对的静止或运动。只有以绝对空间作为度量运动的参照系，或者以其他作绝对匀速运动的物体为参照物，惯性定律才成立。即不受外力作用的物体，或者总保持静止，或者总保持匀速运动。这一类特殊的参照系，被称为惯性参照系。
任何两个不同的惯性参照系的空间和时间量之间满足伽利略变换。在这种变换下，位置、速度是相对的，即相对于不同参照系其数值是不同的：长度、时间间隔是绝对的，即相对于不同参照系其数值是不变的，同时性也是绝对的。相对于某一惯性参照系同时发生的两个事件，相对于其他的惯性参照系也必定是同时的。另外，牛顿力学规律在伽利略变换下保持形式不变，这一点符合伽利略相对性原理的要求。 正是这个相对性原理，构成了对牛顿的绝对空间概念的怀疑的起点。如果存在绝对空间，则物体相对于这个绝对空间的运动就应当是可以测量的，这相当于要求在某些运动定律中含有绝对速度。然而，相对性原理要求物体的运动规律中必定不含有绝对速度，亦即绝对速度在原则上是无法测定的。莱布尼兹、贝克莱、马赫等先后 都对绝对空间、时间观念提出过有价值的异议，指出过，没有证据能表明牛顿绝对空间的存在。
爱因斯坦推广了上述的相对性原理，提出狭义相对论的相对性原理，即不但要求在不同惯性参照系中力学规律具有同样形式，而且其他物理规律也应如此。 经典力学和狭义相对论都认为一个惯性参照系可以适用于整个宇宙，或至少一个大的范围。相对于某一个惯性参照系，宇宙中任何范围中的物体运动都遵从惯性定律。爱因斯坦在广义相对论中指出，如果考虑到物体的万有引力，一个惯性参照系只能适用于一个非常局部的范围，不可能适用于大的范围，或全宇宙。如果对于描写一个局部范围中的物体来说，某一参照系是惯性的那么对其他范围中的物体运动而言，它一般就不再是惯性的。
为了描写在一个大范围中的运动，对不同局部范围要用不同的惯性参照系。物体之间的引力的作用，就在于决定各个局部惯性系之间的联系。
用几何的语言来说，各个不同的局部范围的惯性参照系之间的关系，可以通过时空曲率来规定。引力的作用就在于使空时变成弯曲的，而不再是经典力学中的无限延伸的欧几里得几何的绝对空间，也不再是经典力学中的无限延伸的闵可夫斯基空间。 总之，在广义相对论中，时空的性质不是与物体运动无关的。一方面，物体运动的性质要决定于用怎样的空间时间参照系来描写它另一方面时空的性质也决定于物体及其运动本身。
量子论的发展，对时间概念提出了更根本的问题。量子论的结论之一就是：对于一个体系在过去可能存在于什么状态的判断结果，要决定于在现今的测量中做怎样的选择。所以，除非一个体系的过去状态是已经被记录到了这种情况以外，不能认为体系的历史是独立于现今的选择，而存在于过去的时间中的。 这种现在与过去之间的相互关系，是与因果顺序概念十分不同的，暗含于时间概念中的因果序列要求过去的存在应是不依赖现在的。另外，量子论还表明，在10¯³³厘米、10¯³³秒这样小的时空尺度中，描写事件顺序的“前”“后”概念将失去意义。 因此，用时间来描述事件发生的顺序，可能并不总是合用的。空间与时间是事物之间的一种次序，但并不一定是最基本的次序，它可能是更基本的次序的一种近似。
