世界觀
西曆2205年，出現了意圖干涉過去歷史的「歷史修正主義者」，也就是時間遡行軍。察覺此事的只有世界上少數擁有靈力資質的人類，他們組成了「時之政府」，籌集了幾位擁有特殊靈力之人擔任「審神者」，負責顯現及照顧「刀劍男士」，並將他們送往過去的各個時代與遡行軍戰鬥。
（ ▽下面還有內容▽ ）
現世
即現代世界，時間線持續的在前進。因為是西曆兩千兩百多年，所以科技技術相當進步，但依舊保存著歷史古蹟或是舊時代的建築。
時空裂縫
與現世相似卻又不屬於現世的另一個時空，時空裂縫裡有可能居住著來自其他世界的居民。本丸及時之政府的所在處即於此。
被放棄的世界
歷史被過度改變，但最後被用最低限度勉強挽回的地方，稱作「被放棄的世界」，此世界並非正史，而是從正史分離出來的一段廢棄歷史。被放棄的世界非常混亂，幾乎沒有生命的氣息，通常為遡行軍的落腳處。
時差
指兩個時空裂縫及時空裂縫與現世的時間差，每個時空裂縫的時間都不相同，可能會快幾個小時或是慢幾個小時。
但是為了精確性以及重要性，時之政府的人員有調整眾本丸與時之政府的時間差使其達到一致。
本丸與現世的時差並不相同，例如本丸過了一個小時，現世過了三個小時。櫻之下本丸的現世時間過得比較快，換言之就是在現世待兩個小時本丸才過了不到一個小時的程度。
但是後期隨著能力的精進，審神者可以自行控制本丸與現世的時間差。