こんにちは!
ご質問ありがとうございます。
ご質問について、いくつか理由は考えられますが、例えば、down は、「離れた場所に、向こうへ、ずっと先へ」というニュアンスを含むので、down the years で、「[はるか](https://eikaiwa.dmm.com/uknow/questions/60470/)昔」」という表現をすることができます。
似たような表現
down the road 「将来いつか、今後、そのうちに、やがて、ゆくゆくは」
役に立ちそうな単語とフレーズ
Since way back はるか昔から
Since ancient times 古代から
For ages ずいぶん長いこと
参考になれば幸いです。