形成地上河的主要原因通常是流域內水土流失嚴重，導致河流攜帶大量泥沙，在中下遊河谷開闊、比降平緩的區域，泥沙大量沉積，從而使河床不斷抬高。
黃河下游地區因流經黃土高原，黃土高原的土質疏鬆，植被破壞後，土壤裸露，遇暴雨時水土流失嚴重，使得黃河中游流經黃土高原時泥沙含量大增。到了下游的華北平原地區，由於河道變寬、坡度變緩、流速減慢，大量泥沙沉積使河床抬高，最終導致河床高於兩岸地面，形成了著名的「地上河」。
此外，人類活動如沿岸居民向河中傾倒垃圾、修築堤壩約束水流方向等，也對地上河的形成起到了推波助瀾的作用。