北宋时期，名画家李公麟曾收藏过这幅《洛神赋图》；明朝，这幅画进了御府，后来被赐予成国公，后来又流入董其昌手中，并经董其昌题跋；到了清代，这幅画曾被著名藏书家兼文学家梁清标收藏；之后，担任过两江总督的端方又收藏了这幅画。对于端方其人，南京人并不陌生，端方任两江总督时，在南京开办洋务，还筹备了一届南洋劝业会，做过不少实事。但后来，在慈禧出殡仪式上，这位胆大包天的高官，却因拍照惊扰隆裕皇太后，被罢了官。此后，清廷重新起用端方，担任川汉粤汉铁路督办大臣。1911年冬，在四川保路运动中，端方和弟弟端锦被起义的新军军官所杀。端方死后，他收藏的文物渐渐流散。上世纪20年代，这幅《洛神赋图》经长期混迹中国的美国人福克森之手，被卖给了弗利尔美术馆。