及帝崩汰死，壹乃還東，止虎丘山。學徒苦留不止，乃令丹陽尹移壹還都，壹答移曰：「蓋聞大道之行，嘉遁得肆其志。唐虞之盛，逸民不奪其性。弘方由於有外，致遠待而不踐。大晉光熙，德被無外，崇禮佛法，弘長彌大。是以殊域之人，不遠萬里，被褐振錫，洋溢天邑。皆割愛棄欲，洗心清玄。遐期曠世，故道深常隱；志存慈救，故遊不滯方，自東徂西，唯道是務。雖萬物惑其日計，而識者悟其歲功。今若責其屬籍，同役編戶，恐遊方之士，望崖於聖世，輕舉之徒，長往而不反，虧盛明之風，謬主相之旨。且荒服之賓，無關天臺；幽藪之人，不書王府。幸以時審翔，而後集也。」壹於是閑居幽阜，晦影窮谷。