又賢在長安，大弘禪業，四方樂靖者，並聞風而至。但染學有淺深，得法有濃淡，澆偽之徒，因而詭滑。有一弟子因少觀行，自言得阿那含果，賢未即檢問，遂致流言，大被謗讟，將有不測之禍。於是徒眾或藏名潛去，或踰牆夜走，半日之中，眾散殆盡，賢乃夷然不以介意。時舊僧僧䂮、道恒等謂賢曰：「佛尚不聽說己所得法。先言五舶將至，虛而無實，又門徒誑惑，互起同異，既於律有違，理不同止，宜可時去，勿得停留。」賢曰：「我身若流萍，去留甚易，但恨懷抱未申，以為慨然耳。」於是與弟子慧觀等四十餘人俱發，神志從容，初無異色，識真之眾，咸共歎惜，白黑送者千有餘人。姚興聞去悵恨，乃謂道恒曰：「佛賢沙門，協道來遊，欲宣遺教，緘言未吐，良用深慨，豈可以一言之咎，令萬夫無導。」因勅令追之。賢報使曰：「誠知恩旨，無預聞命。」於是率侶宵征，南指廬岳。