顾施也随着杨广起身，激动地拉住杨广的手，赞不绝口道：“王爷以弱冠之年，能写成如此诗篇，老夫枉度五十春秋，枉度五十春秋啊！”

世间就有如此凑巧之事，顾施的高徒明克让寄给恩师的两首小诗皆为杨广在统军伐陈时所做，这不禁令顾施对眼前这位年轻的王爷刮目相看，拉着杨广的手重新落座后，兴奋地对他说道：“克让只寄了这两首诗作给老夫，既未说明诗系何人所做，也没有一字评语，此时想来，应是别有一番深意在其中。不承想今日王爷登门，竟使老夫得见这两首诗的作者，也算是老夫与王爷有缘。老夫知王爷招老夫出山著书立言，不无以此笼络江南士族，安抚江南之意，然对王爷如此高旷之诗才，不胜心仪、推祟之至，情愿受王爷驱策，为王爷抚绥江南效力。”

杨广大喜过望，即请王妃萧厄亲自下厨，烹了几样小菜，又命郭衍拿出带来的美酒，就在茅舍之中与顾施相对而坐，把酒畅谈起来了。

顾施既对杨广的诗文造诣称赏不已，当日便欲收拾行装，跟随杨广返回广陵城内着手著书、编书，不意心意在一边，观赏着茅舍四周的景致，有意无意地对王妃萧厄感叹道：“贫尼若是得此佳处著书立说，强似身处繁华市井多矣！”

她这貌似随感而发的一句话听在裴蕴耳中，却有了另一层意思。裴蕴当即向杨广提议道：“著书，编书一事，最需要有个清净的环境。依下官说来，不如就由朝廷出资，在这雷山上顾施先生所居茅舍附近，兴建一座书院，专供应招而来的江南名士宿儒居住、编书之用，岂不是好？”又转身目视心意道：“师太若是也相中了这个地界，不妨就在这雷山上再修建一座尼寺，供师太礼佛修行，如何？”

杨广起初尚没明白裴蕴为何要阻拦顾施随自己返城著书，及至听他征询心意的意思，要在这雷山上修建尼寺，才恍然有所领悟，遂附和着裴蕴，冲王妃萧厄说道：“王妃闲时，也可来此山中听心意师太讲说佛法，倒是一桩美事。”

顾施与杨广一见倾心，尽显名士本色，毫不谦让地冲杨广说道：“王爷如有此心，待书院建成之时，老夫必广招门下弟子，尽来这广陵书院著书、编书，使这座雷山成为文华昌盛的所在。”

当下诸人就在茅舍席间议定了在雷山修建广陵书院一事，杨广即命由扬州总管府出资，就地招募能工巧匠，来雷山勘察地形、地势，择定建址，勾画出图样，于半个月内就开始破土功工，兴建起广陵书院来了。

顾施为报答杨广的出资修建广陵书院之举，也致书江南各地的门下弟子，邀他们来广陵协助自己编书、著书。这些门下弟子接到老师的邀请书信后，又转邀他们的知交好友同来广陵参与其事，在短短的数月间，在杨广麾下就聚集了上千名江南的儒生士子，杨广再镇广陵、抚绥江南至此取得了一个良好的开端。