最早到楼旗的是东晋琅琊王氏，与书圣王羲之为同一氏族。明《嘉靖太平县志》载：“晋王氏尝居焉，种菊满山，有王氏墓。”《台州府志》载，晋王氏的坟在楼旗山下。府志依据宋《嘉定赤城志》的记载“旁有文云‘晋永和十二年次丙辰八月壬午朔，琅琊国’余皆漫不可识”，意为墓砖上有文字记载为晋永和十二年（356），还有琅琊国字样。这就是永和年间，随东晋朝避乱南方的琅琊王氏。

　　宋金坛刘太常宰《跋晋砖志后》，称文字与《保母志载帖》同出。王西涧（深道）拓完之后又赠送给别人，称是远祖墓砖，由此可见王氏就是晋代远裔。志书载，宋之后，琅琊王氏不复存在，又有其他王氏家族搬来居住，这也是一个有声望的大家族。王氏自晋代迁楼旗历数十代，世代崇文，笔墨耕耘，但无功名。楼旗王汶为其堂弟王演撰文，曾称“王氏家于楼崎，积数十世矣，冰蓄雪播，惟笔墨之畦畛是辟，然未有偶于时者”。

　　虽然王氏历代习文几无入仕，但关切地方利害大事，常常能看见他们的身影。南宋淳熙年间（1174—1189），王立之针对地方水灾，“指画形势，谓当开鹜屿港泄月河水”。骛屿是现在的牧屿，他提倡的“开牧屿港以泄洪”主张被后人采纳，牧屿闸至今仍在发挥作用。族侄王木也参与了朱熹修六闸，志载，王木多行义事，他向上峰请示罢行“役法”，疏其害民数事。时当淳熙，朱熹巡查台州，最终决定由民众自结义役。王氏与名人徐似道、朱熹、叶适、丁希亮、戴复古、陈耆卿、吴子良等均有交往，为温岭经济、文化贡献了智慧与力量。