在社寮古早住的人就是社頭潘家，是凱達格蘭族馬賽人，明朝時開始與漢人接觸，是台灣原住民最早漢化的部落。清乾隆時期大雞籠社頭目己力氏老婆受冊封賜漢姓為潘老婆。社寮潘家第五代潘土，家業以焚寄網漁業為主，因喜愛北管子弟戲，擔任鼓師。在地方上對於庄廟事務，有帶頭之風。

其為人豪氣，對外來的人也能關照，地方人稱為「潘仔祿」。

二次大戰時盟軍轟炸和平島，他不顧家產顧樂器而避難，事後被傳為社寮奇談。潘土住的家屋一帶，古早和平島的人都叫做「番仔厝」，是大雞籠社的祖屋，屋後的兵營，是「番仔寮」，也就是「社寮公廨」，後被軍方強佔，大雞籠社至此瀕臨瓦解。