A Pont se situait l’un des gués qui permettaient de rejoindre les routes romaines le long des deux rives de la Sarine. Un poste de vigie y est attesté, probablement à l’emplacement du château médiéval. La seigneurie acquiert son nom semble-t-il au XIIe s. lorsque le gué est remplacé par des ponts. Un premier pont est construit sous le lieu-dit Vieux-Châtel, en amont des ruines actuelles. Un second est établi à l’extrémité de la presqu’île. Situés trop bas sur le cours d’eau, menacés par les crues de la Sarine, ils sont remplacés par un troisième pont, construit en bois, puis en tuf en 1544, 200 m en amont : le pont de Thusy, toujours intact sous les eaux du lac.
Les ruines de l’île d’Ogoz sont les vestiges les plus évidents du site médiéval de Pont-en-Ogoz, érigés sur une presqu’île arrondie, formée par un méandre de la Sarine. Un petit bourg à l’abri des falaises y est fondé avant 1231. Les ruines actuelles sont ce qu’il reste d’une forteresse qui en défendait l’entrée du site côté terre.
Les tours jumelles de l’île d’Ogoz et les constructions attenantes constituaient deux châteaux distincts, sièges de coseigneuries, chacun doté d’une tour maîtresse habitable et de corps de logis. La chapelle est également construite au Moyen-Âge.
Au début du XVème siècle, le bourg d’Ogoz est abandonné et Fribourg permet même la récupération des pierres de taille.