Vers 630-639, un prédicateur nommé Amandus, venant dAquitaine, érigea, au lieu dit Ganda, au confluent de la Lys et de lEscaut, une église et une abbaye consacrée à Saint-Pierre.
Bavon, un noble propriétaire foncier du Hainaut mourût en cette abbaye vers lan 650. Il y fut inhumé et bientôt vénéré comme un saint. Au début du 9e siècle, Einhard, le biographe de Charlemagne était abbé de labbaye. Cest notamment à partir de cette époque où Einhard administra le monastère que lon commença à lappeler Abbaye Saint-Bavon. Dans la seconde moitié du 9e siècle, les Normands incendièrent labbaye. Les moines senfuirent en France et labbaye proprement dite nexista plus. Elle fut reconstruite sous le règne du comte Arnulf le Grand (918-965). De la seconde moitié du 9e siècle à la moitié du 11e siècle le domaine fut de nouveau la propriété de lAbbaye de Saint-Bavon. Plus tard, il fut encore agrandi de façon importante. Au Moyen Age, labbaye était le lieu de résidence de prédilection du comte de Flandre lorsquil séjournait à Gand. Les édifices imposants, principalement limpressionnante église abbatiale à cinq nefs et le réfectoire (le plus grand en Belgique) témoignèrent de la puissance et de la richesse du monastère.
Labbaye connut à la fin du 15e siècle une dernière période de prospérité lorsquelle était sous la direction de Raphaël de Mercatel. Cet abbé connu pour son amour du faste et de son raffinement, fit exécuter quelques transformations importantes. La splendeur de labbaye séculaire prit cependant subitement fin en 1540. En cette année, les Gantois se révoltèrent contre leur souverain, lempereur fit construire des fortifications sur lemplacement même de labbaye Saint-Bavon. Léglise abbatiale fut livrée à la démolition et les autres bâtiments de labbaye transformés en casernes et arsenaux. Revêtus de la dignité de chanoine, les moines furent transférés à léglise Saint-Jean qui fut placée sous la protection de Saint-Bavon. Au cours des siècles la fortification appelée «Spanjaardenkasteel» (Château des espagnols) perdit peu à peu de son importance militaire. Elle fut démantelée dans les années 1827-34. En 1882, ladministration communale de Gand installa le Musée des objets en pierre dans les anciens bâtiments de labbaye.
La collection constituée principalement dobjets découverts à Gand a une importance considérable. Elle est surtout riche en pierres tombales et en sculptures du Moyen Age.