Venne costruito dal figlio primogenito della famiglia Ginami dei Licini nel 1246 in una zona particolarmente favorevole dal punto di vista strategico: questo è infatti situato sullo sperone di una roccia in posizione elevata rispetto al piano dove scorre il Serio, punto di passaggio obbligato, d'avvistamento e di difesa. La struttura muraria risale al XVI secolo; è rimasta quasi intatta solo la torre del castello che sovrasta l'intero edificio. Nel XIX secolo passò alla famiglia Gelmini, poi alla curia di Bergamo ed infine ad una società privata. All'interno si trovano alcune raccolte antiche di notevole valore: ricami del Settecento, acquasantiere di vari secoli ed alcuni tra i più singolari oggetti bergamaschi come una "vestina" da battesimo del XVIII secolo, una culla, un cofanetto di nozze del '400 e i cosiddetti "vasi della sposa" con fiori di stoffa e bozzoli del secolo scorso.

In uno dei saloni si possono ammirare anche un magnifico soffitto ligneo a cassettoni decorato ed uno stupendo lampadario in ferro battuto con l'emblema del comune di Gromo.