Kiltsi loss on vanim sellelaadne arhitektuurimälestis Lääne-Virumaal.

Esimene oletatav vasall-linnuse rajamise daatum on 1292, mis on kirjas hoone esiküljel asetseval viilul. See ei ole aga kirjalikku kinnitust leidnud. 1383. aasta läänikirja järgi võib oletada, et Kiltsis olid kindlustatud ehitised, mis hiljem vastavalt vajadusele ümber ehitati. Kiltsi vasall-linnuse esialgset ilmet ei ole võimalik enam kindlaks teha.

Kuni 1514. aastani kuulus Kiltsi mõis Wrangelitele, siis sai selle omanikuks Gilsenite perekond, millest on tuletatud praegune kohanimi Kiltsi.

1784 omandas mõisa H.J. von Benckendorf. Tema asus vanu linnusemüüre kokku sobitama varaklassitsistlikus stiilis ehitatava lossiga. Hoonele lisati tiivad. Tolleaegne ilme on püsinud praktiliselt muutumatuna. Tänaseni on kasutusel ka vasall-linnuse suured võlvitud keldrid.

XIX sajandi alguses omandas Kiltsi lossi Adam Johann von Krusenstern.

Alates 1920. aastast tegutseb lossis kool.