O Castelo de Dunvegan sempre foi a morada do clã MacLeod e é o mais antigo na Escócia usado sempre pela mesma família, pois outros eram vendidos ou tomados de tempos em tempos.

A história do castelo começou quando o escocês Leod , filho do Rei Viking, Olavo "o Negro", da "Isle of Man" (ilha do homen) e das "North Isles" (ilhas do norte) herdou as ilhas de Harris, de Lewis e parte da ilha de Skye.

Antes de morrer em 1280, Leod deixou uma fortificação erguida na península rochosa de Dunvegan, que foi o princípio do que é hoje o atual castelo.

Leod também deixou suas terras divididas entre seus dois filhos homens: Tormod e Torquil. Tormod gerou o clã Macleod de Harris e Torquil gerou o clã Macleod de Lewis. Hoje são dois clãs quase distintos, apesar do parentesco.

Na época existia somente uma porta de entrada e saída que fica de frente para o lago e foi a única até meados do século 18. Era pequena, fortemente protegida por sua construção rochosa, o que impedia a penetração de estranhos. Ela ainda existe mas já não é mais a entrada principal.

O primeiro aumento foi construído por Malcom, o 3º chefe do clã MacLeod, entre 1340 e 1360.

A torre Fairy (a principal e a mais alta) foi construída por volta do ano de 1500 e outras melhoras ainda foram feitas no século 17. As melhores reformas foram feitas no século 19 quando foram feitas as várias torretes vistas ao redor da crista do castelo.

As últimas reformas mais expressivas ocorreram entre 1934 a 1938 quando foram restauradas a parte sul do castelo, parcialmente destruídas por um pequeno incêndio.

O castelo não sofreu investidas militares, apenas no século 15 foi sitiada por uns tempos pelo clã dos MacDonald's de Sleat, família tradicionalmente inimiga dos MacLeod's. Noutra ocasião o castelo foi tomado por Iain Dubh (um tio do chefe do clã da época), que aspirava ser o chefe legítimo do clã.