La partie ancienne du château de Milliassière, dont la construction est estimée autour de la seconde moitié du XVe siècle, semblerait cependant reposer sur les bases d'un bâtiment plus ancien, lequel correspondrait à la première maison forte de Buffevent, datant du XIVe siècle. Au XVIIe siècle, le bâtiment a toujours l'aspect d'une maison forte, encadrée de ses deux tours en diagonale.
Selon Éric Tasset, auteur d'un ouvrage consacré aux châteaux de l'Isère, Milliassière a été remanié plusieurs fois aux cours des siècles suivants, notamment en 1813.
Durant les années 1880, un parc est aménagé à la suite du nivellement d’une importante butte de terre dégageant la vue et qui permet le creusement d’une pièce d’eau ainsi que la constitution d’une grande allée d’accès.
En 1913, l’aile nord est agrandie donnant ainsi à l'édifice sa forme actuelle. Par un curieux retour de l'histoire, l’extension effectuée durant cette période a permis d'incorporer des pierres de l’ancienne maison forte de Buffevent, récupérées sur une ancienne maison ruinée du hameau de Buffières situé à proximité et qui, lors de sa construction, avait été bâtie avec des pierres récupérés sur le précédent édifice, lui-même en ruines à l'époque.