На початку XIX століття в будівлі музею розташовувалася школа графства Тарту, де вчилися здебільшого діти ремісників. У 1829 році приміщення перейшло в приватні руки, і, отже, тут була організована масштабна робота з реконструкції будівлі. Фасад будинку був виконаний в класичному стилі. Всередині теж відбулися зміни: вікна були значно розширені, а кімнати розділені перегородками. В кімнати встановили печі, оброблені плиткою синього і білого кольору. Стіни в передпокої були покриті штучним мармуром.
Наприкінці XIX – початку XX століть будівля була поділено на кілька невеликих приміщень, а у дворі – навпаки, були зведені додаткові споруди, які пізніше були знищені. Протягом XX сторіччя будівля була житловий будинок, в якому не було постійних власників. Останні з’їхали звідти на початку 1990-х років. У 1994 році, влада міста Тарту вирішують розмістити тут Музей іграшок. У 2002-2003 роках приміщення було повністю відремонтовано та, що важливо, відтворено його первинний вигляд, характерний для XIX століття.
Тартуський Музей іграшок був відкритий в травні 1994 року. У 2004 році музей став розташовуватися в старій частині міста Тарту на вулиці Лутса-8. Комплекс музею складається з чотирьох будівель XVIII-XIX століть, з яких Лутсу-2 і Лутсу-8 (зведено на початку 1770-х років) є одними з найбільш старовинних збережених дерев’яних будівель в Тарту. Архітектура будинку, в якому знаходиться музей, включає в себе елементи двох стилів: бароко і класика.
У 2010 році до складу Музею іграшок входить Театральний Будинок, який, треба думати, єдиний і унікальний у світі культурний центр, в якому театр, створений для дітей і сімей, черпає натхнення від музею.