Королю Якову VI Шотландскому (он же Яков I Английский) не давала покоя слава французского шелка — утка и основы всей моды XVII века. Однако то ли по досадному недоразумению, то ли в результате происков коварных галлов, посаженные им тутовые деревья оказались не того вида — и вся затея с треском провалилась.
Однако сад остался и в период Реставрации стал модным парком культуры и отдыха. В своей следующей инкарнации он обрел форму Арлингтон-хауса, который в свой черед в 1703 году уступил место Бакингем-хаусу, лондонской резиденции первого герцога Букингемского Джона Шеффилда.
Правящие монархи мечтали прибрать к рукам этот лакомый кусок столичной недвижимости не один год. Королеву Анну очень раздражало, что открывавшийся из окон Бакингем-хауса роскошный вид на Сент-Джеймский парк, создавал иллюзию, будто хозяин дома притязает еще и на эти королевские владения. В 1723 году будущий Георг II с супругой приценились было, но запрошенные герцогиней Букингемской £60,000 совершенно не вписались в их бюджет. В итоге, лишь Георгу III в 1761 году удалось сторговаться с тогдашним владельцем и осчастливить свою супругу королеву Шарлотту уютным семейным гнездышком (в противовес официальной резиденции в Сент-Джеймском дворце).