พระตำหนักใหญ่ (ตำหนักเทา)
สองปีต่อมา สมเด็จพระนางเจ้ารำไพพรรณีฯ จึงโปรดเกล้าฯ ให้สร้างพระตำหนักใหญ่ (พระตำหนักเทา) บนเนินที่ลาดลงไปยังหุบเขา ซึ่งเป็นที่ประทับและรับรองแขก พระตำหนักเป็นอาคารแบบครึ่งตึกครึ่งไม้ชั้นครึ่ง รูปทรงยุโรป ทาสีเทา ชั้นบนเป็นห้องบรรทมซึ่งมีเฉลียงที่พระองค์สามารถทอดพระเนตรทิวทัศน์อันงดงามของสวนบ้านแก้วได้กว้างไกล
เมื่อวันที่ ๑๗ พฤศจิกายน พุทธศักราช ๒๔๙๙ พระบาทสมเด็จพระเจ้าอยู่หัวภูมิพล อดุลยเดชฯ และสมเด็จพระนางเจ้าสิริกิต์ พระบรมราชินีนาถ ได้เสด็จพระราชดำเนินมาที่สวนบ้านแก้ว การเสด็จพระราชดำเนินครั้งนี้ พระบาทสมเด็จพระเจ้าอยู่หัวได้ทรงปลูกต้นจำปาไว้ด้านข้างพระตำหนักใหญ่ และสมเด็จพระนางเจ้าฯ พระบรมราชินีนาถ ทรงปลูกต้นเงาะไว้บริเวณเดียวกัน
การก่อสร้างพระตำหนัก
ในการก่อสร้างพระตำหนักและสิ่งก่อสร้างต่างๆ ในสวนบ้านแก้ว สมเด็จพระนางเจ้ารำไพพรรณีฯ โปรดให้เป็นไปด้วยความประหยัดมากที่สุด โปรดให้จ้างชาวจีนมาสอนข้าราชบริพาร สร้างโรงทำอิฐเผาอิฐ เผากระเบื้องมุงหลังคา เนื่องจากในการก่อสร้างพระตำหนักใหญ่ต้องใช้อิฐเป็นจำนวนมาก การขนส่งมาจากกรุงเทพฯ เป็นเรื่องยุ่งยากและเสียค่าใช้จ่ายสูง อิฐของสวนบ้านแก้วจึงเป็นอิฐคุณภาพดี ขนาดใหญ่ เช่นเดียวกับอิฐบางบัวทองมีสัญลักษณ์เป็นตัวอักษรว่า ส.บ.ก. ใช้ก่อสร้างเฉพาะในสวนบ้านแก้วเท่านั้น ยังมีอีกพระตำหนักหนึ่งคือตำหนักน้อย มีลักษณะเป็นบ้านชั้นเดียว ซึ่งใช้เป็นที่รับรองพระราชอาคันตุกะ และทรงใช้เป็นที่ประทับสำราญพระราชอิริยาบถในบางโอกาส
นอกจากนั้นยังมีศาลาพักผ่อน ๒ แห่ง คือ ศาลาทรงเหลี่ยม อยู่ด้านหลังพระตำหนักใหญ่ เป็นที่ประทับเสวยพระสุธารสชาและศาลาทรงไทย อยู่ข้างพระตำหนักดอนแค เป็นที่ประทับเสวยน้ำพริก นอกจากนั้นยังมีอาคาร และสิ่งก่อสร้างอื่น ๆ อีก เช่น บ้านพักมหาดเล็ก ตำรวจ ทหารรักษาวัง เรือนข้าราชบริพาร โรงทอเสื่อ โรงวัว และเล้าไก่ เป็นต้น
สองปีต่อมา สมเด็จพระนางเจ้ารำไพพรรณีฯ จึงโปรดเกล้าฯ ให้สร้างพระตำหนักใหญ่ (พระตำหนักเทา) บนเนินที่ลาดลงไปยังหุบเขา ซึ่งเป็นที่ประทับและรับรองแขก พระตำหนักเป็นอาคารแบบครึ่งตึกครึ่งไม้ชั้นครึ่ง รูปทรงยุโรป ทาสีเทา ชั้นบนเป็นห้องบรรทมซึ่งมีเฉลียงที่พระองค์สามารถทอดพระเนตรทิวทัศน์อันงดงามของสวนบ้านแก้วได้กว้างไกล
เมื่อวันที่ ๑๗ พฤศจิกายน พุทธศักราช ๒๔๙๙ พระบาทสมเด็จพระเจ้าอยู่หัวภูมิพล อดุลยเดชฯ และสมเด็จพระนางเจ้าสิริกิต์ พระบรมราชินีนาถ ได้เสด็จพระราชดำเนินมาที่สวนบ้านแก้ว การเสด็จพระราชดำเนินครั้งนี้ พระบาทสมเด็จพระเจ้าอยู่หัวได้ทรงปลูกต้นจำปาไว้ด้านข้างพระตำหนักใหญ่ และสมเด็จพระนางเจ้าฯ พระบรมราชินีนาถ ทรงปลูกต้นเงาะไว้บริเวณเดียวกัน
การก่อสร้างพระตำหนัก
ในการก่อสร้างพระตำหนักและสิ่งก่อสร้างต่างๆ ในสวนบ้านแก้ว สมเด็จพระนางเจ้ารำไพพรรณีฯ โปรดให้เป็นไปด้วยความประหยัดมากที่สุด โปรดให้จ้างชาวจีนมาสอนข้าราชบริพาร สร้างโรงทำอิฐเผาอิฐ เผากระเบื้องมุงหลังคา เนื่องจากในการก่อสร้างพระตำหนักใหญ่ต้องใช้อิฐเป็นจำนวนมาก การขนส่งมาจากกรุงเทพฯ เป็นเรื่องยุ่งยากและเสียค่าใช้จ่ายสูง อิฐของสวนบ้านแก้วจึงเป็นอิฐคุณภาพดี ขนาดใหญ่ เช่นเดียวกับอิฐบางบัวทองมีสัญลักษณ์เป็นตัวอักษรว่า ส.บ.ก. ใช้ก่อสร้างเฉพาะในสวนบ้านแก้วเท่านั้น ยังมีอีกพระตำหนักหนึ่งคือตำหนักน้อย มีลักษณะเป็นบ้านชั้นเดียว ซึ่งใช้เป็นที่รับรองพระราชอาคันตุกะ และทรงใช้เป็นที่ประทับสำราญพระราชอิริยาบถในบางโอกาส
นอกจากนั้นยังมีศาลาพักผ่อน ๒ แห่ง คือ ศาลาทรงเหลี่ยม อยู่ด้านหลังพระตำหนักใหญ่ เป็นที่ประทับเสวยพระสุธารสชาและศาลาทรงไทย อยู่ข้างพระตำหนักดอนแค เป็นที่ประทับเสวยน้ำพริก นอกจากนั้นยังมีอาคาร และสิ่งก่อสร้างอื่น ๆ อีก เช่น บ้านพักมหาดเล็ก ตำรวจ ทหารรักษาวัง เรือนข้าราชบริพาร โรงทอเสื่อ โรงวัว และเล้าไก่ เป็นต้น