دسترسی به این دژ کمی دشوار است و برای بازدید از آن نیاز به راهنما و بلد محلی دارید. دره عمیق و انحنای آن، در کنار قلعه قمچقای منظره کمنظیری به دست میدهد که تا به حال ناشناخته مانده است.
دروازه پاسنگان به سوی جنوب است. دروازه سردر و تاق آجرکاری و تاق نما در دو سو دارد. دروازه به هشتی می گشاید. در گذشته طبقه دومی بر بالای ایوان دروازه بوده است که امروزه نشانی از آن نیست. سپس میانسرا با حوضی در میان قرار دارد. شاه نشین در طبقه دوم سازه کاروانسرای پاسنگان جای دارد. کاروانسرا یک آب انبار در درون و یک آب انبار نیز بیرون از میانسرا دارد.
عمارت چهلستون در بهمن ماه سال 1334 به شماره 389 در فهرست آثار تاريخي ايران ثبت گرديد.بخشي از اين بنا در سال 1335 به عنوان نمايشگاه اشياء تاريخي و باستاني مورد استفاده و پس از دو سال به صورت كامل تبديل به گنجينه قزوين گرديد.
کتیبۀ نستعلیق موجود در دالان شمالی از نام معمار هنرمند بنا، محمد حسن معمار، و استاد محمدرضا کاشیپز، از بهنامترین هنرمندان زمانۀ خویش حکایت دارد که در کنار دو تاریخ 1293 هـ.ق. برای آغاز و 1305 هـ.ق. برای پایان کار سندی تاریخی برای این بنای شگفتانگیز است. در پایان کتیبه نیز شعر مشهوری از سعدی و نام معمار آمده است: غرض نقشی است کز ما بازماند که هستی را نمیبینم بقایی مگر صاحبدلی روزی به رحمت کند در حق استادان دعایی
تزیینهای معماری به کار رفته در برخی قلعههای کوه خواجه به هنر سبک یونانی شبیه است. به خصوص سر ستونهای مارپیچ و همچنین گل کوچک پرپر شبیه به نیلوفر که بسیار شبیه به نمونههای هخامنشی هستند.
کاروانسرا در سال 1097 هجری در زمان شاه سلطان حسین صفوی در سر راه زیارتی مشهد-سمنان ساخته شد اما آن را به نام شاه عباس کاروانسرای شاه عباسی خواندند. این مکان که 34 حجره در اطراف حیاط دارد چهار ایوانی است. اين كاروانسرای آجری دو شاه نشين دارد كه يكي بر فراز ورودي اصلي و ديگري در مقابل آن بنا شده است. اين بنا علاوه بر حياط مركزي داراي دو حياط كوچكتر است كه در دو طرف ورودي اصلي ساخته شده اند و همین نکته موجب شده تا در ميان كاروانسراها منحصر به فرد باشد.
در نمای درونی بزرگترین تاق، یک خوشنویسی جا داده شده است که به «خط معقلی» تاریخ ساخت و در سوی دیگر به گونه ترازمند «یا علی» نگاشته شده است. از این روی، پل میر بها الدین با پل سردار که هر دو در زنجان هستند همانند دارند. دهانههای تاقهای پل پهن از کار درآورده شده است، پس برای نگهداشت بار افزون این تاقهای پهن 4 چشمه تاق دو طبقه با کمانه های هشتی جناقی به تراز هم و در پیرامون بزرگترین طاق به ساختار پل افزوده شده است.
خانه مستوفی در دو بخش بیرونی و اندرونی، با چشماندازی به رود شَطیط، بخشی از رود کارون و بند باستانی شادُروان بنا شده است. بخش بیرونی شامل درگاه، راهرو، اتاقهای پیرامون راهرو، هشتی و بخش اندرونی دارای میانسرا، شاه نشین، ایوان، اتاقهای پذیرایی با دو بخش زمستانی و تابستانی و چند بادگیر است. این سازه از خشت، آجر و ملات گل و گچ ساخته شده است.