源頼朝は治承4年(1180年)8月に挙兵し、10月に鎌倉入りして拠点を大倉に定め、
大庭景義を担当として新たな館の建設が行われた。当初は父
源義朝の屋敷があった
亀ヶ谷が候補地であったが、手狭であり義朝の菩提を弔う寺院もすでに建てられていた事から、大倉の地(東西約270m、南北約200m程度の方形の敷地)になったという。この地が選ばれたのは、大倉が鎌倉の外港
六浦と鎌倉を結ぶ六浦道沿いの地であった事と、
四神相応の地であった事があげられる。廊内(敷地内)には、寝殿、対屋、
侍所、厩などがあり、東・西・南・北に門がある一般的な貴族の
寝殿造であった。頼朝配下が控えていた侍所は貴族の邸宅のそれの2倍の大きさの18
間(約37.8m)、厩は15間(約31.5m)で
奥州の名馬30頭を収容できる規模であり、武家の総帥の邸宅としての特徴が見られる。そしてその近辺には御家人の宿館が立ち並んでいた。御所内には御寝所などの私的なゾーンと、公的なゾーンがあり、政務は
問注所や
評定を行う西中門廊、内厩侍上などで行われた。
頼朝は同年12月12日に
上総広常の邸を出て、完成した新亭に入る儀式が行われた。多くの武士たちがこれに従い、出仕の場である侍所には311人が2列に居並び、侍所
別当に任じられた
和田義盛が帳簿に出欠を記録した。『
吾妻鏡』は「これから以降、
東国の人々はみな、頼朝の徳ある道を進むのを目にして、鎌倉の主として推戴することになった。」と記している。それまで鎌倉は漁民や農民のみが住む辺鄙な所であったが、この時に道を整えて村里に名前をつけ、家屋が建ち並ぶようになったという。