Поселок расположен на берегу Волги в устье рек Селижаровки и Песочни, в 280 км от Москвы по Новой Риге, 130 км к западу от Твери и 80 км от Ржева.

 

 

Древнее селение, расположенное в устье рек Селижаровки и Песочни, долгое время являлось поселком при монастыре. В 1504 году на торговом пути из Новгорода на Каспий был построен Селижаровский монастырь, вокруг которого и возникла монастырская слобода. С 1862 года поселок получил название Селижаровский Посад, через него проходили различные торговые пути. 

 

В поселке земской управой во второй половине XIX века была открыта школа грамотности, земская больница, на частные пожертвования горожан – первая городская библиотека. В 1909 году началось строительство железной дороги Торжок-Кувшиново. Благодаря усилиям селижаровских купцов, она была продолжена до Селижарово, а в 1916 году по ней прошел первый поезд.

 

Во время Великой Oтечественной войны большая часть района и Селижарово оказались в оккупации. В результате от поселка почти ничего не осталось: из 560 построек уцелело только 26. B Великой Отечественной войне участвовали 10 230 селижаровцев, почти 7 тысяч не вернулись дoмой.

 

В настоящее время самая старая часть поселковой застройки находится на холме у слияния рек. Этот холм и крепостного вида храм – остатки Троицкого Селижарова монастыря, основанного здесь в конце XV в. Поселок городского типа Селижарово является небольшим, вытянутым вдоль автомобильной дороги Осташков–Селижарово–Ржев. Застройка – преимущественно деревянная, одноэтажая. Однако в центре поселка можно увидеть многоэтажные здания послевоенного времени. Центральная площадь образована перекрестком дорог, являющих продолжением мостов через реки Волгу и Селижаровку.