Первые три недели своего пребывания в Перми Михаиле Михайлович проживал в квартире на втором этаже дома, принадлежавшего разорившемуся купцу Ивану Николаевичу Попову [5]. Наступление холодов заставило его в середине октября переселиться в более теплый и просторный дом купца Иванова [6].

Главным занятием Сперанского во время пермской ссылки было чтение книг. Как правило, читал опальный сановник произведения на религиозные темы из библиотеки Пермской духовной семинарии. Для того чтобы понимать Ветхий завет в оригинальном его варианте, он даже стал изучать древнееврейский язык.

И. Н. Попов вспоминал впоследствии, что, проживая в его доме, Михайло Михайлович просыпался обыкновенно в семь часов — пил кофе без сливок и сразу садился за книги. В 9 часов он отвлекался от чтения на завтрак, который каждый день был почти одинаковым: пять яиц всмятку — одни желтки с хлебом да рюмка портвейна. После этого опять читал. С часу до двух прогуливался по улицам, в два часа обедал: как правило, обед его составляли суп, какая-нибудь вареная рыба, жаркое и две рюмки портвейна. Пообедав, подходил к окну и некоторое время стоял, смотря на небо благодарным взором и с таким выражением лица, каковое бывает только при искренней молитве. Потом обыкновенно играл в течение получаса с хозяином дома в шашки. Затем снова читал — на этот раз до самого вечера. Иногда часов в 8 вечернего времени прерывал чтение и садился с хозяином дома за стол выпить пунша с вином да поговорить на разные темы. Чаще всего он рассказывал об известных людях, с которыми встречался во время своей жизни в столице, или о тех или иных знаменательных событиях, в которых ему довелось участвовать. В этих вечерних беседах нередко принимал участие проживавший во флигеле дома Попова игумен Соликамского монастыря, инспектор Пермской семинарии Иннокентий Коровин.

Смущение пермского губернского начальства перед опальным сановником прошло немедленно после того, как оно ознакомилось с предписанием императора иметь его под строгим присмотром. И скорее всех опомнилась губернаторша, которая, по непонятным причинам, словно задалась целью сделать жизнь изгнанного из столицы сановника насколько возможно невыносимой. Прежде всего она позаботилась о том, чтобы окружить его доносчиками. Последних найти было совсем не трудно. Поручение доносить о разговорах и поступках столь высокой недавно и известной особы, каковой был в России Сперанский, нисколько не оскорбляло провинциальных чиновников. Скорее наоборот: многие находили в этой подлости нечто для себя почетное, возвышающее во мнении окружающих, и не упускали случая похвалиться ею.

Одновременно губернаторша распорядилась приставить к квартире ссыльного двух будочников. «Пускай временщик при виде караульных поймет конец своей роли», — объяснила она данный свой поступок. Кроме того, по поручению Анны Ивановны городничий и два специально отобранных для того частных пристава должны были в любое время дня и ночи регулярно и безо всяких церемоний входить в квартиру «врага отчизны», как звала она Сперанского, и докладывать ей обо всем увиденном и услышанном там. Подобного рода «надзор» над опальным сановником продолжался и после того, как Сперанский переселился в нанятый им отдельный дом.

Михайло Михайлович пытался скрасить свое однообразное существование долгими пешими прогулками по городским улицам. Но едва он останавливал кого-то из прохожих, чтобы поговорить с ним, как откуда-то появлялся строгий полицейский, который советовал местному жителю проходить мимо ссыльного сановника, не останавливаясь.

Исполняя желание губернаторши, приближенные к ней чиновники с помощью разных лакомств побуждали мальчишек гоняться за Сперанским, когда тот прогуливался по улицам, и кричать ему: «Изменник! Изменник!» — бросая в него при этом комья грязи.

Свое презрение к Сперанскому за то, что он якобы предал свое Отечество, не упускали случая выказать даже привезенные в Пермь пленные французы: они, например, отказывались принимать от него милостыню.

Зато с большим почтением относились к опальному сановнику с самого начала и во все пребывание его в Перми учащиеся местной духовной семинарии. Для семинаристов Сперанский, выходец из их круга, был героем несмотря ни на что. И он, в свою очередь, в ответ на их почтительные поклоны непременно снимал шляпу и вежливо им кланялся. Пермские обыватели, привыкшие к тому, что особо важные персоны никогда не отвечают на приветствия и поклоны в их адрес, не переставали удивляться такому поведению столичного сановника.

Здание Пермской семинарии располагалось на берегу Камы. Михайло Михайлович любил прогуливаться по набережной. И часто сидел на скамейке, стоявшей на берегу напротив здания духовной семинарии, и смотрел на реку.

В ноябре 1812 года в Пермь приехали дочь, теща и младший брат Сперанского Кузьма Михайлович. До изгнания Михаилы Михайловича из столицы Кузьма Сперанский занимал должность казанского прокурора и вполне успешно работал. Но после того, как старший его брат был выслан в Нижний Новгород, он получил сообщение и о собственной отставке: причем оформлена была эта отставка довольно странным способом — без какого-либо высочайшего повеления, одним сенатским указом.

Елизавета Сперанская и госпожа Стивенс пробудут в Перми почти три месяца. 4 февраля 1813 года они отправятся в Санкт-Петербург с намерением переехать по весне в Великополье. Казалось, проживая в Перми вместе со своими близкими родственниками, Сперанский мог испытывать только положительные эмоции, но его душа была так устроена, что любая радость в ней была неотделима от горечи.