Совершенно истощенный владыка стал глубоким инвалидом. Но, несмотря на это, в начале Отечественной войны он был направлен в Онежские лагеря пешим ходом, который предполагал прохождение 400 километров по лесной болотистой местности. «Я рад был зачерпнуть горстью водички из лужи или из болота, и эта, хотя и грязная, но не ядовитая, вода... освежала меня и укрепляла. Соринки, травинки, водяную плесень я откидывал, а воду пил, и без этой сырой и нечистой воды едва ли бы дошел до цели», – писал владыка Афанасий об этом походе. Прибыв на место, он уже был в таком состоянии, что не надеялся на то, что сможет выжить. Но Господь миловал его и давал силы.
Военные годы.
В июне 1942 года, проведя в лагере пять месяцев больше срока, святитель вышел на свободу и направился в бессрочную ссылку в Омскую область. Но в ноябре 1943 года его снова арестовали и, обвинив в организации антисоветского подполья, приговорили к восьми годам Сибирских лагерей. Будучи инвалидом, владыка Афанасий не мог физически работать на лесоповале, поэтому его поставили ассенизатором. Архиерей вспоминал в это время свою любимую поэму А. Толстого «Иоанн Дамаскин». Там певец – очиститель отхожих мест, здесь архиерей – ассенизатор. В это время из газет святитель узнал, что после смерти митрополита Сергия Патриархом стал митрополит Алексий. Так, впервые после смерти святителя Тихона, в своих молитвах владыка Афанасий стал поминать и нового предстоятеля Церкви. До окончания срока заключения владыку еще не раз будут перемещать из одного лагеря в другой. Но даже в 1952 году, когда его должны были освободить, этого никто не спешил делать, ссылаясь на то, что он инвалид и на свободе его некому будет содержать. Так владыка провел в лагере еще лишние два с половиной года. Неопределенность изматывала нервы и в январе 1954 года с владыкой случился инсульт.
Последние годы жизни.
В том же году архиерея определяют в дом инвалидов, но на самом деле это была та же самая тюрьма. На территорию выходить не разрешалось, переписка была ограничена, свидания также не допускались. Формально он считался свободным человеком, но, по сути, находился в заключении. Начальник инвалидного дома относился к владыке очень плохо. Пять человек, таких же инвалидов, как и сам архиерей, ютились в маленькой комнатушке. Нужно сказать, что такая судьба ожидала многих инвалидов, прошедших горнило ВОВ. Среди заключенных были даже герои Советского Союза. Все это было связано с внутренней политикой государства, которое посчитало, что обилие инвалидов на улицах городов будет портить идиллию Советской действительности.
В середине пятидесятых режим в инвалидном доме стал свободнее, охрану сняли, можно было выходить за территорию, но владыка пользоваться этой свободой уже не мог, так как почти не ходил. В 1955 году его забрал к себе на поруки Георгий Седов, староста Воскресенского собора города Тураева. Он стал официальным опекуном владыки. Но и здесь случились искушения. Несмотря на то, что в справке, выданной в лагере, значилось, что архиерей не имеет ущемления в правах, в Тутаеве его обязали подпиской о невыезде за пределы района и двукратной явкой в милицию на регистрацию. Для того, чтобы дойти до милиции, владыке приходилось делать такие усилия, которые полностью забирали его силы, и он потом неделю лежал в изнеможении. Лишь через некоторое время было дано разрешение ходить в милицию с документами архиерея его опекуну. Различные неприятности не прекращались и в дальнейшем. Лишь перед самой смертью духовным чадам удалось общими усилиями купить архиерею небольшой скромный сельский домик в г. Петушки Владимирской области. Но к тому времени уже было закончено строительство небесных покоев подвижника, куда его и переселил Господь 28 октября 1962 года.
Прославление