Мало нравилось шведам и поведение простого русского люда, который относился к лютеранам с большим недоверием. У русского нельзя было попросить взаймы ни миски, ни ведра, ни ножа или пилы, потому что все это, попав в руки «еретиков», могло «опоганиться». «В этом городе... нас было 100 офицеров и 50 денщиков. По праздникам русские напивались и нас бранили, из-за чего часто возникали драки, — вспоминал юнкер Г. А. Пипер. — Мы добыли себе большие палки — по-русски дубины — и приучили русских обращаться с нами повежливее».

Лучше всего к шведам относились в Сибири. Созданию вокруг них благоприятной обстановки во многом способствовал генерал-губернатор Гагарин, впоследствии отозванный из Сибири Петром I и казненный за воровство и взятки. (Кстати, по делу Гагарина проходили два шведских офицера, которых потом посадили в тюрьму.)

Некоторые шведские офицеры, взятые в плен на Днепре, были скоро под честное слово отпущены домой (полковые командиры Дюккер и Таубе), пообещав царю освободить вместо себя двух русских офицеров. С четырехмесячной миссией по освобождению русских военнопленных и обмену их на шведских пленных в Стокгольм выезжал секретарь полевой канцелярии Карла XII Йосиас Седерхьельм. Государственный совет по указанию короля на обмен не пошел, и Седерхьельм уехал обратно в Россию, откуда он вернулся лишь в 1721 году. Из-за упрямого противодействия короля общий обмен военнопленными между Швецией и Россией так и не состоялся.

Конечно, нахождение в плену для многих было невыносимым, и среди шведов случались побеги. Некоторым удавалось даже добраться до дома, но таких счастливчиков было мало. Большинство беглецов ловили и наказывали, при этом неизменно ужесточались условия содержания и остальных их товарищей. Раскрытые в городе Светске и в Казанской губернии заговоры офицеров с целью организации побега привели к тому, что шведов с 1711 года все чаше и в больших количествах стали отправлять в Сибирь.

Ухудшение условий содержания пленных часто увязывалось с возникавшими в России слухами о том, как плохо шведские власти у себя дома обращались с русскими военнопленными. Случившийся в Москве в мае 1712 года большой пожар приписали злому умыслу шведских пленных, в результате толпа разъяренных московских обывателей напала на нескольких шведских офицеров и крепко побила их, большинство пострадавших отправили в Сибирь. Вся шведская колония находилась в неописуемом страхе, пока расследование властей не показало, что шведы к пожару никакого отношения не имели.

Не избежали, по мнению Э. Карлссона, «дурного обращения» и высокопоставленные офицеры и генералы: так, осенью 1710 года Реншёльд, Пипер и Седерхъельм без всяких объяснений были переведены из Москвы в Петербург. По приезде в новую столицу они предстали перед сенатом, где им задали вопрос, готовы ли они содействовать обмену взятого после капитуляции Рига генерал-губернатора Н. Стрёмберга на находившегося в шведском плену генерала Вейде. Сенат также предложил Пиперу и Реншёльду под честное слово выехать в Швецию, чтобы содействовать освобождению из плена князя Трубецкого и грузинского царевича Александра. Шведы ответили, что они не уполномочены вести такие переговоры, а предложение об обмене Н. Стрёмберга нашли неправомерным, поскольку генерал-губернатор якобы военнопленным не был. К тому же было уже решено, что Вейде должен был быть обменен на Девенхаупта. Тогда под угрозой заключения в тюрьму от них потребовали письменного согласия на указанные предложения, и после того как фельдмаршал и граф уступили этим требованиям, в начале 1711 года их вернули обратно в Москву.