Отец его, помощник лекаря, служил в дворцовом ведомстве, поэтому в гимназии Соловьев учился за счет казны. По свидетельству знавших его людей, с родными он был одинаково хорош и ровен, характер имел необщительный, о себе говорить не любил.

Во время учебы в университете содержал себя уроками, однако после второго курса за неимением средств вынужден был из университета уйти. Уже в те времена имея желание служить на благо народа, Соловьев уехал в Торопец, где поступил на должность учителя истории и географии. В нанятой квартире жил один, с уездным обществом не водился, в церковь не ходил, в карты не играл, водки не пил. Рассказывали, будто он регулярно клал деньги перед раскрытым окном, чтобы их мог взять любой, кто пожелает. «Зачем ты это делаешь?» — спрашивали его. «Быть может, кому-то они нужны больше, чем мне», — отвечал Соловьев. Воистину он был неуязвим со стороны материальных нужд. Однажды он послал проходящего мимо мальчишку в булочную, и тот скрылся вместе с деньгами. На упреки Соловьев возражал, что обычно прохожие исполняют его поручения и не обманывают.

Вера Фигнер с симпатией рассказывает о его рассеянности и явной непрактичности: «В обыденной жизни с ним часто случались разные приключения, вызывавшие шутки со стороны близких товарищей: пойдет гулять или на охоту, непременно попадет в какое-нибудь болото, заблудится и не найдет дороги; в городе, будучи нелегальным, забудет адрес своей квартиры; при ночной встрече с полицейским на вопрос: кто идет? — по какому-то чудачеству отвечает: «черт», и попада