Двадцать восьмого декабря Толстой, который все еще был в Москве, присутствовал на торжественном банкете, организованном профессором Кавелиным ради примирения всех либеральных партий вокруг идеи отмены рабства. Но братских объятий не получилось – славянофилы собрание игнорировали. Тем не менее участвовали сто восемьдесят человек и произнесено было немало речей. Все эти льстивые речи, адресованные просвещенной власти, благородные дворяне и славные мужики вызвали у Льва только неприязнь, он устал от разговоров, дискуссий, торжественных речей, и все, что полезно государству, казалось ему вредным для людей. Он считает человека, увлекшегося политикой, потерянным для настоящих размышлений. Художник должен заниматься вечными, а не сиюминутными проблемами. «Политическое исключает художественное, ибо первое, чтобы доказать, должно быть односторонне». Некрасов и окружавшие его люди придерживались иного мнения. С досадой читал редактор «Современника» «непрогрессивные» фразы, как, например, в рассказе Толстого «Альберт», что только красота неоспорима в этом мире. Он немедленно написал автору, чтобы выразить свое разочарование: «Милый, душевно любимый мною Лев Николаевич. Повесть Вашу набрали, я ее прочел и по долгу совести прямо скажу Вам, что она нехороша и что печатать ее не должно. Главная вина Вашей неудачи в неудачном выборе сюжета, который, не говоря о том, что весьма избит, труден почти до невозможности и неблагодарен… Эх! пишите повести попроще».

Несколько удивленный подобной просьбой, Толстой забирает «Альберта», чтобы поправить, и 25 ноября раздраженно записывает в дневник: «Напечатаю». Еще недавно вместе с Тургеневым, Григоровичем и Островским он создал группу, которая следила за тем, чтобы исключительное право на публикацию произведений авторов «Современника» принадлежало именно этому изданию. Но радикальная направленность журнала с некоторых пор стала вызывать его неодобрение. Критика Некрасовым его повести окончательно заставила Льва сблизиться со сторонниками чистого искусства Дружининым и Боткиным, и 17 февраля 1858 года он уведомляет Николая Алексеевича, что отказывается от «обязательного соглашения» с ним, что союз их «ни к черту не годится», обещает все лучшее печатать все-таки в «Современнике» и в качестве «отступного» предлагает несколько вещей, среди которых измененный вариант «Альберта». Некрасов нехотя отпустил на свободу основного своего сподвижника и напечатал нелюбимого «Альберта». Критика была сурова: рассказы «полусумасшедшего» не могут служить источником для произведения искусства, это неоконченное психологическое исследование не оставляет у читателя никаких впечатлений. Несмотря на шквал отрицательных отзывов, Толстой по обыкновению продолжает работать сразу над несколькими вещами: «Тремя смертями», к которым постоянно возвращается, «Семейным счастием», к написанию которого подтолкнули взаимоотношения с Арсеньевой, и «Казаками», которых хочет превратить в нечто эпохальное, подобное Гомеру: «Илиада» заставляет меня совсем передумывать «Беглеца».

Он живет в Москве с сестрой, которая, уйдя от мужа, стала озлобленна и нервна, братом Николаем, племянниками, тетушкой Toinette, но семейной жизни ему недостаточно – жаждет иной деятельности. Избыток энергии Лев пробует израсходовать в гимнастическом зале на Большой Дмитровке. «Надо было видеть, с каким одушевлением он, одевшись в трико, старался перепрыгнуть через коня, не задевши кожаного, набитого шерстью конуса, поставленного на спине этого коня», – вспоминал Афанасий Фет. Толстой в это время много занимался музыкой, организовывал концерты и даже разработал устав камерного оркестра, во главе которого был его давешний соперник, пианист Мортье де Фонтен, очаровавший Валерию Арсеньеву; правда, проект провалился из-за финансовых проблем.