Записав в октябре 1861 г. план «Призраков», Тургенев опять прервал работу над этим произведением. В письме к Ф. М. Достоевскому от 30 октября (11 ноября) 1861 г. он сообщал: «Повесть, назначенная для „Времени“, не подвинулась в эти последние дни, много других мыслей (не литературных) вертелось у меня в голове… Но я либо ничего не буду писать, или напишу эту вещь для Вас. А писать ее хочется». В начале декабря 1861 г. положение всё еще не изменилось. В письме от 4 (16) декабря 1861 г. Тургенев писал M. H. Каткову, перепутавшему на этот раз «Отцы и дети» с «Призраками»: «„Отцы и дети“ назначена для „Русского вестника“ и появятся только в нем <…> Редакции „Времени" я действительно обещал небольшую повесть, которая вся будет состоять из 40 страниц — из которых написано 2 или 3; между ею и Вашей повестью нет ничего общего».

Вновь к работе над «Призраками» Тургенев приступил, вероятно, во второй половине декабря 1861 г., так как 26 декабря 1861 (7 января 1862 г.) он писал Ф. М. Достоевскому: «Повесть, назначенная для „Времени”, подвинулась в последнее время — и я имею твердую надежду, что она будет готова ко 2-му Nомеру; но ведь Вы сами знаете — дело это прихотливое».

Работа Тургенева над черновым автографом началась с того, что он переписал текст сделанного им ранее наброска первой и начала второй глав «Призраков», сократив начальный абзац (описание неудавшегося спиритического сеанса) и введя форму рассказа от первого лица и в ту часть текста, которая осталась неисправленной в октябре 1861 г. (см. выше).

Несмотря на обещание закончить «Призраки» в ближайшее время, Тургенев писал их с большими перерывами. Так, 2 (14) марта 1862 г. он признался Ф. М. Достоевскому, что в последние два месяца «почти ничего не работал» и что повесть «едва-едва подвигается». Некоторый перелом в работе наступил в середине марта 1862 г., когда Тургенев оставил, как он сообщил Достоевскому 18 (30) марта 1862 г., начатую им «другую вещь» (т. е. «Довольно») и писал «несколько дней с увлечением» повесть, предназначенную для «Времени».

Полемика вокруг «Отцов и детей» (1862) опять почти на год отвлекла Тургенева от работы над «Призраками». Хотя писатель и утверждал в письме к П. В. Анненкову около 6 (18) мая 1862 г., что в течение года он сможет писать только «сказки», «лирические штуки», к которым он относил и «Призраки», интенсивная работа над ними началась только весною 1863 г. и была закончена 1 (13) июня того же года. Параллельно, еще до завершения произведения в целом, Тургенев начал переписывать «Призраки», о чем он сообщал Достоевскому 13 (25) мая 1863 г.