За год до этого развернулись события «восточной войны». Фрегат «Паллада» среди кораблей дальневосточного флота был вооружён лучше других. Его первым командиром был прославившийся затем в Крымской войне адмирал П.С. Нахимов. Но корабль, построенный 22 года назад в Петербурге, потрёпанный в дальних походах, пришёл в полную негодность: самостоятельно он уже не смог бы вернуться через три океана на родину. Вице-адмирал Путятин направил «Палладу», а вслед за ней и другие корабли эскадры в Императорскую гавань...

На берегу строились укрепления, ставились артиллерийские батареи. В июле корабли решили перевести в устье Амура. Пройти фрегату по фарватеру к Амуру не удалось, и Путятин отправил его на зимовку в Императорскую гавань.

В эту зиму шхуна «Восток» Римского-Корсакова оставалась в Петровском. В октябре англо-французская эскадра атаковала Петропавловск-Камчатский. Оборону порта возглавил адмирал В.С. Завойко. Нападение было отражено — эскадра ушла, хотя нельзя было исключить то, что она могла повторить попытку в будущем.

Конец Амурской экспедиции

В первые месяцы 1855 года Невельской занимался укреплением береговой обороны Амурского лимана, в котором укрылись все корабли дальневосточного флота. В Николаевске был главный штаб обороны. Невельской постоянно перемещался между постами, он был «душой» амурской обороны. После второго сплава по Амуру во главе с Муравьёвым, в котором участвовало 113 барж, в Приамурье сосредоточилась военная группировка из семи тысяч человек. Прибыли и первые переселенцы из Сибири, основавшие русские сёла Иркутское, Михайловское, Сергеевское, Богородское...

В конце мая 1855 года Невельской, находившийся в Николаевске, получил от генерал-губернатора Муравьёва предписание, первый пункт которого гласил: «Амурская экспедиция заменяется Управлением Камчатского губернатора контр-адмирала Завойко, местонахождением которого назначается Николаевское». Это означало отставку Невельского. Впрочем, она была почётной. Об этом Муравьёв писал Корсакову в частном письме: «... Для успокоения Невельского я полагаю назначить его при себе начальником штаба... Таким образом, Невельской с громким названием не будет никому мешать и кончит своё там поприще спокойно».

Ещё раньше, в январе 1855 года, когда получили почту, Невельской узнал о том, что полгода назад он был произведён в контр-адмиралы. Пришло признание того, что он сделал для России, но тут же его «удалили» с вершины, на которой он находился: отстранили от дел, связанных с освоением Амурского края и Сахалина.

В июле 1856 года Г.И. Невельской с женой и двумя детьми по Аянскому тракту отправился с вьючным караваном в Якутск, затем по Лене — в Иркутск, и по Сибирскому тракту — в Петербург. Он снял квартиру на Сергиевской улице. Получив отпуск на полгода, съездил в Москву и Кинешму, там умерла его мать, и у него было имение в трёх вёрстах от города.

С октября 1857 года Невельской работал в Морском учёном комитете, занимаясь в основном рецензированием статей, приходящих в журнал «Морской сборник». Он принимал участие в работе Русского географического общества, консультировал учёных и капитанов судов, отправляющихся на Дальний Восток. Так, к нему обращался за советом молодой офицер Михаил Венюков, назначенный на службу в Восточную Сибирь. С ним Невельской провёл несколько вечеров, рассказывая об Амуре и Уссурийском крае, где Венюков, в будущем — выдающийся географ, собирался провести исследования. В своих воспоминаниях М.И. Венюков так характеризует Невельского: «Более честного человека мне не случалось встречать, и хотя его резкость, угловатость могли иногда не нравиться, тёплая, глубоко симпатичная натура скрывалась за его непредставительной наружностью».