Пик революционной активности Вышинского приходится на 1905 год. В феврале этого года, он создал боевую дружину, которая насчитывала сотни рабочих, как от большевиков, так и от меньшевиков, выступившую против жестокой армяно-татарской резни, а в период октябрьской стачки и декабрьской забастовки вел работу среди железнодорожников и входил в стачечный комитет. В то время он занимал весьма скромную должность бухгалтера в магазине. Будучи темпераментным и красноречивым оратором, он часто выступал на митингах и собраниях со страстными речами, громя в них самодержавие, эсеров, черносотенцев и их сторонников.

В 1906—1907 годах Вышинского дважды арестовывали, но каждый раз после непродолжительного заключения освобождали за недостаточностью улик. Тогда же, по его словам, он и его жена, Капитолина Исидоровна подверглись нападению черносотенцев и, как отмечалось в ранних биографиях Вышинского, были даже ранены.

В апреле 1908 года Вышинский под кличкой Рыжий был осужден Тифлисской судебной палатой по статье 129 Уголовного уложения, предусматривавшей ответственность за произнесение или чтение публично речи или сочинения, возбуждающего к ниспровержению существующего строя. Его приговорили к одному году заключения в крепости. Наказание он отбывал в Баиловской тюрьме, где в то время находился известный революционер Коба, или И. В. Сталин. Они даже сидели в одной камере.

После освобождения из тюрьмы обстоятельства заставили Андрея Вышинского немного остепениться, так как его семья к тому времени увеличилась — родилась дочь Зинаида. Он переехал в Киев в надежде завершить свое образование. Вначале из-за «политической неблагонадежности» ему было отказано в восстановлении в университете, но затем он все-таки добился своей цели и вновь стал студентом. Университет Вышинский сумел закончить только в тридцатилетнем возрасте. Благодаря блестящим способностям, проявленным им в университете, он был оставлен на юридическом факультете для подготовки к профессорскому званию по кафедре уголовного права и процесса. Однако университетское начальство с этим решением не согласилось, и научная карьера его тогда не состоялась.

Вышинский вернулся в город своей бурной молодости, в Баку. Не найдя работу по специальности, он некоторое время перебивался частными уроками и газетно-репортерской деятельностью. Конечно, это не устраивало такого честолюбивого молодого человека. Поэтому в 1915 году он приезжает в Москву. Здесь ему удалось поступить помощником к знаменитому адвокату, занимавшемуся преимущественно политическими делами, Павлу Николаевичу Малянтовичу (в бытность Вышинского прокурором Союза ССР П. Н. Малянтович будет арестован и в 1940 году расстрелян).

Адвокатская карьера Вышинского была непродолжительной — менее двух лет. Вскоре после Февральской революции 1917 года он становится председателем Якиманской районной управы и комиссаром милиции, ревностно выполняет все указания Временного правительства, в том числе и по розыску В. И. Ленина, скрывавшегося от властей после июльских событий. Когда свершилась Октябрьская революция, Вышинский, хотя формально и не переметнулся сразу же в партию большевиков, тем не менее, в отличие от многих своих соратников-меньшевиков, не выступал открыто против новой власти. Это дало ему возможность устроиться если не с комфортом, то, во всяком случае, неплохо.