Нужно ли выходить в аэропорту Стамбула из стерильной зоны имея отдельный билет в Тиват через 3 часа? Если да, то успею ли?..

Если у вас багаж - то придется пройти таможню на выход.
Забрать багаж и потом на 2 этаж опять через таможню войти.

Очереди на вход огромные - возьмите фаст трек
Тогда не надо, просто вылет со 2 этажа, а приземление на 1

А регистрацию как пройти? Онлайн только?

У меня онлайн было, сербские авиалиии прислали штрихкод с посадочным.