Открываем файл: templates/ИМя_Вашего_Шаблона/main.tpl
После:
{AJAX}
Вставляем:
[not-aviable=pm]
А перед :
{info}
{content}
Вставляем закрытие тега
[/not-aviable] тем самым мы пока отключили отображение логотипа, левой колонки и прочей ерунды. Дальше нужно отключить вторую колонку и падвал.
Для этого после тега
{content} вновь вставляем
[not-aviable=pm],
а уже перед тегами:
</body>
</html>
Вставляем
[/not-aviable].

Мы уже отключили отображение колонок, шапки, подвала и оставили только вывод контента и сообщений для раздела персональных сообщений.
Теперь нам нужно сделать окно.

2. Открываем файл login.tpl (Для тех кто не вкурсе, он находится в той же папке что и main.tpl)

Находим:
<a href="{$link_pm}">ПС ({$member_id['pm_unread']} | {$member_id['pm_all']})</a>
И заменяем это на:
<a href="javascript:void(0);" onclick="javascript:window.open('{$link_pm}', '_blank', 'Toolbar=0, Scrollbars=0, Resizable=0, Width=560, resize=no, Height=350'); return false;">ПС ({$member_id['pm_unread']} | {$member_id['pm_all']})</a>

Где Width=560 это значение ширины, а Height=350 в свою очередь означает высоту.

3. Теперь нужно заставить открываться это окно из уведомления о новом сообщении и сделаем мы это следующим образом:
Открыть файл engine/modules/pm_alert.php

В нём ищем запись:
<a href="{$PHP_SELF}?do=pm">{$lang['pm_aread']}</a>
Заменяем её на:
<a href="javascript:void(0);" onclick="javascript:window.open('{$PHP_SELF}?do=pm', '_blank', 'Toolbar=0, Scrollbars=0, Resizable=0, Width=560, resize=no, Height=350'); return false;">{$lang['pm_aread']}</a>