диалоговые окна возвращают значение после закртыия окна.
// в окне, которое открывает модальное
val = window.showModalDialog( ..... );
alert(val);
......
// в модальном окне для закрытия
window.returnValue = "значение, которое возвращает это окно";
window.close();