Интересное описание проблемы.
Вариант "У меня все работает" устроит?
вот пример
<?xml version="1.0" encoding="UTF-8"?>
<xp:view xmlns:xp="
link removed"
xmlns:xe="
link removed">
<xp:this.data>
<xp:dominoDocument var="document" action="openDocument"
formName="TUClaim_Create">
</xp:dominoDocument>
<xp:dominoDocument var="documentUpload" formName="file"
ignoreRequestParams="true">
</xp:dominoDocument>
</xp:this.data>
<xp:text escape="true" id="computedField1"
value="#{document.claim_num}">
</xp:text>
<xp:br></xp:br>
<xp:button value="Label" id="button2">
<xp:eventHandler event="onclick" submit="false">
<xp:this.script><![CDATA[XSP.openDialog('#{id:dialog1}')]]></xp:this.script>
</xp:eventHandler></xp:button>
<xp:br></xp:br>
<xp:br></xp:br>
<xe:dialog id="dialog1">
<xe:dialogContent id="dialogContent1">
<xp:fileUpload id="fileUpload1" value="#{documentUpload.file}"></xp:fileUpload></xe:dialogContent>
<xe:dialogButtonBar id="dialogButtonBar1">
<xp:link escape="true" text="Link" id="link1">
<xp:eventHandler event="onclick" submit="true"
refreshMode="complete">
<xp:this.action><![CDATA[#{javascript:documentUpload.save()}]]></xp:this.action>
</xp:eventHandler></xp:link>
<xp:button value="Label" id="button1">
<xp:eventHandler event="onclick" submit="true"
refreshMode="norefresh"></xp:eventHandler></xp:button></xe:dialogButtonBar>
</xe:dialog>
<xp:br></xp:br>
<xp:br></xp:br></xp:view>
не могу понять в чем проблема если все тоже самое сделать без диалога работает.