《勞動(dòng)合同法》第六十五條規(guī)定：被派遣勞動(dòng)者可以依照本法第三十六條、第三十八條的規(guī)定與勞務(wù)派遣單位解除勞動(dòng)合同。

被派遣勞動(dòng)者有本法第三十九條和第四十條第一項(xiàng)、第二項(xiàng)規(guī)定情形的，用工單位可以將勞動(dòng)者退回勞務(wù)派遣單位，勞務(wù)派遣單位依照本法有關(guān)規(guī)定，可以與勞動(dòng)者解除勞動(dòng)合同。

第三十六條的規(guī)定，用人單位與勞動(dòng)者協(xié)商一致，可以解除勞動(dòng)合同。

第三十八條規(guī)定：有下列情形之一的，勞動(dòng)者可以隨時(shí)通知用人單位解除勞動(dòng)合同：

(一)用人單位未按照勞動(dòng)合同約定提供勞動(dòng)保護(hù)和勞動(dòng)條件的;

(二)用人單位未及時(shí)足額支付勞動(dòng)報(bào)酬的;

(三)用人單位未依法為勞動(dòng)者繳納社會(huì)保險(xiǎn)費(fèi)的;

(四)用人單位的規(guī)章制度違反法律、法規(guī)的規(guī)定，損害勞動(dòng)者權(quán)益的;

(五)用人單位因本法第二十六條規(guī)定的情形致使勞動(dòng)合同無(wú)效的;

(六)法律、行政法規(guī)規(guī)定的其他情形。

用人單位以暴力、威脅或者非法限制人身自由的手段強(qiáng)迫勞動(dòng)者勞動(dòng)的，或者用人單位違章指揮、強(qiáng)令冒險(xiǎn)作業(yè)危及勞動(dòng)者人身安全的，勞動(dòng)者可以立即解除勞動(dòng)合同，無(wú)需事先告知用人單位。

第三十九條規(guī)定：勞動(dòng)者有下列情形之一的，用人單位可以解除勞動(dòng)合同：

(一)在試用期內(nèi)被證明不符合錄用條件的;

(二)嚴(yán)重違反用人單位的規(guī)章制度的;

(三)嚴(yán)重失職，營(yíng)私舞弊，給用人單位的利益造成重大損害的;

(四)勞動(dòng)者同時(shí)與其他用人單位建立勞動(dòng)關(guān)系，對(duì)完成本單位的工作任務(wù)造成嚴(yán)重影響，或者經(jīng)用人單位提出，拒不改正的;

(五)因本法第二十六條第一項(xiàng)規(guī)定的情形致使勞動(dòng)合同無(wú)效的;

(六)被依法追究刑事責(zé)任的。

可見(jiàn)，用工單位退回被派遣勞動(dòng)者只能是因?yàn)閯趧?dòng)者不符合錄用條件或嚴(yán)重違紀(jì)違法，這樣勞務(wù)派遣單位就可以依照勞動(dòng)合同法的規(guī)定解除勞動(dòng)合同。