Live USBとは、USBメモリにLinuxをインストールして、そのUSBからLinuxを立ち上げて使えたり、そこからインストールできたりするというものです。Live USBの作り方やLinuxの種類によっては、立ち上げてから変更した色々な設定や、追加でインストールしたソフトなども保持されて、次に立ち上げたときには「最初からやり直し」にならずに使えます。また、このUSBを持っていれば、出先でPCを借用して使う時にも同じ設定で使えます(と言っても、最近PCだとハードのBIOSとかUEFIの設定を変えなければいけないとか、PCがそもそも32BITか64bitかとかで互換性が変わるので、これはあまりメリットにならないかも)
Unetbootin、LinuxLive USB Creator、Universal-USB-Installerは、Windowsで一つのLinux isoを一つのUSBにインストールできます。UEFIには未対応だと思います。UnetbootinはLinux用も用意されています。私の感想では、どれが優れているとか感じないので、お好みで使えば良いかと思います。YUMIは、一つのUSBに複数のLinuxをLiveインストールできて、マルチブートできるという優れもの。UEFI対応のものもあります(β版ではあるようですが)。