自己レスです。

結果から言いますと解決しました。
自宅のマシンはshadeを64bitで立ち上げていたせいでこのような症状が出ていたようです。shadeのグレード別機能比較表によると、64bit対応ライブラリが提供されていないためQuickTime（VRを含む）出力は出来ないとのこと。64bitだといろいろと制約があるのは知っていましたが、これも出来なかったんですね。見落としてました。。warp様検証ありがとうございました。

続けての投稿ありがとうございます。
こんな感じにならないんですよね。。


ここに症状をupしたので確認して頂ければと思います。1分位からです。

http://www.youtube.com/watch?v=jJdWJIvRntc


会社マシンのshadeは詳細設定画面がでるので、自宅のマックの設定がおかしくなったのかもしれません。再インストールするしかないのかな。。

おかしいですね。

こんな感じにならないでしょうか。

ご返信ありがとうございます。
「保存」ボタンを押すとレンダリングが始まってしまいます。ダイアログボックスは出てきません。。

この「保存」ボタンを押した後に出てくるダイアログボックスで、1670万色＋を選んで書き出すとできると思います。
Aftereffectsなどの映像編集ソフトで他の画像とレイヤーで重ね合わせると分ります。
QuickTimeプレイヤー等のプロパティなんかにでも記録されているかも・・・。

動画書き出しの際、ムービーデータにアルファチャンネルマスクをつけたいのですが、付け方がわかりません。あと付いているのかの確認方法もわかりません。ググってみましたが、書き出しの際に詳細設定する画面が出るそうなのですが、私のshadeでは、出てきません。添付した画像をみていただけるとわかると思いますが、ムービーとしか書かれていません。ちなみにアルファチャンネルだけの別ファイルを書き出す方法はわかります。環境；mac os 10.6.3 shade11.02