基本的にはmomochiさんの書いている方法が正しいと思います。
けど数値を0にすると全部フィルタリングされてしまうのであくまで小さい値にします。
それでも十分じゃない場合は追加のアプローチとして
トリム形状のCallistoMaterialを作成し、
マッピングの項のオフセット値とフィルタ幅を調整してみてください。
この方法だとマップはズレますが、もしこれで改善の兆しがあるようなら、
今より高解像度のマップを用意することで改善するかもしれないです。

"マッピングのスムーズ"は表面材質ウィンドウの
マッピング設定の中にラジオボタンがありますよ。

お返事ありがとうございます。
マッピングのスムーズってどこで設定するんでしょうか^^;
よろしければ教えてください。

マッピングのスムーズにチェックを入れても駄目ですか？
多少は改善すると思うのですが、カリスト２を持ってないので検証できません（苦笑）

お返事ありがとうございます。
やってみたんですけど、駄目でした^^;
パストレやレイトレなら出来るんですけど、やっぱり色々対応してる機能が違うんですね〜^^;

CALLIST information ウインドウの「レンダリングオプション」タブの「アンチエイリアシング」グループの「マッピングのフィルタ幅」を0にするとかじゃダメですか？

ぼくも同じ現象がおきてます。
髪をレンダリングするとすごく荒いギザギザになります。
設定なんでしょうかね〜^^;

カリスト2で今まで使っていたトリムマップが上手く反映されません・・・
スライダを50にすればソコソコ形に切り抜けるのですがアンチエイリアスがあまり効いていない状態で汚い感じになってしまいます。
カリストの設定でこの形状に対してのオーバーサンプリングを上げたりいろいろ試してみたのですが効果がありません。

ちなみに8の標準レンダラーでは今まで通りの表現が出来ます・・
これは僕のやり方がおかしいのでしょうか？それとも不具合なのでしょうか？
どなたか詳しい方がおられましたら教えて頂きたいのですが・・
宜しくお願い致します。