Das erste was Ihr machen müsst:
Mit z. B. MediaInfo schauen was in der MKV nun wirklich steckt. (h264, DivX, MPEG)
Ist das enthaltene Video & Audio mit der PS3 kompatibel und die Datei nicht zu groß, braucht's auch keiner neuen Codierung.

Es gibt Tools mit denen man einfach den Containertyp von MKV in einen geeigneten Container packen kann. Das macht z.B. mkv2vob wenn es nur 10 Minuten für das Video benötigt. Zum einfachen umpacken ist dieses Tool geeignet, zum neu encodieren allerdings weniger da es zu wenig Einstellungen bietet.

Alles nach VOB zu konvertieren ist also völlig falsch, da dann fast immer neu encodiert werden muss, und da sind 7 Stunden bei der HD Auflösung völlig in Ordnung.
Und vor allem ist MPEG2 das ältere und schlechtere Dateiformat.

XVid ermöglicht bei noch akzeptabler Geschwindigkeit kleinere Dateien mit fast gleicher Quallität. h264 ist das neueste extra für HD Material entwickelte und auch beste Videoformat. Hat aber auch das aufwendigste Codier Verfahren und benötigt deshalb am meisten Zeit.

Muss doch neu encodiert werden:
Ein Konvertierungs Programm wie Xilisoft beherrscht kein einfaches umpacken und encodiert immer alles neu. Die Bitrate sollte man nicht dem Programm überlassen, also einfach auf Hoch stellen. Bei Xilisoft kann die Bitrate auch manuell eingegeben werden, und hierzu ist dann ein bischen Rechenarbeit nötig.

Beispiel:
Beim Codieren nach h264 bei einer Full HD Auflösung sollte die Bitrate wohl nicht unter 3500 kb/s fallen, das ergibt dann 3500/8 = 437,5 Kilo Byte pro Sekunde mal 1,5 Stunden = 2362500 / 1024 = 2307 MB für einen 1,5 Stunden Film + AAC Audio mit 168/8*5400 = 110 MB.
Macht dann rund 2,5 GB und bietet also noch genügend Spielraum für eine höhere Video Bitrate von vielleicht 4500 kb/s oder 5000 kb/s.

Zum eigentlichen Container:
Für h264 kommt da nur MP4 mit AAC Audio in Frage.
Für XVid entweder AVI mit MP3,AC3 Audio oder MP4 mit AAC Audio.
VOB sollte nur für MPEG2 verwendet werden.

Diese Tools wären zum einfachen umpacken und auch neu encodieren von MKV zu MP4 mal einen Versuch wert.

Super:
http://super.softonic.de/

AVIDemux:
http://avidemux.org/

Und hier noch MediaInfo:
http://mediainfo.sourceforge.net/de

Gruß ZeroMike