Sammanställning av fullständig bildbehandling (Integral Imaging) baserad på 3D-bilder och 3D-video

Vi har skapat ett ray-tracing-baserat simulationsverktyg för att generera 3D-bilder och 3D-videosekvencer, fokuserat på Integral Imaging (II) baserad 3D. Verktyget baseras på en allmän 3D-kameras beskrivningsmodell och ger optiskt riktiga tolkningar genom att använda sig av ray-tracingpaketet MegaPOV.

Genom att använda MegaPOV kan scenbeskrivningsspråket i POV-Ray helt införlivas i verktyget, vilket gör att man exakt kan definiera godtyckliga komplexa 3D-scener. Jämfört med experimentell forskning är utvecklandet av olika statiska och dynamiska II-tekniker väldigt förenklade.

Läs mer om sammanställning för 3D integral imaging 

Pseudo/Oäkta videosekvenskodning av Integral Imaging baserade 3D-bilder

Det finns en betydlig mängd inneboende överflöd i en Integral Image. Att använda sig av ett 2D-bildskodningsschema på en Integral Image leder ofta till misslyckande vad det gäller att skilja ut och skära ner på överflödet på ett effektivt sätt. Vi föreslår här ett förbehandlings- och kompressionsschema som inriktar sig på att förbättra effektiviteten i kompressionen av Integral Images.  Schemat omvandlar först still Integral Images till en pseudovideosekvens som består av under-bilder, dessa komprimeras sedan m h a en H.264 videokodare. Genom det får man på ett effektivt sätt nytta av det temporala (världsliga; jordiska, timliga??) och spatiala kodningsverktyg som H.264-standarden för kodning av integral images innehåller

Den förbättring i kompressionseffektivitet som användandet av detta schema ger utvärderas och presenteras. Olika parametrar som kan påverka kodningseffektiviteten vid låga bithastigheter undersöks även de. Ett genomsnittligt ökning av PSNR med 5.7 dB eller mer, jämförs med JPEG 2000, och observeras på ett antal referensbilder. Jämfört med andra kodnngsschemas så distribueras de funna artefakterna mer homogent inom den avbildade 3D-volymen.

Läs mer om pseudovideosekvenskodning för 3D integral imaging

Spatio-temporal pre-processing methods for region-of-interest video coding

Region of interest (ROI) videokodning använder informationen som är mest intressant för tittaren för att allokera bitar till bakgrunden respektive ROI'n. Målet är att öka kvaliteten på ROI'n på bekostnad av kvaliteten på bakgrunden. Vi har föreslagit och undersökt tre olika förbearbetningsfilter (independent codec) baserat på tidigare modeller: det rumsliga filtret som endast modifierar bakgrunden i en enstaka filmruta/bild och temporalfiltret som använder informationen från föregående filmruta/bild. Dessa två filters har även kombinerats i ett spatiotemporalt filter.

Den förmåga som dessa filter har, att reducera antalet bitar som är nödvändiga för att koda bakgrunden och framgångsrikt reallokera de bitarna till ROI'n i bilden, har undersökt. Den beräkningsmässiga okmplexitet som de introducerar har även den blivit analyserad. Det spatiotemporala filtret visade sig ge den bästa prestandan. Det har även verifierats i kvalitativa tester där det spatiotemporala filtret ger en förbättring på PSNR hos ROI'n med mer än 1.32 dB eller i en minskning i bithastigheter på 31% jämfört med kodningen på originalsekvensen. Det spatiala filtret ger ett liknande eller ett något sämre resultat. Trots det så är den beräkningsmässiga komplexiteten hos det spatiotemporala filtret lägre och det har därför en bättre prestande. Ytterligare subjektiva tester och en analys av statistiken för rörelsevektorerna ger ett liknande resultat. Additional subjective tests and an analysis of motion vector statistics produced a similar result.

Hämta videosekvenser som använder sig av spatio-temporala för-filter

Publikationer

1. L. S. Karlsson and M. Sjöström, "A preprocessing approach to ROI Video Coding using Variable Gaussian Filters and Variance in Intensity", Proceedings of 47th International Symposium ELMAR-2005 focused on Multimedia Systems and Applications, 8-10 June 2005, Zadar, Croatia, pp. 65-68, June 2005
2. L. S. Karlsson and M. Sjöström, "Improved ROI Video Coding using Variable Gaussian Pre-Filters and Variance in Intensity", Proceedings of IEEE International Conference on Image Processing 2005, Vol. II, pp. 313-316, 2005
3. Olsson, R. and Xu, Y., “A Ray-Tracing Based Simulation Environment for Generating Integral Imaging Source Material”, Proceedings of RadioVetenskap och Kommunikation, June 2005
4. Olsson, R. and Xu, Y., “A ray-tracing based interactive simulation environment for generating integral imaging video sequences”, Proceedings of Optics East - ITCOM - Three-Dimensional TV, Video, and Display IV, October 2005 
5. Olsson, R.; Sjöström, M. and Xu, Y., “A Combined Pre-processing and H.264-compression Scheme for 3D Integral Images”, Proceedings of ICIP 2006, October 2006 
6. L. S. Karlsson, R. Olsson and M. Sjöström: Temporal Filter with Bilinear Interpolation for ROI Video Coding, MUCOM Technical Report, 2006
7. L. S. Karlsson, M. Sjöström and R. Olsson: "Spatio-Temporal Filter for ROI Video Coding", EUSIPCO 06, 2006
8. Olsson, R.; Sjöström, M. and Xu, Y., “Evaluation of Combined Pre-Processing and H.264-Compression Schemes for 3D Integral Images”, Proceedings of Electronic Imaging - VCIP, January 2007
9. Olsson, R. and Sjöström, M., ”A Depth Dependent Quality Metric for Evaluation of Coded Integral Imaging based 3D-images", Proceedings of 3DTV-Conference 2007, May 2007
10. L. S. Karlsson, “Spatio-temporal pre-processing methods for region-of-interest video coding", Licentiate Thesis no 21, Mid Sweden University, Sundsvall, ISBN 978-91-85317-45-5, ISNN 1652-8948, April 2007
11. Olsson, R. and Sjöström, M., ”A novel quality metric for evaluating depth distribution of artifacts in coded still 3D images", To be presented at Electronic Imaging -- Stereoscopic Displays and Applications, January 2008
12. Karlsson L.S. and Sjöström M., "A Spatio-Temporal Filter for Region-of-Interest Video Coding", Signal processing: Image communication Journal, submitted, 2007
13. Karlsson L.S. and Sjöström M., "Region-of-Interest 3D Video Coding based on Depth Images", To be submitted.