La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect IR PATTERN PROJECTO R RGB CAMERA IR CAMERA.

Presentazioni simili


Presentazione sul tema: "M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect IR PATTERN PROJECTO R RGB CAMERA IR CAMERA."— Transcript della presentazione:

1 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect IR PATTERN PROJECTO R RGB CAMERA IR CAMERA

2 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect: How it works?

3 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect

4 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect

5 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect

6 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect: Data points3D_Irsys.m: 3xN matrix of 3D points measured and associated RGB color calibData.m : intrinsic and extrinsic parameters of IR and RGB camera imRGB.m : image captured by RGB camera

7 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect: Data points3D_IRsys: 3xN matrix of 3D points expressed in IR camera reference system Xx1x…xn Yy1y…yn Zz1z…zn Number of points N should be 640x480 = !

8 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect: Calibration Data calibData.m : intrinsic and extrinsic parameters of IR and RGB camera K_rgb : 3x3 : intrinsic parameters matrix of RGB camera kc_rgb : 1x5 distortion paramteres of RGB camera K_ir : 3x3 : intrinsic parameters matrix of IR camera kc_ir : 1x5 distortion parameters of IR camera rotRGB2IR : 3x3 rotation matrix from RGB to IR reference system trasRGB2IR : 1x3translation vector of IR reference system respect to RGB

9 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion x y z C x y z O CCD CCD OCOC Reminder OPOP Il modello geometrico (ideale) della telecamera impiega il modello pinhole (stenoscopio), per cui entrano in gioco i seguenti parametri: il centro della prospettiva (O c ): corrisponde al secondo punto nodale del sistema ottico; il piano immagine ( ): il piano coincidente con lo schermo sul quale si forma limmagine; lasse principale: la retta coincidente con lasse ottico (z c ); il punto principale (O P ), intersezione dellasse ottico con il piano immagine; la distanza focale della telecamera (f): misura la distanza tra il centro della prospettiva ed il punto principale f NOTA: nel sistema CCD la colonna corrisponde alla x, la riga alla y

10 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Reference System: From Camera to CCD K_rgb : intrinsic parameters matrix of RGB camera K_ir : intrinsic parameters matrix of IR camera fx, fy : focal length (in pixel) of the camera x0, y0: coordinate of principal point x y z RGB x y z O CCD CCD OCOC OPOP 1 x0x0 y0y0 P

11 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Homogeneous coordinate: Alredy compensated in the image given by Kinect x y z RGB x y z O CCD CCD OCOC OPOP 1 x0x0 y0y0 P ccd NOTE: the x coordinate in CCD reference system is the column and the y is the row Expressed in pixel Reference System: From Camera to CCD

12 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Refernece System: From IR to RGB x y z OPOP R T

13 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect: RGB image Distorsion alredy compensated

14 M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Things to do: Steps: Associate 3D points in IR sys with RGB info Identify ground plane and eliminate it (Ransac) Found the position of two cubes (SQ and Ransac) Chose the blue (or red) cube Goal: find in 3d space the blue (or red) cube (dimension 10x10x10 cm )


Scaricare ppt "M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion Microsoft Kinect IR PATTERN PROJECTO R RGB CAMERA IR CAMERA."

Presentazioni simili


Annunci Google