Kalibrasi kamera / model kamera lubang pin dan bekerja pada posisi 3d

Saya memiliki kamera yang dikalibrasi dan memiliki parameter intrinsik. Saya juga memiliki parameter ekstrinsik relatif terhadap suatu titik (asal dunia) pada permukaan planar di dunia nyata. Poin ini telah saya tetapkan sebagai asal dalam koordinat dunia nyata [0,0,0] dengan normal [0,0,1].

Dari parameter ekstrinsik ini, saya dapat mengetahui posisi kamera dan rotasi dalam koordinat dunia 3d pesawat menggunakan ini di sini: http://en.wikipedia.org/wiki/Camera_resectioning

Sekarang saya memiliki titik kedua yang telah saya ekstrak koordinat gambar untuk [x, y]. Bagaimana saya sekarang mendapatkan posisi 3d dari titik ini di sistem koordinat dunia?

Saya pikir intuisi di sini adalah bahwa saya harus melacak sinar yang berasal dari pusat optik kamera (yang sekarang saya memiliki posisi 3D seperti dijelaskan di atas), melalui bidang gambar [x, y] dari kamera dan kemudian melalui pesawat dunia nyata saya yang saya definisikan di atas.

Sekarang saya bisa memotong dunia 3d ray koordinat dengan pesawat seperti yang saya tahu normal dan menunjuk pada pesawat itu. Yang tidak saya dapatkan adalah bagaimana saya mengetahui posisi 3d dan arah ketika meninggalkan bidang gambar melalui piksel. Ini transformasi melalui berbagai sistem koordinat yang membingungkan saya.

computer-vision 3d camera

— Cheetah
sumber

Periksa jawaban ini, mungkin membantu. Jika Anda pikir sesuatu dapat / mungkin selesai katakan saja kepada saya. dsp.stackexchange.com/a/2737/1473

— Jav_Rock

Jawaban:

Jika Anda memiliki ekstrinsik maka itu sangat mudah. Memiliki ekstrinsik sama dengan memiliki "pose kamera" dan sama seperti memiliki homografi. Periksa pos ini di stackoverflow.

Anda memiliki ekstrinsik, juga disebut pose kamera, yang digambarkan sebagai terjemahan dan rotasi:

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

Anda bisa mendapatkan Homografi dari Pose dengan cara ini:

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

Kemudian Anda dapat memproyeksikan poin 2D Anda ke poin 3D yang sesuai dengan mengalikan Homografinya dengan poin:

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$ Menambahkan $\quad z=1\quad$ untuk membuat mereka homogen

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ Menormalkan poin

— Jav_Rock
sumber

apa yang kamu maksud dengan p (z) di sini?

— Belal Homaidan

Anda memiliki dua opsi, gunakan kembali proyeksi atau proyeksi antara dua pesawat (homografi).

Dengan proyeksi belakang Anda mengambil pseudo kebalikan dari Anda matriks kamera dan mengalikan hasilnya dengan presentasi titik gambar yang homogen: $P$

P = K [\begin{matrix} R & - R C \end{matrix}] X_{r e p r o j e c t e d} = P^{+} x

$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix} \\ \textbf{X}_{reprojected} = P^+\textbf{x}$

Sekarang Anda memiliki garis 3D yang perjalanan melalui pusat kamera dan titik . Jika mau, Anda dapat mengonversikan ini ke beberapa presentasi yang lebih mudah ditangani. Misalnya dengan satu titik dan vektor arah (ingat untuk menormalkan koordinat homogen sehingga faktor skala sebelum perhitungan aktual): $\textbf{C}$ $\textbf{X}$ $\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$ $\omega=1$

u = X_{r e p r o j e c t e d} - C v = \frac{u}{‖ u ‖} L (t) = C + t v

$\textbf{u} = \textbf{X}_{reprojected}-\textbf{C} \\ \textbf{v} = \frac{ \textbf{u} }{\|\textbf{u}\|} \\ \textbf{L}(t) = \textbf{C} + t\textbf{v}$

$\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$ $\textbf{L}(t) = \Pi$ $t$

$3\times3$ $H$

X_{p l a n e} = {[\begin{matrix} X & Y & 0 & 1 \end{matrix}]}^{T} x = P X_{p l a n e} = H {[\begin{matrix} X & Y & 1 \end{matrix}]}^{T}

$\textbf{X}_{plane} = \begin{bmatrix}X & Y & 0 & 1\end{bmatrix}^T \\ \textbf{x} = P\textbf{X}_{plane} = H\begin{bmatrix}X & Y & 1\end{bmatrix}^T$

$\textbf{x}$

X_{p l a n e} = H^{- 1} x

$\textbf{X}_{plane} = H^{-1}\textbf{x}$

$H$

H = R + \frac{1}{d} T N^{T}

$H = R + \frac{1}{d}\textbf{T}\textbf{N}^T$

$d$ $\textbf{T} = -R\textbf{C}$

— buq2
sumber

Anda tidak dapat mengetahui posisi 3d dari poin kedua. Ini bisa berupa titik mana saja pada sinar dari pusat kamera Anda hingga tak terbatas.

Anda dapat melakukan hal berikut:

Buat ruang 3d standar yang menyerupai adegan kehidupan nyata
Dapatkan lebih banyak titik gambar dari sudut yang berbeda, menggunakan persimpangan sinar dari sudut yang berbeda, Anda bisa mendapatkan perkiraan titik 3d.

— Geerten
sumber

Tunggu sebentar. Saya dapat menemukan titik dunia 3d bahwa sinar 3d memotong permukaan planar, tentunya? Seperti yang saya tahu koordinat dunia 3d dan dunia 3d normal dari pesawat itu ..... titik 3d yang saya coba temukan adalah titik yang memotong permukaan planar !! (Maaf saya merasa penjelasan saya tidak cukup baik)

— Cheetah

Apa yang Anda maksud dengan permukaan planar? Gambar pesawat, atau bidang koordinat nol dunia? Dalam kasus yang terakhir, Anda dapat menghitung persimpangan, tetapi itu berarti adegan 3d Anda bukan 3d, tetapi 2d :) (karena ini adalah pesawat).

— Geerten

Ya maaf, itu tidak terpikir oleh saya. Saya mengerti apa yang Anda katakan, itu tidak masuk akal bagi saya secara visual. Jadi, ya adegan saya sebenarnya "2d" karena saya memiliki bidang gambar dan saya memiliki bidang dunia nyata, yang asal dunia nyata [0,0,0] terletak pada dan memiliki dunia nyata normal [0,0, 1], oleh karena itu setiap titik yang terletak pada bidang dunia nyata ini adalah dalam bentuk [x, y, 0]. Saya tahu saya bisa menghitung persimpangan meskipun kapak + dengan + cz + d = 0, tapi ini adalah masalah yang saya hadapi. (Bersambung di komentar berikutnya)

— Cheetah

Saya memiliki sinar yang dimulai di pusat kamera / asal saya yang memiliki dunia nyata [x, y, z] untuk dan dunia nyata yang normal [nx, ny, nz]. Saya perlu menembakkan sinar dari titik ini yang memotong bidang gambar di [u, v] dan kemudian memotong bidang dunia nyata di [x, y, 0] (inilah x ini, y yang ingin saya dapatkan). Apa yang saya mengalami masalah adalah bagian pertama, persimpangan dengan bidang gambar. Saya tidak bisa melihat bagaimana saya melakukannya?

— Cheetah

Anda mungkin ingin melihat: en.wikipedia.org/wiki/Line-plane_intersection

— Geerten