2024-07-05

☑ Check Box

• Docker 새로 한게 파서 구동해보기
• Matlab calibration paramere 와 OpenCV parameter 비교하고 각 parameter 를 사용한 결과 비교하기
• PCD downsampling 및 포인트 크기 조절 등 방법 조사하고 적용해보기
• 데이터 몇 개 더 찍어서 결과 확인하기
• 이발 예약
• task 휴대폰 요금 변경 ⏳ 2024-07-09
• task 월세 자동이체 ✅ 2024-07-08
• task 장학금 알아보기
• task 이발 예약 #03 📅 2024-07-06 ✅ 2024-07-08
• [ ]

---

🧠 Idea Note

---

📥 Related Works

---

Docker 설치

• Docker

  • Image: ubuntu:20.04
  • Run

    docker run -it --privileged --gpus 'all,"capabilities=compute,utility,graphics"' -e DISPLAY=unix$DISPLAY -e QT_X11_NO_MITSHM=1 -v /tmp/.X11-unix:/tmp/.X11-unix:rw -v /etc/localtime:/etc/localtime:ro -e TZ=Asia/Seoul -v /dev:/dev -v ~/workspace/dataset:/workspace/dataset -w /workspace --restart always --name stereo2pcd python:3.10.14-bullseye

• VSCode 가상환경 코드 디버깅 수행

  • 실행하고자 하는 코드가 있는 프로젝트 폴더에 launch.json 과 settings.json 파일 생성

{
	"version": "0.2.0",
	"configurations": [
		{
		"name": "Python: Current File",
		"type": "debugpy",
		"request": "launch",
		"args": ["--config","test.yaml",
			"--input","check.txt",
		], // argument 집어넣어서 실행할 경우
		"console": "integratedTerminal"
		}
	]
}

{
	"python.testing.unittestArgs": [
		"-v",
		"-s",
		".",
		"-p",
		"test_*.py"
	],
	"python.testing.pytestEnabled": false,
	"python.testing.nosetestsEnabled": false,
	"python.testing.unittestEnabled": true,
	"python.pythonPath": "/workspace/project/calibration/.venv/bin/python3.10"
}

• Open3D 를 실행할 때 해당 문제 발생 시

[Open3D WARNING] GLFW Error: GLX: Failed to create context: BadMatch (invalid parameter attributes)
[Open3D WARNING] Failed to create window
[Open3D WARNING] [DrawGeometries] Failed creating OpenGL window.

• Docker container 실행 시 다음 옵션 추가

--gpus 'all,"capabilities=compute,utility,graphics"'
-v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=unix$DISPLAY

Calibration parameter 비교

Matlab vs Opencv

• K1

2658.03	0	2776.31
0	2650.74	2443.98
0	0	1
2652.5	0	2774.2
0	2643.5	2444.6
0	0	1

• K2

2649.23	0	2796.48
0	2645.80	2435.20
0	0	1
2648.8	0	2801.8
0	2640.6	2410.9
0	0	1

• dist1

0.00201	-0.01563	0	0	0
0.0412	-0.1592	0.0004	-0.0018	0.1583

• dist2

0.00920	-0.03124	0	0	0
0.0408	-0.1907	-0.0041	0.0015	0.2106

• Rotation

0.9996	-0.0261	-0.0053
0.0260	0.9995	-0.0199
0.0058	0.0198	0.9998
0.9996	-0.0252	-0.0080
0.0251	0.9996	-0.0104
0.0082	0.0102	0.9999

• Translation

-243.77	-0.0851	-2.0257
-6.0966	0.0037	-0.0045

• Q

1	0	0	-2776.3
0	1	0	-2444.0
0	0	0	2658.0
0	0	-0.0041	-0.0830
1	0	0	-2770.0
0	1	0	-2435.2
0	0	0	2642.1
0	0	0.1640	0

• test1: Matlab 에서 추출한 파라미터로 Q 계산 (cv2.stereoRectify) 후 수행
• test2: Matlab 에서 추출한 파라미터로 Q 계산 (수동) 후 수행
  • Q 를 구하는 과정에서 243e+03 인가? 243 인가?
  • test2-1 : 243, test2-2: 243e+03

현재 OpenCV Stereo calibration tool 을 사용하면 Dist 와 Translation 이 이상하게 나오기 때문에 해당 문제는 추후 해결하기로 하고, 일단 Matlab 에서 계산한 Parameter 를 사용하여 테스트 진행

• test3: 내 외부 파라미터 모두 OpenCV 에서 계산한 것으로 수행

  • test3-2: Q 는 수동으로 계산
  • test3-3: Translation 제외 나머지 파라미터 OpenCV (Q 자동 계산)
  • test3-4: Translation 제외 나머지 파라미터 OpenCV (Q 수동 계산)

• Undistorted images

• Rectified images

• Disparity map

Result

• test1
  • 바닥과 사물 등의 거리가 어느정도 경향성을 보이나 좌우 반전되어 있음

• test2-1
  • 좌우 방향은 맞게 나왔으나 test1 에 비해 경향성이 적게 보임

• test2-2

  • test2-1 과 큰 차이 없음

• test3

  • Q 를 계산하는 과정에서 오류가 있는 것으로 보임

• test3-2

  • 천장과 바닥에서 거의 확실하게 포인트가 생성되며, 단 물체의 경우는 포인트가 제대로 생성되지 않음
  • test2 와 비교하면 dist 와 translation 만 바꼈는 데 큰 변화 있음
  • 즉, dist 는 opencv 에서 계산 한 것이 정확한듯 보이고, translation 의 경우 다시 해봐야 할 것 같음
  • Q 는 왜인지 잘 모르겠음
  • *아마 OpenCV 에서 계산한 Translation 이 심하게 이상한 값이 나와서 그런 것으로 보임! *

• test3-3

  • *아마 OpenCV 에서 계산한 Translation 이 심하게 이상한 값이 나와서 그런 것으로 보임! * → 이거 아닌듯 함
  • Q 를 출력해본 결과 값은 거의 동일하나 Baseline 부분의 부호가 반대로 되어있었음.
    • Matlab 과 OpenCV 의 Translation 방향이 반대로 되어있는 듯함
    • Matlab 의 translation 값 부호를 바꾸고 한 결과 Q 는 얼추 정확하게 나왔으나 포인트는 여전히 이상하게 나옴

• test3-4
  • test3-3 과의 차이점이라고 하면 Q 밖에 없다.
  • 하지만 Q 의 경우 3-3 테스트의 추가 실험에서 알 수 있듯이 Translation 의 부호를 변경하면 Q가 수동 계산과 동일해지는데 포인트는 이상하게 나온다
  • 여기서 Translation 은 Rectify 에 사용되고 Rectified image 는 Disparity 맵을 만드는데 사용된다.
  • 즉, Translation 의 부호를 바꾼 탓에 Disparity map 의 계산이 틀어진 것으로 보인다.
    • 잠시만, 그렇다면 Q 를 수동계산하는 식에 -를 빼면 되는 것 아닌가?
    • 그렇게 되면 수동 값과 자동 값 모드 동일한 부호를 갖게 된다.
    • 이것으로 해결된다면 test3-3 의 문제는 Translation 의 부호가 반대가 되어 Disparity map 생성에 문제가 발생한 것

• test3-5
  • Q 수동 계산 식의 부호를 수정한 뒤 자동 및 수동으로 진행
  • 먼저 첫번째 수동의 경우 좌우 반전된 것을 확인할 수 있음
    • 지금 Calibration 자체의 부호가 이상하게 된것 같은데 Matlab 이나 OpenCV 에서 Calibration 을 할 때 원점의 위치가 좌측 상단에 위치한 것이 원인인듯 함
    • 찾아보니 체커보드의 넓이와 높이가 짝수, 홀수가 되어야 한다고 하는데 실험에는 7,7 크기였기 때문에 문제가 발생하지 않았나 추측해봄
  • 자동의 경우 또 포인트가 몇개 찍히지 않음
    • 수동과 차이라고는 Q 4행 4열 값이 0.08 정도 차이가 나는 것인데 왜 이렇게 큰 차이가 나는지 알 수 없음

Checkerboard 수정

• OpenCV

[[2.64854552e+03 0.00000000e+00 2.76895348e+03]
 [0.00000000e+00 2.64306178e+03 2.45610393e+03]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00]]
 
[[2.64517191e+03 0.00000000e+00 2.81201085e+03]
 [0.00000000e+00 2.63371976e+03 2.40949872e+03]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00]]
 
[[ 0.03319256 -0.14649957  0.00204108 -0.00027259  0.16413916]]

[[ 0.03773088 -0.18673464 -0.00340553  0.00486367  0.24332452]]

[[ 0.99953074 -0.02829152 -0.01174298]
 [ 0.02818063  0.99955767 -0.00950361]
 [ 0.01200666  0.00916823  0.99988589]]
 
[[-24.69688786]
 [  0.3306053 ]
 [ -0.59528897]]

Q 자동

[[ 1.00000000e+00  0.00000000e+00  0.00000000e+00 -2.72265218e+03]
 [ 0.00000000e+00  1.00000000e+00  0.00000000e+00 -2.43481873e+03]
 [ 0.00000000e+00  0.00000000e+00  0.00000000e+00  2.63839077e+03]
 [ 0.00000000e+00  0.00000000e+00  4.04755500e-02 -0.00000000e+00]]

Q 수동