임베디드 비전용 3TOPS급 NPU SoM, Debian에서 언제 고르나?

한 줄 답: 카메라가 고정되고 ISP 뒤의 양자화 비전 모델 하나를 벤더 Debian 루트fs에서 돌릴 때 3TOPS급 SoM을 봅니다. 캐리어를 직접 만들기 전이면 SBC로 확인하고, 가격·샘플 일정은 이 글에서 정하지 않습니다.

「3TOPS」는 실리콘 벤더가 NPU에 붙이는 스펙 라벨입니다. 이 글이 확인한 공개 예는 Rockchip RV1126B 계열입니다. brief datasheet는 NPU를 3TOPS로 적고, INT4·INT8·INT16·FP16·BF16·TF32와 멀티모달 대형 모델 지원을 적습니다. 처리량, 지연, 모듈 가격, 샘플 납기는 넣지 않습니다. 제품 페이지와 brief의 카메라 대수·인코드 줄은 서로 다릅니다. 고를 때는 랜딩 페이지의 더 큰 숫자 대신, 구매 리비전의 PDF와 모듈 핀아웃을 맞추십시오.

3TOPS 로컬 추론이 맞는 카메라 워크로드는?

한 줄 답: 센서 화소는 ISP와 코덱이 맡고, NPU는 그 뒤의 양자화 검출·분류 그래프 하나를 맡는 구성입니다.

3TOPS 라벨이 맞는 자리는 카메라가 제품에 고정된 엣지 비전입니다. 얼굴·번호판·물체처럼 입력이 반복되고, 모델을 정수 양자화로 RKNN 같은 벤더 그래프에 구울 수 있을 때입니다. RV1126B brief는 12M AI-ISP와 MIPI CSI(2×4레인 또는 4×2레인, 센서 최대 4)를 NPU 줄과 따로 적습니다. 화소 속도와 NPU 라벨은 다른 예산입니다. 코덱이 4K급 영상을 인코드하는 줄도 NPU 줄이 아닙니다.

제품 페이지는 카메라를 더 많이, 인코드를 더 높게 적고 「최대 2B」 문장도 있습니다. brief는 파라미터 수를 적지 않습니다. 2B나 프레임 속도를 이 글의 채택 기준으로 쓰지 마십시오. 맞는지는 자기 해상도의 양자화 모델로 보드에서 보는 일이고, 공개 데모의 밀리초를 규격으로 옮기지 않습니다.

워크로드이 급을 보는 이유
ISP 뒤의 검출·분류 하나, 입력이 제품 수명 동안 비슷함NPU 라벨이 그 한 그래프용으로 적혀 있음
카메라를 소수로 고정하고, 레인은 모듈 핀아웃 안에 있음brief의 센서 상한과 보드가 꺼낸 레인을 둘 다 확인
인코드·저장은 코덱과 스토리지 예산으로 따로 셈영상 형식이 좋아져도 NPU 라벨이 커지지는 않음
대화형 대형 모델이 제품의 본체brief는 MLM 지원만 적음. 파라미터 수·응답 시간은 미확인

여러 모델을 한 프레임에 동시에 올리거나, 입력을 ISP 없이 NPU에 그대로 넣는 구성은 이 라벨의 기본 자리가 아닙니다. 센서를 버스에 붙이는 일은 BSP가 이미지와 함께 가져오는 부분입니다.

Debian·BSP에서 먼저 볼 항목은?

한 줄 답: Debian이라는 단어가 공식 ARM 이미지인지, 벤더 커널 위의 루트fs인지부터 나눕니다. NPU는 apt가 아니라 런타임과 커널이 맞을 때 열립니다.

RV1126B 계열 모듈 페이지에는 Buildroot와 Debian 12 루트fs가 같이 적힌 예가 있습니다. 그것은 벤더가 사용자 공간을 제공한다는 뜻이지, 배포판 순정 커널에 ISP와 NPU가 붙어 있다는 뜻은 아닙니다. RKNN-Toolkit2 README는 변환을 PC에서 하고, 보드에서는 RKNN C/Python API로 추론한다고 나눕니다. RKNPU 커널 드라이버는 Rockchip 커널 트리에 오픈되어 있다고 적습니다. 그 문장을 메인라인 리눅스에 이미 들어갔다는 뜻으로 읽지 마십시오.

Debian BSP에서 먼저 볼 항목은 다음입니다.

  1. 루트fs의 Debian 릴리스와 업데이트 주체. 보안 패치를 벤더가 다시 이미지로 주는지, 우리가 루트fs를 재빌드하는지.
  2. 커널·DTB가 그 모듈과 같이 공개되는지. 카메라 노드(/dev/video*)는 센서가 BSP에 바인딩된 뒤에야 생깁니다.
  3. NPU 런타임이 이미지 안에 있고, .rknn을 구운 Toolkit과 버전이 맞는지. 보드의 Debian에 변환 툴킷을 설치하는 흐름은 Toolkit 문서의 기본이 아닙니다. 호스트는 PC, 기기는 런타임입니다.
  4. 그래프 형식이 그 칩 이름과 맞는지. RV1126B면 변환 대상도 그 플랫폼이어야 합니다. 다른 Rockchip 칩용 .rknn을 그대로 두지 마십시오.

여기서 필요한 확인은 「Debian 사용자 공간 + 벤더 커널 + 맞는 런타임」이 한 세트로 오는가입니다.

SoM vs SBC를 가르는 조건은?

한 줄 답: NPU 라벨이 같아서가 아니라, 캐리어를 우리가 설계하는 제품인지에 따라 나눕니다. 증명 전이면 SBC, 핀아웃을 제품에 고정할 때 SoM입니다.

같은 RV1126B급이 모듈로도, 벤더 개발 보드로도 나옵니다. TOPS 라벨을 다시 비교해 고르지 마십시오.

SoMSBC·개발 보드
캐리어카메라 커넥터, 전원, 케이스 I/O를 우리 기판에 둠벤더 기판을 그대로 씀
언제양산 핀아웃과 기구가 정해진 뒤양자화 모델과 Debian 사용자 공간이 도는지 보기 전
BSP모듈 DTB·커널을 캐리어에 맞게 우리가 통합벤더 이미지로 시작. 그 보드의 커넥터에 묶임
남는 일캐리어 설계, 런타임 버전 고정, 업데이트 주체보드를 제품 케이스에 넣으면 커넥터와 발열 경로가 그 기판 기준

SBC에서 .rknn이 돈 뒤에 SoM으로 옮길 때는 칩 이름은 같아도 카메라 레인과 전원 순서가 캐리어 책임이 됩니다. 샘플 일정과 모듈 단가는 벤더 견적 사항이라 여기 적지 않습니다. 특정 보드를 가져와 직접 켜 본 경험도 이 글에는 없습니다.

참고