627 lines
30 KiB
Markdown
627 lines
30 KiB
Markdown
# 완료된 VavCore 프로젝트 아카이브
|
|
|
|
이 문서는 VavCore AV1 Video Player 개발 과정에서 완료된 모든 미니 프로젝트들의 인덱스입니다. 각 프로젝트는 특정 기능 구현이나 설계 문제를 해결하기 위해 만들어졌으며, 현재는 완료된 상태입니다.
|
|
|
|
**최종 업데이트**: 2025-10-06
|
|
|
|
---
|
|
|
|
## 🎉 **최신 완료 프로젝트: CUDA Surface Object Refactoring** (2025-10-06)
|
|
|
|
**프로젝트**: CUDA Surface Object를 이용한 D3D12 Texture Interop 완전 구현
|
|
**기간**: 2025년 10월 6일
|
|
**상태**: ✅ **전체 완료** (Phase 1-7)
|
|
|
|
### 요약
|
|
NVDEC AV1 디코더 출력의 90도 회전 문제를 CUDA Surface Objects를 통해 완전히 해결. `cudaExternalMemoryGetMappedBuffer()`의 linear 해석 방식 대신 `cudaExternalMemoryGetMappedMipmappedArray()` + `surf2Dwrite()`를 사용하여 D3D12 tiled texture layout을 올바르게 처리.
|
|
|
|
### 주요 결과
|
|
- ✅ **90도 회전 문제 완전 해결**: D3D12 tiled texture에서 정상 출력 확인
|
|
- ✅ **CUDA Surface Object 구현**: ExternalMemoryCache, D3D12SurfaceHandler 완전 리팩토링
|
|
- ✅ **PTX 코드 임베딩**: 외부 파일 없이 단일 DLL 배포 가능
|
|
- ✅ **테스트 검증 완료**: RedSurfaceNVDECTest 25 프레임 디코딩 성공
|
|
- ✅ **Zero 추가 오버헤드**: 직접 texture mapping, < 1.5ms/frame
|
|
|
|
### 핵심 기술 변경
|
|
**BEFORE (BROKEN)**: `D3D12 Tiled → cudaMemcpy2D() → 90도 회전`
|
|
**AFTER (FIXED)**: `D3D12 Tiled → cudaArray → surf2Dwrite() → 정상 출력`
|
|
|
|
### 문서
|
|
📄 [CUDA_Surface_Object_Refactoring_Completed.md](completed/windows/CUDA_Surface_Object_Refactoring_Completed.md)
|
|
|
|
|
|
---
|
|
|
|
## ❌ **취소된 실험: D3D12-CUDA Separate Y/UV Textures** (2025-10-05)
|
|
|
|
**프로젝트**: D3D12 ROW_MAJOR Separate Y/UV Texture 실험
|
|
**기간**: 2025년 10월 5일
|
|
**상태**: ❌ **CANCELED** - D3D12 specification limitation 발견
|
|
|
|
### 요약
|
|
CUDA-D3D12 NV12 interop UV plane copy 실패 문제를 해결하기 위해 Y/UV plane을 별도 R8/RG8 텍스처로 분리하는 접근법 시도. 하지만 proof-of-concept 테스트 결과 D3D12가 2D 텍스처에 대해 ROW_MAJOR layout을 지원하지 않음을 발견하여 접근법 취소.
|
|
|
|
### 핵심 발견
|
|
- ❌ **D3D12 제약**: `D3D12_TEXTURE_LAYOUT_ROW_MAJOR`는 Buffer와 Texture1D만 지원, **2D 텍스처는 불가**
|
|
- ❌ **CUDA 호환성**: Tiled texture layout (UNKNOWN)은 CUDA `cudaMemcpy2D`로 linear 접근 불가
|
|
- ✅ **RGB 텍스처 지원**: `R8G8B8A8_UNORM`은 ROW_MAJOR 지원 → RGB pipeline 해결책 발견
|
|
|
|
### 테스트 결과
|
|
```bash
|
|
# separate-texture-test 실행 결과
|
|
[ERROR] Failed to create Y plane texture: 0x80070057 (E_INVALIDARG)
|
|
[ERROR] Failed to create UV plane texture: 0x80070057 (E_INVALIDARG)
|
|
```
|
|
|
|
### 구현된 코드 (사용 안 됨)
|
|
- ✅ `D3D12SurfaceHandler::CopySeparateNV12Frame()` 메서드 구현 (미사용)
|
|
- ✅ `separate-texture-test` proof-of-concept 테스트 (제약 검증용 보관)
|
|
- ❌ NVDECAV1Decoder 통합 (취소)
|
|
- ❌ D3D12VideoRenderer 통합 (취소)
|
|
|
|
### 대안 솔루션
|
|
✅ **CUDA NV12→RGB Pipeline** (검증 완료)
|
|
1. NVDEC → CUDA NV12 buffer
|
|
2. NVIDIA NPP: NV12 → RGB 변환 (~0.5ms @ 1080p)
|
|
3. CUDA RGB → D3D12 RGB texture (ROW_MAJOR 지원!)
|
|
4. D3D12 직접 렌더링 (YUV→RGB shader 불필요)
|
|
|
|
### 교훈
|
|
- ✅ **Early POC Testing**: 전체 통합 전 개념 검증으로 100+ lines 낭비 방지
|
|
- ✅ **Pivot 의지**: 근본적 제약 발견 시 즉시 대안 솔루션으로 전환
|
|
- ✅ **문서화 가치**: 실패한 접근법도 제약 사항 문서로 보관
|
|
|
|
### 문서
|
|
📄 [D3D12_CUDA_Separate_YUV_Experiment_Results.md](completed/nvdec/D3D12_CUDA_Separate_YUV_Experiment_Results.md) - 실험 전체 결과
|
|
📄 [D3D12_CUDA_RGB_Pipeline_Completed.md](completed/windows/D3D12_CUDA_RGB_Pipeline_Completed.md) - RGB Pipeline 연구 결과 (Surface Objects로 대체됨)
|
|
|
|
---
|
|
|
|
## 🎉 **최신 완료 프로젝트: Red Surface NVDEC 테스트** (2025-10-05)
|
|
|
|
**프로젝트**: Red Surface NVDEC D3D12 Surface 렌더링 테스트
|
|
**기간**: 2025년 10월 5일
|
|
**상태**: ✅ 부분 완료 (핵심 목표 달성 - NVDEC RingBuffer 비동기 디코딩 완성)
|
|
|
|
### 요약
|
|
NVDEC AV1 디코더의 D3D12 surface 렌더링 검증을 목표로 시작했으나, 테스트 중 더 중요한 NVDEC RingBuffer 비동기 디코딩 설계 필요성을 발견. 우선순위를 변경하여 RingBuffer 시스템을 완전히 구현하고 검증 완료.
|
|
|
|
### 주요 결과
|
|
- ✅ **NVDEC 디코더 안정성 검증**: test_720p_stripe.webm 5프레임 연속 디코딩 성공
|
|
- ✅ **Zero-copy CUDA-D3D12 interop 확인**: GPU 파이프라인 정상 작동
|
|
- ✅ **NVDEC RingBuffer 비동기 디코딩 설계 및 구현 완료**: 전체 6개 Phase 완성
|
|
- ✅ **프레임 디코딩 순서 및 타이밍 정확성 검증**: FIFO 순서 보장 확인
|
|
- ❌ **Stripe 패턴 픽셀 검증**: 우선순위 변경으로 미구현 (필요시 향후 추가)
|
|
|
|
### 발견된 핵심 문제 및 해결
|
|
1. **문제**: 복잡한 ParseContext 기반 매핑 테이블 (600+ 줄)
|
|
2. **해결**: CurrPicIdx 직접 사용 + Pending Submission Ring Buffer
|
|
3. **결과**: 코드 200줄 감소, 멀티스레드 안전성 확보, FIFO 순서 보장
|
|
|
|
### 테스트 결과
|
|
```
|
|
✅ test_720p_stripe.webm: 5프레임 디코딩 성공
|
|
✅ NVDEC 디코더 정상 작동
|
|
✅ Zero-copy 파이프라인 검증
|
|
✅ RingBuffer 시스템 전체 플로우 검증
|
|
```
|
|
|
|
### 문서
|
|
📄 [red-surface-nvdec-spec.md](completed/nvdec/red-surface-nvdec-spec.md)
|
|
|
|
---
|
|
|
|
## ❌ **취소된 프로젝트: NVDECAV1Decoder C++ Refactoring** (2025-10-03 → 2025-10-05)
|
|
|
|
**프로젝트**: NVDECAV1Decoder C++ 코드 리팩토링 (D3D12SurfaceHandler, ExternalMemoryCache 분리)
|
|
**기간**: 2025년 10월 3일 - 2025년 10월 5일
|
|
**상태**: ❌ CANCELLED - NVDEC RingBuffer 설계로 대체됨
|
|
|
|
### 요약
|
|
NVDECAV1Decoder.cpp의 1,722줄 코드를 D3D12SurfaceHandler와 ExternalMemoryCache 클래스로 분리하는 리팩토링 계획. Red-surface-nvdec 테스트 중 더 근본적인 문제(ParseContext 아키텍처)를 발견하여, 새로운 추상화 계층 추가 대신 NVDEC RingBuffer 설계로 피봇.
|
|
|
|
### 취소 사유
|
|
1. **근본 원인 발견**: 코드 조직 문제가 아닌 ParseContext 아키텍처 자체가 문제
|
|
2. **더 나은 해결책**: RingBuffer 설계가 새 클래스 추가 없이 동일한 목표 달성
|
|
3. **복잡도 증가 회피**: D3D12SurfaceHandler, ExternalMemoryCache 클래스 추가 불필요
|
|
|
|
### 원래 계획 vs. 실제 결과
|
|
| 항목 | 원래 계획 (취소됨) | 실제 결과 (RingBuffer) |
|
|
|------|------------------|---------------------|
|
|
| 새 클래스 | D3D12SurfaceHandler, ExternalMemoryCache | 0개 (기존 구조 유지) |
|
|
| 코드 감소 | 1,722 → 1,100 lines (36%) | ~200 lines 감소 (ParseContext 제거) |
|
|
| 테스트 가능성 | 개별 컴포넌트 유닛 테스트 | 통합 테스트로 검증 |
|
|
| 성능 | 동일 유지 | 동일 유지 |
|
|
|
|
### 교훈
|
|
- ✅ **근본 원인 우선**: 증상(코드 조직) vs 원인(아키텍처) 구분
|
|
- ✅ **테스트로 검증**: red-surface-nvdec 테스트가 진짜 문제 노출
|
|
- ✅ **단순함 우선**: 불필요한 추상화 회피
|
|
- ✅ **피봇 의지**: 더 나은 해결책 발견 시 즉시 방향 전환
|
|
|
|
### 문서
|
|
📄 [NVDECAV1Decoder_CPP_Refactoring_Design.md](completed/nvdec/NVDECAV1Decoder_CPP_Refactoring_Design.md) (취소 사유 상세)
|
|
|
|
---
|
|
|
|
## 🏅 **완료 프로젝트: NVDEC RingBuffer 비동기 디코딩** (2025-10-05)
|
|
|
|
**프로젝트**: NVDEC CurrPicIdx 기반 RingBuffer 비동기 디코딩 시스템
|
|
**기간**: 2025년 10월 5일
|
|
**상태**: ✅ 전체 완료 (Phase 1-6)
|
|
|
|
### 요약
|
|
NVDEC의 네이티브 CurrPicIdx를 직접 활용한 비동기 디코딩 시스템 구현. ParseContext 및 복잡한 매핑 테이블 제거, 대기 컨텍스트용 링 버퍼 도입으로 멀티스레드 안전성 확보 및 코드 200줄 감소.
|
|
|
|
### 주요 결과
|
|
- **코드 단순화**: -200 라인 (ParseContext, 매핑 테이블 제거)
|
|
- **CurrPicIdx 직접 사용**: `slot_idx = pic_params->CurrPicIdx` (0-7)
|
|
- **링 버퍼 아키텍처**: `m_pendingSubmissions[8]` 멀티스레드 안전
|
|
- **FIFO 순서 보장**: `m_submissionCounter`, `m_returnCounter`
|
|
- **검증 완료**: test_720p_stripe.webm으로 전체 플로우 테스트
|
|
|
|
### 핵심 설계 원칙
|
|
1. ✅ **Direct CurrPicIdx usage** - NVDEC가 제공한 0-7 값으로 슬롯 직접 접근
|
|
2. ✅ **Ring buffer for contexts** - `pending_idx = submission_id % 8` 결정적 룩업
|
|
3. ✅ **Zero mapping overhead** - 해시 테이블 없음, O(8) 선형 검색
|
|
4. ✅ **Thread-safe** - 경쟁 조건 없음, 원자적 카운터 사용
|
|
5. ✅ **NVDEC-aligned** - API를 의도대로 사용
|
|
|
|
### 구현된 Phase (총 ~4시간)
|
|
- **Phase 1**: ✅ Data Structure Setup (30분) - DecodeSlot, PendingSubmission
|
|
- **Phase 2**: ✅ Polling Thread (45분) - cuvidGetDecodeStatus 폴링
|
|
- **Phase 3**: ✅ DecodeToSurface Refactoring (1.5시간) - 컴포넌트 1,2,4,5
|
|
- **Phase 4**: ✅ HandlePictureDecode Update (25분) - CurrPicIdx 직접 사용
|
|
- **Phase 5**: ✅ Integration Testing (1시간) - 전체 플로우 검증
|
|
- **Phase 6**: ✅ Documentation & Cleanup (30분) - ParseContext 제거
|
|
|
|
### 테스트 결과
|
|
```
|
|
✅ submission_id=0: pending_idx=0, CurrPicIdx=0 → slot=0 ✓
|
|
✅ submission_id=7: pending_idx=7, CurrPicIdx=7 → slot=7 ✓
|
|
✅ submission_id=8: pending_idx=0 (wraparound) ✓
|
|
✅ FIFO ordering: "My turn!" 순차 처리 ✓
|
|
✅ Polling thread: "Slot X ready" 정상 ✓
|
|
✅ No race conditions detected ✓
|
|
```
|
|
|
|
### 문서
|
|
📄 [NVDEC_RingBuffer_Decode_Design.md](completed/nvdec/NVDEC_RingBuffer_Decode_Design.md)
|
|
|
|
---
|
|
|
|
## 🏅 **이전 완료 프로젝트: VideoPlayerControl2 리팩토링** (2025-10-01)
|
|
|
|
**프로젝트**: VideoPlayerControl2 모듈화 아키텍처 완전 구현
|
|
**기간**: 2025년 10월 1일
|
|
**상태**: ✅ 전체 완료 (Phase 1-4)
|
|
|
|
### 요약
|
|
VideoPlayerControl의 1,890줄 단일 클래스를 PlaybackController, FrameProcessor, VideoPlayerControl2 3개의 전문화된 컴포넌트로 분리하여 유지보수성과 확장성을 크게 향상. 기존 VideoPlayerControl을 그대로 유지하면서 새로운 VideoPlayerControl2를 독립적으로 구현.
|
|
|
|
### 주요 결과
|
|
- **코드 구조 개선**: 1,890 lines → 950 lines (50% 감소, 추정)
|
|
- **모듈화 완료**: 3개 독립 컴포넌트 (PlaybackController, FrameProcessor, VideoPlayerControl2)
|
|
- **책임 분리**: 7개 혼재된 책임 → 각 클래스 1개 명확한 목적
|
|
- **빌드 성공**: WinRT 런타임 클래스 생성 및 인터페이스 검증 완료
|
|
- **확장성 향상**: 새로운 기능 추가 시 핵심 컴포넌트 수정 불필요
|
|
|
|
### 완성된 컴포넌트
|
|
1. ✅ **PlaybackController** (300 lines) - VavCore 생명주기, 재생 상태 머신, 타이밍 스레드 관리
|
|
2. ✅ **FrameProcessor** (250 lines) - 백그라운드 디코딩, 프레임 처리 조절, 디코드→렌더 파이프라인
|
|
3. ✅ **VideoPlayerControl2** (400 lines) - WinUI3 XAML 통합, UI 이벤트 처리, 상태 쿼리
|
|
4. ✅ **VideoPlayerControl2.idl** - WinRT 인터페이스 정의, 11개 메서드/프로퍼티
|
|
5. ✅ **VideoPlayerControl2.xaml** - XAML UI 정의, SwapChainPanel 렌더링
|
|
|
|
### 구현된 Phase
|
|
- **Phase 1**: ✅ PlaybackController, FrameProcessor 스켈레톤 생성
|
|
- **Phase 2**: ✅ vcxproj 파일 구조 통합 (ItemGroup Label="VideoPlayerControl2")
|
|
- **Phase 3**: ✅ 빌드 성공 (컴파일 오류 모두 해결)
|
|
- **Phase 4**: ✅ 생성된 파일 검증 및 런타임 호환성 확인
|
|
|
|
### 설계 원칙
|
|
- **실용주의 우선**: 과도한 엔지니어링 없이 필요한 만큼만 분리
|
|
- **컴포지션 > 상속**: 깊은 계층 구조 회피, 컴포지션 기반 설계
|
|
- **단일 책임 원칙**: 각 클래스가 하나의 명확한 목적만 수행
|
|
- **간결함 유지**: 최대 3-4개 클래스, 10개 이상 과도한 분리 방지
|
|
|
|
### 문서
|
|
📄 [VideoPlayerControl2_Refactoring_Plan_2025-10-01.md](completed/windows/VideoPlayerControl2_Refactoring_Plan_2025-10-01.md)
|
|
|
|
---
|
|
|
|
## 🏅 **이전 완료 프로젝트: CUDA-D3D12 Zero-Copy Pipeline** (2025-10-01)
|
|
|
|
**프로젝트**: NVDEC → D3D12 Zero-Copy GPU 파이프라인 구현
|
|
**기간**: 2025년 10월 1일
|
|
**상태**: ✅ 전체 완료
|
|
|
|
### 요약
|
|
NVIDIA NVDEC AV1 디코더에서 D3D12 렌더링 파이프라인으로의 Zero-Copy GPU 데이터 전송 구현. CUDA External Memory API를 사용하여 CPU 개입 없는 완전한 GPU 파이프라인 구축.
|
|
|
|
### 주요 결과
|
|
- **Zero-Copy 파이프라인**: NVDEC → CUDA External Memory → D3D12 Resource
|
|
- **CUDA External Memory API**: Windows Shared Handles를 통한 D3D12 리소스 공유
|
|
- **성능 향상 예상**: CPU-GPU 메모리 복사 제거 (4K: ~12MB/frame)
|
|
- **빌드 성공**: VavCore + Vav2Player 모두 빌드 및 실행 성공
|
|
|
|
### 구현된 주요 기능
|
|
1. ✅ **CUDA External Memory API 통합** - cudaImportExternalMemory, cudaExternalMemoryGetMappedBuffer
|
|
2. ✅ **D3D12 Shared Handles** - CreateSharedHandle로 크로스 API 리소스 공유
|
|
3. ✅ **NV12 포맷 처리** - Y plane + UV plane GPU 내부 복사
|
|
4. ✅ **SimpleGPURenderer 통합** - D3D12 device 전달 및 연동
|
|
5. ✅ **빌드 설정 완료** - cudart.lib, d3d12.lib 추가
|
|
|
|
### 문서
|
|
📄 [CUDA_D3D12_Zero_Copy_Pipeline_2025-10-01.md](completed/windows/CUDA_D3D12_Zero_Copy_Pipeline_2025-10-01.md)
|
|
|
|
---
|
|
|
|
## 🏅 **이전 완료 프로젝트: Android 코드 품질 개선** (2025-09-30)
|
|
|
|
**프로젝트**: Android vav2player 전체 진단 및 11개 이슈 수정
|
|
**기간**: 2025년 9월 30일
|
|
**상태**: ✅ 전체 완료
|
|
|
|
### 요약
|
|
Android vav2player 애플리케이션의 포괄적인 진단 분석 및 체계적인 버그 수정. 3개 CRITICAL, 2개 HIGH, 4개 MEDIUM, 2개 LOW 우선순위 이슈를 모두 해결하여 코드 품질을 6.5/10에서 8.5+/10으로 향상.
|
|
|
|
### 주요 결과
|
|
- **코드 품질**: 6.5/10 → 8.5+/10
|
|
- **수정된 이슈**: 11개 (CRITICAL 3, HIGH 2, MEDIUM 4, LOW 2)
|
|
- **크래시 리스크**: 100% 제거
|
|
- **메모리 누수**: JNI 참조 누수 완전 해결
|
|
- **코드 정리**: 300+ 줄 미사용 코드 제거
|
|
|
|
### 해결된 주요 문제
|
|
1. ✅ **JNI Reference Leaks** - DeleteLocalRef 추가로 메모리 누수 방지
|
|
2. ✅ **ANativeWindow Double-Free** - Reference counting으로 segfault 방지
|
|
3. ✅ **Playback Thread Deadlock** - Mutex 외부 콜백 실행으로 교착 제거
|
|
4. ✅ **Duplicate Frame Processing** - 중복 스레드 제거로 5-10% CPU 절약
|
|
5. ✅ **Surface Lifecycle Race** - Synchronized 블록으로 크래시 방지
|
|
6. ✅ **Real Progress Tracking** - 실제 재생 위치 기반 진행 표시
|
|
7. ✅ **Vulkan Resource Cleanup** - 모든 초기화 실패 경로에서 정리
|
|
8. ✅ **CPU Usage Fix** - 잘못된 메모리 기반 계산 수정
|
|
|
|
### 문서
|
|
📄 [Android_Code_Quality_Improvements_2025-09-30.md](completed/android/Android_Code_Quality_Improvements_2025-09-30.md)
|
|
|
|
---
|
|
|
|
## 🏅 **이전 완료 프로젝트: MediaCodecAV1Decoder 리팩토링** (2025-09-30)
|
|
|
|
**프로젝트**: MediaCodecAV1Decoder 완전 아키텍처 리팩토링
|
|
**기간**: Phase 1-5 (2025년 9월 30일)
|
|
**상태**: ✅ 전체 Phase 완료
|
|
|
|
### 요약
|
|
2000+ 줄의 God Object `AndroidMediaCodecAV1Decoder`를 5개의 전문화된 컴포넌트로 분리하여 깔끔하고 모듈화된 아키텍처로 전환. 47% 코드 축소 달성 및 성능 영향 없음.
|
|
|
|
### 주요 결과
|
|
- **코드 축소**: 2000 lines → 1064 lines (47% 감소)
|
|
- **클래스 이름 변경**: AndroidMediaCodecAV1Decoder → MediaCodecAV1Decoder
|
|
- **생성된 컴포넌트**: 5개 전문 클래스 (BufferProcessor, HardwareDetector, Selector, AsyncHandler, SurfaceManager)
|
|
- **빌드 검증**: ✅ 성공 (3초, 76 tasks)
|
|
- **성능 영향**: Zero-overhead (설계대로 달성)
|
|
|
|
### 완성된 컴포넌트
|
|
1. ✅ **MediaCodecBufferProcessor** - 버퍼 관리 및 프라이밍
|
|
2. ✅ **MediaCodecHardwareDetector** - SoC/API 레벨 감지
|
|
3. ✅ **MediaCodecSelector** - 코덱 선택 및 fallback 로직
|
|
4. ✅ **MediaCodecAsyncHandler** - 비동기 MediaCodec 처리
|
|
5. ✅ **MediaCodecSurfaceManager** - Surface/Graphics API 관리
|
|
|
|
### 문서
|
|
📄 [MediaCodecAV1Decoder_Refactoring_Complete_2025-09-30.md](completed/android/MediaCodecAV1Decoder_Refactoring_Complete_2025-09-30.md)
|
|
|
|
---
|
|
|
|
## 🏗️ **하드웨어 가속 프로젝트** (완료 ✅)
|
|
|
|
Windows 플랫폼에서 AV1 비디오의 하드웨어 가속 디코딩을 구현한 프로젝트들입니다.
|
|
|
|
### **GPU 디코더 구현**
|
|
- [**AMD AMF AV1 Decoder**](completed/hardware-acceleration/AMD_AMF_AV1_Decoder_Design.md) ✅
|
|
- AMD VCN 하드웨어 가속 AV1 디코딩 구현
|
|
- RX 6000/7000 시리즈 GPU 지원
|
|
- AMF SDK 통합 및 GPU Surface 최적화
|
|
|
|
- [**Intel VPL AV1 Decoder**](completed/hardware-acceleration/Intel_VPL_AV1_Decoder_Design.md) ✅
|
|
- Intel Quick Sync Video 하드웨어 가속 구현
|
|
- 11th gen+ CPU with Intel Xe graphics 지원
|
|
- Intel VPL API 통합 및 메모리 최적화
|
|
|
|
### **GPU 렌더링 최적화**
|
|
- [**D3D Surface Direct Decoding**](completed/hardware-acceleration/D3D_Surface_Direct_Decoding_Design.md) ✅
|
|
- GPU Surface 직접 디코딩 및 Zero-Copy 렌더링
|
|
- D3D11/D3D12 Surface 바인딩 구현
|
|
- CPU-GPU 메모리 복사 제거를 통한 성능 향상
|
|
|
|
- [**CUDA-D3D12 Zero-Copy Pipeline**](completed/windows/CUDA_D3D12_Zero_Copy_Pipeline_2025-10-01.md) ✅ 🔴 **Critical** *(2025-10-01 신규 완성)*
|
|
- NVDEC → D3D12 Zero-Copy GPU 파이프라인 완전 구현
|
|
- CUDA External Memory API 통합 (cudaImportExternalMemory)
|
|
- Windows Shared Handles를 통한 D3D12 리소스 공유
|
|
- NV12 포맷 Y/UV plane GPU 내부 복사
|
|
- CPU 메모리 복사 완전 제거 (4K: ~12MB/frame 절약)
|
|
|
|
---
|
|
|
|
## ⚡ **성능 최적화 프로젝트** (완료 ✅)
|
|
|
|
실시간 4K AV1 비디오 재생을 위한 성능 최적화 관련 프로젝트들입니다.
|
|
|
|
### **적응형 품질 제어**
|
|
- [**Adaptive Quality Control**](completed/optimization/ADAPTIVE_QUALITY_CONTROL_DESIGN.md) ✅
|
|
- 실시간 성능 모니터링 기반 품질 조정
|
|
- 5단계 품질 레벨 (ULTRA → MINIMUM)
|
|
- 프레임 스킵 제거를 통한 부드러운 재생
|
|
|
|
### **코드 최적화**
|
|
- [**Performance Optimization Phases**](completed/optimization/performance_optimization_phases.md) ✅
|
|
- Phase 1: 메모리 풀, Zero-copy 디코딩
|
|
- Phase 2: 멀티스레드 파이프라인
|
|
- 4K AV1 디코딩 27.7fps 달성
|
|
|
|
- [**Godot Performance Analysis Report**](completed/godot-integration/Godot_Performance_Analysis_Report.md) ✅
|
|
- VavCore.Godot Extension 성능 분석 및 최적화
|
|
- Zero-Copy GPU Pipeline vs CPU Fallback 성능 비교
|
|
- BT.709 YUV→RGB 변환 정확도 검증
|
|
- 플랫폼별 GPU API 성능 벤치마킹
|
|
|
|
- [**Phase 2 Optimization Design**](completed/optimization/Phase_2_Optimization_Design.md) ✅
|
|
- 멀티스레드 최적화 설계 및 구현 완료
|
|
- 크로스 플랫폼 Surface 지원 구현
|
|
- Godot RenderingDevice API 완전 활용
|
|
- GPU Surface 바인딩 + CPU ImageTexture 이중 렌더링 모드
|
|
|
|
- [**Major Refactoring Guide**](completed/optimization/MAJOR_REFACTORING_GUIDE.md) ✅
|
|
- 전체 코드 88% 감소 (6800줄 → 800줄)
|
|
- 복잡한 파이프라인 단순화
|
|
- GPU 파이프라인 재설계
|
|
|
|
---
|
|
|
|
## 🧪 **테스트 시스템 프로젝트** (완료 ✅)
|
|
|
|
안정적인 개발을 위한 테스트 인프라 구축 프로젝트들입니다.
|
|
|
|
### **단위 테스트 시스템**
|
|
- [**Unit Test Refactoring**](completed/testing/UNIT_TEST_REFACTORING_PLAN.md) ✅
|
|
- 인터페이스 + Mock 시스템 구축
|
|
- 47개 테스트, 95.7% 통과율 달성
|
|
- VSTest 실행 환경 구축
|
|
|
|
### **헤드리스 테스트**
|
|
- [**Headless PCH Architecture**](completed/testing/HEADLESS_PCH_ARCHITECTURE.md) ✅
|
|
- WinUI3 의존성 분리
|
|
- 순수 콘솔 테스트 애플리케이션
|
|
- 별도 디렉토리 기반 PCH 구조
|
|
|
|
---
|
|
|
|
## 🔍 **코드 품질 & 안정성 프로젝트** (완료 ✅)
|
|
|
|
코드 품질 향상 및 안정성 개선을 위한 진단 및 수정 프로젝트들입니다.
|
|
|
|
### **Android 코드 품질 개선**
|
|
- [**Android Code Quality Improvements**](completed/android/Android_Code_Quality_Improvements_2025-09-30.md) ✅
|
|
- 11개 이슈 체계적 수정 (CRITICAL 3, HIGH 2, MEDIUM 4, LOW 2)
|
|
- 코드 품질 6.5/10 → 8.5+/10 향상
|
|
- JNI 메모리 누수 완전 해결
|
|
- 멀티스레드 교착 상태 제거
|
|
- 실제 재생 위치 기반 진행 표시 구현
|
|
|
|
---
|
|
|
|
## 🌐 **크로스 플랫폼 프로젝트** (완료 ✅)
|
|
|
|
Windows 외의 플랫폼 지원을 위한 크로스 플랫폼 구현 프로젝트들입니다.
|
|
|
|
### **Android 플랫폼**
|
|
- [**Android dav1d Build**](completed/cross-platform/Android_dav1d_Build_Guide.md) ✅
|
|
- ARM64/ARM32 크로스 컴파일 구현
|
|
- CMake 빌드 시스템 통합
|
|
- NDK 호환성 확보
|
|
|
|
- [**Android CrossPlatform Build**](completed/cross-platform/Android_CrossPlatform_Build_Plan.md) ✅
|
|
- 플랫폼별 빌드 구조 설계
|
|
- Gradle/CMake 통합 빌드 시스템
|
|
- 의존성 관리 최적화
|
|
|
|
### **Android 하드웨어 가속**
|
|
- [**VavCore Android MediaCodec**](completed/cross-platform/VavCore_Android_MediaCodec_Design.md) ✅
|
|
- Android MediaCodec API 통합
|
|
- 하드웨어 가속 AV1 디코딩
|
|
- Surface 기반 Zero-Copy 렌더링
|
|
|
|
---
|
|
|
|
## 🏛️ **아키텍처 설계 프로젝트** (완료 ✅)
|
|
|
|
VavCore 라이브러리의 전체 아키텍처 및 구조 설계 프로젝트들입니다.
|
|
|
|
### **라이브러리 아키텍처**
|
|
- [**VavCore Library Design**](completed/architecture/VavCore_Library_Design.md) ✅
|
|
- 재사용 가능한 AV1 디코딩 라이브러리 설계
|
|
- Public API 설계 및 모듈화
|
|
- Pimpl 패턴을 통한 C/C++ ABI 호환성
|
|
|
|
- [**Logging Architecture Design**](completed/architecture/Logging_Architecture_Design.md) ✅
|
|
- 계층적 로깅 시스템 설계
|
|
- 성능 최적화된 로그 출력
|
|
- 멀티스레드 안전성 확보
|
|
|
|
### **디자인 패턴**
|
|
- [**Registration Based Factory Design**](completed/architecture/Registration_Based_Factory_Design.md) ✅
|
|
- 플러그인 형태의 디코더 등록 시스템
|
|
- 런타임 디코더 발견 및 선택
|
|
- 확장 가능한 팩토리 패턴
|
|
|
|
---
|
|
|
|
## 📱 **Android 플랫폼 프로젝트** (완료 ✅)
|
|
|
|
Android 플랫폼에서 VavCore AV1 디코딩을 구현하고 Google Play 호환성을 확보한 프로젝트들입니다.
|
|
|
|
### **Android 호환성 및 빌드 시스템**
|
|
- [**Android 16KB 페이지 정렬 및 JNI 라이브러리 통합**](completed/android/Android_16KB_Alignment_And_JNI_Integration_2025-09-29.md) ✅
|
|
- Google Play 2025년 11월 1일 요구사항 준수
|
|
- 모든 Android 빌드 스크립트에 16KB 페이지 정렬 적용
|
|
- JNI 래퍼 라이브러리 통합 및 이름 충돌 해결
|
|
- libvavcore_jni.so + libVavCore.so 이중 라이브러리 구조
|
|
- CMakeLists.txt 경로 문제 및 자동 패키징 설정 완료
|
|
|
|
### **Android Lazy Initialization 시스템**
|
|
- [**Android VavCore Lazy Initialization 구현 완료**](completed/milestones/Android_VavCore_Lazy_Initialization_Success_2025-09-29.md) ✅ 🔴 **Critical**
|
|
- Windows DllMain과 동등한 Android JNI_OnLoad 시스템 구현
|
|
- vavcore_create_player() 실패 문제 완전 해결
|
|
- JNI 반환값 타입 오류 수정 (VavCoreResult vs bool)
|
|
- 디코더 등록 함수 extern "C" 링킹 문제 해결
|
|
- 5개 Android AV1 하드웨어 디코더 정상 감지 및 작동
|
|
- **핵심 성과**: MediaCodec + dav1d 양쪽 디코더 완전 작동
|
|
- **기술**: JNI_OnLoad, extern "C" 링킹, Android __android_log_print
|
|
|
|
### **Android MediaCodec 프라이밍 시스템**
|
|
- [**Android MediaCodec Priming System 구현 완료**](completed/android/Android_MediaCodec_Priming_System_2025-09-30.md) ✅ 🔴 **Critical**
|
|
- Samsung Galaxy S24 하드웨어 디코더 초기화 지연 문제 완전 해결
|
|
- MediaCodec warm-up을 통한 첫 프레임 디코딩 성능 최적화
|
|
- Progressive fallback 시스템으로 다양한 Android 기기 호환성 확보
|
|
- Qualcomm Snapdragon c2.qti.av1.decoder 최적화 완성
|
|
- **핵심 성과**: 첫 프레임 디코딩 지연 1초 → 100ms 이하로 단축
|
|
- **기술**: MediaCodec priming, Progressive fallback, Hardware decoder warming
|
|
|
|
---
|
|
|
|
## 📚 **레거시 문서** (참고용 📖)
|
|
|
|
초기 설계 문서들과 사용하지 않기로 결정된 접근 방식들입니다.
|
|
|
|
### **초기 설계**
|
|
- [**Original AV1 Player Design**](completed/legacy/av1_video_player_design.md) 📖
|
|
- 프로젝트 초기 설계 문서
|
|
- 기본적인 AV1 재생 아키텍처
|
|
- 현재 구현과 비교 참고용
|
|
|
|
### **사용하지 않은 접근 방식**
|
|
- [**ComPtr Migration Guide**](completed/legacy/COMPTR_MIGRATION_GUIDE.md) 📖
|
|
- Microsoft::WRL::ComPtr → std 라이브러리 마이그레이션 시도
|
|
- 호환성 문제로 인해 취소된 접근 방식
|
|
- 대안 솔루션들 참고용
|
|
|
|
- [**GEMINI.md**](completed/legacy/GEMINI.md) 📖
|
|
- 이전 AI 어시스턴트와의 작업 기록
|
|
- 참고용 문서
|
|
|
|
---
|
|
|
|
## 🎯 **주요 개발 마일스톤** (완료 ✅)
|
|
|
|
프로젝트 개발 과정에서 달성한 중요한 이정표들입니다.
|
|
|
|
### **2025년 9월 핵심 성과**
|
|
- [**Godot VavCore 데모 성공적 실행**](completed/milestones/Godot_VavCore_Demo_Success_2025-09-28.md) ✅
|
|
- 실제 4K AV1 비디오 재생 성공
|
|
- Phase 2 멀티스레드 완전 구현
|
|
- GPU YUV 렌더링 및 AspectFit 표시 완성
|
|
|
|
- [**VavCore DLL 통합 테스트**](completed/milestones/VavCore_DLL_Integration_Success_2025-09-28.md) ✅
|
|
- 28개 vavcore_* API 함수 완전 검증
|
|
- C# P/Invoke 완벽 매핑 완성
|
|
- 실제 AV1 프레임 디코딩 성공
|
|
|
|
- [**VavCore Godot 4.4.1 C# Extension 구축**](completed/milestones/VavCore_Godot_Extension_Development_2025-09-27.md) ✅
|
|
- 크로스 플랫폼 Godot Extension 완성
|
|
- API 단순화: 70+ 함수 → 28개 C 함수
|
|
- Zero-Copy GPU Pipeline 구현
|
|
|
|
- [**주요 하드웨어 가속 시스템**](completed/milestones/Hardware_Acceleration_System_2025-09-26.md) ✅
|
|
- NVIDIA NVDEC, Intel VPL, AMD AMF 모든 GPU 지원
|
|
- 자동 하드웨어 감지 및 최적 디코더 선택
|
|
- 4K AV1 디코딩 2-4ms 성능 달성
|
|
|
|
---
|
|
|
|
## 📊 **프로젝트 통계**
|
|
|
|
### **완료된 프로젝트 수**
|
|
- **총 프로젝트**: 19개 설계 문서 + 5개 마일스톤 + 1개 Android 완성 + 1개 코드 품질 + 1개 리팩토링 = **27개**
|
|
- **주요 마일스톤**: 5개 🎯
|
|
- **Android 완전 구현**: 1개 📱 *(2025-09-30 신규 완성)*
|
|
- **코드 품질 개선**: 1개 ✅ *(2025-09-30 신규 완성)*
|
|
- **Windows 리팩토링**: 1개 ✅ *(2025-10-01 신규 완성)*
|
|
- **하드웨어 가속**: 4개 ✅ *(+CUDA-D3D12 Zero-Copy)*
|
|
- **성능 최적화**: 3개 ✅
|
|
- **테스트 시스템**: 2개 ✅
|
|
- **크로스 플랫폼**: 4개 ✅ *(+Android Lazy Init)*
|
|
- **아키텍처 설계**: 3개 ✅
|
|
- **레거시 문서**: 3개 📖
|
|
|
|
### **주요 성과**
|
|
- **📱 Android 완전 구현**: Samsung Galaxy S24 최적화 Vulkan AV1 Player 완성 🎯
|
|
- **🔧 키워드 기반 MediaCodec**: 모든 Android SoC 벤더 호환성 확보 ⚡
|
|
- **4K AV1 디코딩**: Windows 27.7fps, Android MediaCodec 하드웨어 가속 🚀
|
|
- **하드웨어 가속**: Windows (NVDEC, VPL, AMF) + Android (Qualcomm, Exynos, MediaTek) 📱
|
|
- **크로스 플랫폼 C API**: Windows DLL + Android JNI 28개 함수 통일 🔄
|
|
- **코드 최적화**: 88% 코드 감소 및 성능 최적화 🎯
|
|
- **테스트 커버리지**: 95.7% 통과율 ✅
|
|
- **완전한 크로스 플랫폼**: Windows + Android 양 플랫폼 완전 지원 🌐
|
|
|
|
---
|
|
|
|
## 🔄 **문서 이용 가이드**
|
|
|
|
### **문서 검색하기**
|
|
1. **주제별 검색**: 위의 카테고리에서 관련 주제 찾기
|
|
2. **키워드 검색**: 브라우저의 찾기 기능 (Ctrl+F) 활용
|
|
3. **상태별 검색**: ✅ (완료), 📖 (참고용) 아이콘으로 구분
|
|
|
|
### **문서 활용하기**
|
|
- **구현 참고**: 완료된 프로젝트의 구현 방식 참고
|
|
- **문제 해결**: 유사한 문제를 해결한 프로젝트 찾기
|
|
- **아키텍처 이해**: 전체 시스템 구조 파악
|
|
|
|
### **새로운 프로젝트 시작 시**
|
|
1. 유사한 완료 프로젝트가 있는지 확인
|
|
2. 관련 설계 문서 검토
|
|
3. 기존 패턴과 일관성 유지
|
|
|
|
## 📱 **Android Vulkan AV1 Player 완전 구현** (2025-09-30 완료 ✅)
|
|
|
|
Samsung Galaxy S24 Qualcomm Snapdragon에 최적화된 완전한 네이티브 Android AV1 Player 애플리케이션입니다.
|
|
|
|
### **Android Vulkan AV1 Player 애플리케이션**
|
|
- [**Android Vulkan AV1 Player Design**](completed/android/Android_Vulkan_AV1_Player_Design.md) ✅
|
|
- **완전한 네이티브 Android 앱**: Load Video, Play, Pause, Stop, 성능 모니터링 완전 구현
|
|
- **Vulkan 1.1 렌더링 파이프라인**: YUV to RGB GPU 쉐이더, AspectFit 스케일링 완성
|
|
- **VavCore JNI 통합**: C API 28개 함수 Android NDK 완전 연동
|
|
- **실시간 성능 모니터링**: FPS, GPU 메모리 사용량, 프레임 드롭 표시
|
|
- **Google Play 호환성**: Android 15+ 16KB 페이지 크기 완전 지원
|
|
|
|
### **MediaCodec 키워드 기반 디코더 선택 시스템**
|
|
- [**Android MediaCodec 호환성 시스템**](completed/android/Android_16KB_Alignment_And_JNI_Integration_2025-09-29.md) ✅
|
|
- **크로스 벤더 호환성**: Samsung, Qualcomm, MediaTek, Google 모든 주요 Android SoC 지원
|
|
- **키워드 기반 우선순위**: exynos → sec → qcom → qti → mtk → android → google 우선순위 시스템
|
|
- **부분 매칭 시스템**: 하드코딩된 디코더 이름 대신 키워드 부분 매칭으로 호환성 확보
|
|
- **Samsung Galaxy S24 특화**: c2.qti.av1.decoder 자동 선택 및 성능 최적화
|
|
- **미래 호환성**: 새로운 Android 기기에도 자동 적응하는 디코더 선택
|
|
|
|
---
|
|
|
|
## 🚨 **시스템 안정성 프로젝트** (완료 ✅)
|
|
|
|
VavCore의 근본적인 안정성 문제를 해결하고 성능을 최적화한 Critical 프로젝트들입니다.
|
|
|
|
### **DLL 로딩 및 초기화 문제 해결**
|
|
- [**DLL Loading Crisis Resolution**](completed/milestones/DLL_Loading_Crisis_Resolution_2025-09-28.md) ✅ 🔴 **Critical**
|
|
- 0xc0000135 "종속 DLL을 찾을 수 없습니다" 에러 완전 해결
|
|
- Static Initialization 위험 요소 모두 제거
|
|
- DllMain 기반 Lazy Initialization 시스템 구축
|
|
- Static/Dynamic Library 모두에서 안전한 실행 보장
|
|
- **핵심 성과**: IntrinsicFunctions, StringPooling, 링커 최적화 적용
|
|
- **성능 향상**: 5-15% 전체 디코딩 성능 개선
|
|
- **기술**: DllMain, Function-static Lazy Init, SIMD 최적화
|
|
|
|
---
|
|
|
|
*최종 업데이트: 2025-10-01*
|
|
*현재 활성 프로젝트는 [CLAUDE.md](../CLAUDE.md)에서 확인하세요.* |