멀티미디어
미디어(Media)
- 정보(문자, 도형, 이미지, 동영상 등)를 인간에게 표현하는 수단 및 전달하는 수단을 총칭
- 표현 수단 : 텍스트, 이미지, 오디오, 비디오 등
- 전달 수단: 인터넷, 모바일 네트워크 등
- 저장 수단 : CD, DVD, USB
어디에 포커싱할지 잘 고민하기 하드웨어 코덱 → 칩에 박혀있음
- cpu로 돌리게 되면 연산량이 엄청남
- 이를 동작하기 위해서만 있는 칩
- 인텔, AMD에는 디코더 칩이 기본적으로 들어가 있음(최신 코덱)
- av1이 최신
- 코덱이 최신이 아니면 뚝뚝 끊김
MPEG 코덱은 일반인들은 사지 않지만 기억은 삼 MPEG ~ AV1
컨테이너
- 비디오 오디오 코덱
- 오디오 코덱 데이터와 비디오 코덱 데이터를 저장할 수 있는 껍데기
- avi,mp4, mov ogg, flc, mkv, etc
MPEG - 압축에 미친놈들 압축에 필요한 테크닉을 다 씀 동화상 전문가 그룹(MPEG)
우리가 보는 웨벡스 : 4:2:2 무손실 압축 → 이론상 최소사이즈가 계산이 되는 애들이 있음. 사이즈에 가깝게 하려고 노력하는 애들 20GB를 돌려도 700MB이하로 떨어뜨릴 수 없기 때문에 날려 보내는 것
시간 지역성 → 캐시 공간 지역성 → 앞뒤프레임이 그렇게 많이 안바뀌었기 때문에 그거를 이용
I 픽처 → 스스로 다 가지는 애 P 한방향으로만 압축한 애 B 앞과 뒤에 있는 픽터로부터 움직인 벡터를 압축해서 데이터로 가져옴
영상 → 1초에 24프레임 컴퓨터 30프레임, 29.97프레임 한 프레임이 차지하는 시간 → 33.33ms 150ms 이상이면 대화하기 어려워짐 영상통화할 때 화면이 꺠지는 경우 → 중간에 다시 좋아짐. p프레임만 이싿고 하면 네트워크로 패킷 몇개가 빠지면 군데군데 빠지게 됨. P만 계속 있으면 이러한 에러가 계속 중첩됨. 에러 프로파게이션 최신 코덱은 IPPPP…만 보냄 하지만 IPPP는 용량이 끔. 중간중간 보내기 아깝기 때문에
아무리 복잡한 신호 파형도 여러개의 코사인 함수의 합으로 ㅐ만들 수 있다. 그것처럼 이미지의 픽셀도 여러가지 패턴의 합으로 나타낼 수 있지 않을까? 코사인 트랜스폼. 이러한 특성을 활용해 나누어 버리기 ycbc열 픽셀을 패턴의 합으로 나타낸다 공간 지역성 → 한 픽셀과 그 옆 픽셀의 차이가 크지 않다는 점을 이용
양자화 → 표본의 값을 디지털 장치난 컴퓨터에서 표현할 수 있는 정해지 몇 단계의 값으로 근사화
특정 작은 비트로 나누기 위해 양자화를 너무 큰 값으로 나우면 블록이 가지고 있던 데이터를 너무 크게 만들어서 0으로 됨. 최대한 원문 사이즈를 삭제 함 허프만 코드 → 소실이 아닌 무손실 압축. 원본으로 다시 복원가능 motion estimate dct →→ 양자화 → 허프만 코드 → 역양자화 → DCT하여 원본처럼 돌림.
스트리밍 영상을 보내고 이를 바등ㅁ 중간에 패킷이 드랍되면 영상통화는 꺠진 채로 재생 재전송을 하게 되면 재생되어야 하는 시간이 밀림
WebRTC → RTP 레이턴시가 짧으면 짧을수록 유저의 한계가 명확해짐 서비스가 가지는 레이턴시에 따라서 프로토콜 사용 유튜브 → RTMP OPus → WebRTC의 기본 오디오 코덱
VOD는 OTT의 하위 개념 HDCP 영상이 모니터로 가는 과정에서 콘텐츠를 보호하는 기술 양단에 암호화해서 캡쳐를 못하게 ㅅ함