经过编码的音频或者视频原始码流经常被叫做“Essence”（有译作“本体”，“精”），以区别于之后加入码流的元信息和其它用以帮助访问码流和增强码流鲁棒性的数据。
大多数编解码器是有损的，目的是为了得到更大的压缩比和更小的文件大小。当然也有无损的编解码器，但是通常没有必要为了一些几乎注意不到的的质量损失而大大增加编码后文件的大小。除非该编码的结果还将在以后进行下一步的处理，此时连续的有损编码通常会带来较大的质量损失。
很多多媒体数据流需要同时包含音频数据和视频数据，这时通常会加入一些用于音频和视频数据同步的元数据。这三种数据流可能会被不同的程序，进程或者硬件处理，但是当它们传输或者存储的时候，这三种数据通常是被封装在一起的。通常这种封装是通过视频文件格式来实现的，例如常见的*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 这些格式中有些只能使用某些编解码器，而更多可以以容器的方式使用各种编解码器。
编解码器对应的英文“codec”（coder和decoder简化而成的合成词语）和decode通常指软件，当特指硬件的时候，通常使用“endec”这个单词。
硬件编解码器有标清编解码器和高清编解码器。所谓标清，英文为“Standard Definition”，是物理分辨率在720p以下的一种视频格式。720p是指视频的垂直分辨率为720线逐行扫描。具体的说，是指分辨率在400线左右的VCD、DVD、电视节目等“标清”视频格式，即标准清晰度。而物理分辨率达到720p以上则称作为高清,（英文表述High Definition）简称HD。关于高清的标准，国际上公认的有两条：视频垂直分辨率超过720p或1080i；视频宽纵比为16：9。
H．261定义的编解码器由信源编码器、视频复合编码器、传输缓冲器、传输编码器以及编码控制部分组成。整个编码过程的核心仍在信源编码部分。编解码器框图如图1所示。[1]
发端的图像信号是由摄像机提供的复合电视信号(模拟信号)，经过数字视频转换，分离出的亮度(灰度)信号和两个色度信号。这三路信号经A/D变换，将模拟信号转换为数字信号，每个像素点为8bit。数字化后信号经预处理，滤除信号中的噪声，进入CIF格式变换电路，成为CIF标准格式，然后进入信源编码器进行图像压缩编码。预处理的目的是消除信号中的背景噪声，从而利于提高图像的清晰度。当然，预处理还可解决亮度与色度信号串扰，减小叠折干扰的作用。[1]