多媒体理论

⼀一、多媒体技术

1、概念

多媒体是融合两种或两种以上媒体的⼈人-机互动的信息交流和传播的媒体。

多媒体技术⽤用于实时地综合处理声⾳音、⽂文字、图形、图像和视频等信息，是将这多种媒体信息⽤用计算机集成在⼀一起同时进⾏行综合处理，并把他们融合在⼀一起的技术。

2、特点

多样性 交互性 集成性 实时性 ⾮非线性

3、涉及技术

①多媒体数据的压缩编码与解压缩技术 ②多媒体数据存储技术 ③多媒体数据库技术

④多媒体⺴⽹网络和通信技术 ⑤多媒体信息检索技术 ⑥虚拟现实技术

4、应⽤用领域

①教育培训领域（CAI ） ②电⼦子出版领域 ③娱乐领域 ④咨询服务领域 ⑤多媒体⺴⽹网络通信领域

5、发展前景

①多媒体与宽带⺴⽹网络通信结合的⺴⽹网络化 ②多媒体智能化

⼆二、多媒体计算机

1、概念

多媒体计算机，简称MPC 。多媒体计算机系统是指⽀支持多种媒体数据，并使数据之间建⽴立逻辑连接，即成为⼀一个具有交互性能的计算机系统，⼀一般是指具有多媒体处理功能的个⼈人计算机。

2、硬件组成

基本处理部件：计算机主板、CPU 、内存等，最重要的是多媒体信息处理芯⽚片和板卡。

CPU芯⽚片集成了MMX 技术（采⽤用SIMD 型指令，可进⾏行积和运算，能提供饱和运算

多媒体输⼊入/输出设备：键盘、⿏鼠标、磁盘/光盘存储系统、显⽰示屏、扬声器、打印机、扫描仪

⼿手写板、触摸屏

多媒体附加设备：能与计算机连接并具有专⽤用处理能⼒力的适配器。

3、性能

①图像处理能⼒力（图像获取、编辑和变换，数字化） ②声⾳音处理能⼒力（采样，单声道/⽴立体声道)

③MIDI 乐器数字接⼝口（硬件接⼝口标准和通信协议） ④动画处理能⼒力（造型/帧动画）

⑤存储能⼒力（考虑存储介质的容量、速度和价格，常⽤用的是硬盘和光盘）

4、软件组成

①系统软件 ②多媒体素材创作软件 ③多媒体应⽤用系统开发软件 ④多媒体应⽤用软件

5、多媒体I/O设备①⼿手写板（电阻式压⼒力板、电磁式感应板、电容式触控版）

②触摸设备（⼈人机交互的定位装置，电阻触摸屏、电容技术触摸屏、红外触摸屏、表⾯面声波触摸屏）③扫描仪：利⽤用光电技术和数字处理技术，以扫描⽅方式将图形或图像信息转换为数字信号。

④数码相机：通过译码器将电信号转化为数字信号，像素分辨率、焦距和变焦倍率、最近对焦距离⑤多媒体显⽰示屏：LED 显⽰示屏、OLED 显⽰示屏、等离⼦子显⽰示器、3D 显⽰示器

三、多媒体的关键技术

1、多媒体的压缩技术①分类：⽆无损压缩（冗余压缩，⽂文本数据）；有损压缩（图像、声⾳音、动态视频）

②可能性：空间、结构、时间、视觉、知识冗余

③性能指标：压缩⽐比、压缩质量、压缩速度、计算量

2、多媒体存储技术光存储技术是采⽤用激光照射介质，激光与介质相互作⽤用导致介质的性质发⽣生变化⽽而将信息存储下来。类型：①CD-ROM 光存储系统（储存数字⾳音乐，商业录⾳音的标准储存媒体）

②CD-R 光存储系统（⼀一次性写⼊入、多次读出的标准）

③CD-RW

④DVD 光存储系统（采⽤用相变技术，容量⼤大，读取速度快）

3、多媒体传输技术①流媒体传输技术：在互联⺴⽹网上实时顺序地传输和播放⾳音视频等多媒体内容的连续时基数据流

②P2P 技术：点对点技术，⼜又称对等互联⺴⽹网络技术，是⼀一种⺴⽹网络新技术

③IPTV 技术：交互式⺴⽹网络电视

四、数字图像的处理技术

1、⾊色彩的三要素①明度：指颜⾊色的亮度，是表现⾊色彩层次感的基础。⽩白⾊色最⾼高，⿊黑⾊色最低。

②⾊色相：⼜又称⾊色调，是指颜⾊色的外观，⽤用于区别颜⾊色的名称或种类，是⾊色彩的⾸首要特征。

③纯度（饱和度）：是指彩⾊色光所呈现颜⾊色的深浅或纯洁程度。

2、图像颜⾊色模型

①概念：⾊色彩模式是数字世界中表⽰示颜⾊色的⼀一种算法。常⽤用的是RGB 和CMYK 两种

⾊色彩模型是描述适⽤用⼀一组值表⽰示颜⾊色⽅方法的抽象数学模型。

②类型：RGB 模式（红绿蓝，加⾊色模式，主要⽤用于电视和计算机显⽰示器和投影设备等）

CYMK模式（⻘青、品红、⻩黄、⿊黑，减⾊色模式，是⼀一种印刷模式）

灰度模式（图像只有明暗值，没有⾊色相和饱和度这两种信息，0为⿊黑⾊色100%为⽩白⾊色）

位图模式（栅格图，两种颜⾊色值来表⽰示图像中的像素，使⽤用像素阵列来表⽰示图像）

3、位图和⽮矢量图

①位图：按照图像点阵形式存储个像素的颜⾊色编码或灰度级。

②⽮矢量图：是计算机图形学忠描述的点、直线或者多边形等基于与数学⽅方程的⼏几何图像。

③区别：⽮矢量图的基本元素是图元；位图的基本元素是像素。

⽮矢量图数据量少，占⽤用空间⼩小；位图数据量⼤大，占⽤用空间较⼤大。

⽮矢量图侧重于绘制和创建；位图侧重于获取和复制。

⽮矢量图显⽰示速度较慢；位图显⽰示速度快。

⽮矢量图可以进⾏行变换⽽而不是真；位图在缩放时图像效果会失真。

⽮矢量图可以图元为单位单独进⾏行属性修改编辑等；位图不可以。

4、图像基本属性和种类

①分辨率：单位尺⼨寸的像素数⺫⽬目，越⾼高越多越清晰（图像/显⽰示器/输出（设备）/位分辨率）

②颜⾊色深度：计算机图形学领域表⽰示在位图或视频帧缓冲区存储1像素的颜⾊色所⽤用位数。越⾼高可⽤用颜⾊色越多，简单来说就是最多⽀支持多少种颜⾊色。⼜又叫⾊色彩位数。

③真彩⾊色：每个像素之中都有RGB 三个基⾊色分量，每个基⾊色分量直接决定显⽰示设备的基⾊色强度。

伪彩⾊色：利⽤用特殊的数为影像处理技术将灰阶影像的图⽚片转换成为全彩的彩⾊色影像。

直接⾊色：像素值分为红绿蓝⼦子域，每⼀一个⼦子域索引⼀一份独⽴立的⾊色彩映射，其内容可改变。

5、图像格式

PSD （PS 专⽤用格式），TIFF （标签图像⽂文件格式，⽆无损压缩），JPEG （静⽌止图像压缩格式，有损格式），GIF （图像互换格式），BMP （位图），EPS,PDF （便携式⽂文件格式），PNG

五、多媒体⾳音频技术

1、数字⾳音频基础

①⾳音频：指频率在20Hz~29KHz范围内的声波。其所覆盖的声⾳音频率是⼈人⽿耳所能听到的声⾳音。

声⾳音的质量与它占⽤用的频带宽度有关，质量等级越⾼高，声⾳音覆盖的频率范围越宽。

②模拟⾳音频：随时间连续变动的声⾳音波形的模拟记录形式，通常采⽤用电磁信号进⾏行模拟记录。

是连续的波动信号，不便进⾏行编辑修改，磁带或唱⽚片记录，进⼊入计算机需数字化

③数字⾳音频：利⽤用数字化⼿手段对声⾳音进⾏行录制、存放、编辑、压缩或播放的技术。

离散的数字信号、编辑处理容易，光盘存储，转换成模拟⾳音频才能输出④声⾳音的数字化：模拟信号→采样→量化→压缩编码（⼆二进制序列）→数字信号

采样：按固定的时间间隔对模拟波形的振幅值进⾏行取样，采样率定义了采样个数。

量化：声波波形幅度的数字化称为量化，是指模拟信号到数字信号的转换。量化位数是每个采样点能够表⽰示的数据范围。采样频率越⾼高，量化位数越多，越能真实细化。

编码：将离散幅值经过两化以后变为⼆二进制数字的过程。通常使⽤用压缩编码技术

2、声卡

①声卡是多媒体计算机中⽤用来处理声⾳音的接⼝口卡，是实现模拟/数字相互转换的硬件。

②⾳音乐合成：MIDI 是指乐器数字接⼝口，是数字⾳音乐的国际标准

3、语⾳音合成与语⾳音识别技术

4、数字⾳音频的⽂文件格式

①WAV ：存放的是对模拟声⾳音模型经数字采样、量化和编码后得到的⾳音频数据。

②VOC ：同属波形⾳音频数字⽂文件，主要适⽤用于DOS 操作系统。

③MP3：对已经数字化的波形声⾳音⽂文件采⽤用MP3压缩编码后得到的⽂文件。

④MIDI ：记录的是MIDI 消息，是⼀一系列指令

六、多媒体视频技术

1、视频基础①模拟视频：⼀一种⽤用于传输图像和声⾳音且随时间连续变化的电信号。⼀一般采⽤用分量数字化模式

②数字视频：以数字形式记录的视频，它是和模拟视频相对的。

2、视频处理①视频卡：将输出的视频数据经过采样量化并转换成计算机可辨别的数字数据，存储在计算机中。②显⽰示卡：把主机向显⽰示屏发出的显⽰示信号转化为⼀一般的电器信号（数据信号）

③显⽰示器：将⼀一定的电⼦子⽂文件通过特定的传输设备显⽰示到屏幕上再反射到⼈人眼中的显⽰示⼯工具

CRT/LCD

3、视频的⽂文件格式

①AVI ：⾳音视频交错，可以将视频和⾳音频交织在⼀一起进⾏行同步播放。

②WMV ：采⽤用独⽴立编码⽅方式，可以直接在⺴⽹网上实时观看视频节⺫⽬目的⽂文件压缩格式。

③MPEG ：VCD SVCD DVD采⽤用的格式，有损压缩

④DivX ⑤DV-AVI ⑥RM ⑦RMVB ⑧MOV