非结构化数据管理系统.docx

《 非结构化数据管理系统.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、非结构化数据管理系统1　范围本标准规定了非结构化数据管理系统的功能性要求和质量要求。本标准适用于非结构化数据管理系统产品的研制、开发和测试。2　符合性对于非结构化数据管理系统是否符合本标准的规定如下：a)非结构化数据管理系统若满足本标准基本要求中的所有要求，则称其满足本标准的基本要求；b)非结构化数据管理系统在满足所有基本要求的前提下，若满足某部分扩展要求，则称其满足本标准的基本要求和该部分扩展要求；c)非结构化数据管理系统若满足本标准基本要求和扩展要求中的所有要求，则称其满足本标准的所有要求。3　规范性引用文件下列文件对于本

2、文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB18030—2005　信息技术　中文编码字符集GB/TAAAAA-AAAA　非结构化数据访问接口规范4　术语和定义下列术语和定义适用于本文件。4.1非结构化数据　unstructureddata没有明确结构约束的数据，如文本、图像、音频、视频等。4.2非结构化数据管理系统　unstructureddatamanagementsystem对非结构化数据进行管理、操作的大型基础软件，提供

3、非结构化数据存储、特征抽取、索引、查询等管理功能。1　缩略语下列缩略语适用于本文件。IDF：逆向文件频率(InverseDocumentFrequency)MFCC：梅尔频率倒谱系数（MelFrequencyCepstrumCoefficient）PB：千万亿字节（PetaByte）SIFT：尺度不变特征转换（Scale-invariantFeatureTransform）TF：词频(TermFrequency)2　功能性要求2.1　总体要求非结构化数据管理系统的总体要求如下：a)应包括存储与计算设施、存储管理、特征抽取、索引

4、管理、查询处理、访问接口、管理工具七个基本组成部分；b)宜包括转换加载、分析挖掘、可视展现三个扩展组成部分。2.2　存储与计算设施2.2.1　基本要求存储与计算设施基本要求如下：c)应支持磁盘、磁盘阵列、内存存储、键值存储、关系型存储、分布式文件系统等一种或多种存储设施；d)应支持单机、并行计算集群、分布式计算集群等一种或多种计算设施。2.2.2　扩展要求无。2.3　存储管理2.3.1　基本要求存储管理基本要求如下：e)应提供涵盖原始数据、基本属性、底层特征、语义特征的概念层存储建模功能；f)应提供逻辑层的存储建模功能；g)支

5、持整型、浮点型、布尔型、字符串、日期、日期时间、二进制块等基本数据类型；h)支持向量、矩阵、关联等数据类型；a)应支持根据建好的逻辑层存储模型创建存储实例；b)应支持在创建好的存储实例上插入、修改、删除非结构化数据；c)应支持删除存储实例；d)应支持非结构化数据操作的原子性。1.1.1　扩展要求存储管理扩展要求如下：a)应支持全局事务的定义并保证事务的原子性、一致性、隔离性和持久性；b)应支持数据类型的多值结构和层次结构；c)应支持在不同的存储设施上创建存储实例并实现自动映射；d)应支持PB级数据存储。1.2　特征抽取1.2.

6、1　基本要求1.2.1.1　特征抽取总体要求特征抽取基本要求的总体要求如下：e)应支持从非结构化数据中抽取名称、类型、创建者和创建时间等基本属性；f)应支持文本、图像、音频、视频中至少一种非结构化数据特征的抽取。1.2.1.2　文本特征抽取文本特征抽取基本要求如下：g)应支持从文本中抽取词；h)应支持从文本中抽取停用词；i)应支持从文本中抽取TF-IDF特征；j)应支持从文本中抽取关键词。1.2.1.3　图像特征抽取图像特征抽取基本要求如下：k)应支持从图像中抽取颜色空间、主导颜色、色彩内容、颜色结构、颜色布局等颜色特征；l)

7、应支持从图像中抽取均匀纹理、边缘直方图等纹理特征；m)应支持从图像中抽取区域形状、轮廓形状等形状特征。1.1.1.1　音频特征抽取音频特征抽取基本要求如下：a)应支持从音频中按静音抽取片段；b)应支持从音频中抽取音频波谱特征；c)应支持从音频中抽取MFCC特征。1.1.1.2　视频特征抽取视频特征抽取基本要求如下：d)应支持从视频中按镜头抽取片段；e)应支持从视频中抽取关键帧。1.1.2　扩展要求1.1.2.1　特征抽取总体要求应支持文本、图像、音频、视频中两种及以上非结构化数据特征的抽取。1.1.2.2　文本特征抽取文本特征

8、抽取扩展要求如下：f)应支持从文本中抽取人名、地名、机构名、时间等内容；g)应支持从文本中抽取主题词；h)应支持从文本中抽取摘要；i)应支持从文本中抽取语义特征。1.1.2.3　图像特征抽取图像特征抽取扩展要求如下：j)应支持从图像中抽取SIFT局部区域描述特征；k)应支持从