元数据 metadata

admin

元数据 metadata

元数据 编辑
同义词 metadata一般指元数据
本词条由“科普中国”百科科学词条编写与应用工作项目 审核 。
元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。都柏林核心集（Dublin Core Metadata Initiative，DCMI）是元数据的一种应用，是1995年2月由国际图书馆电脑中心（OCLC）和美国国家超级计算应用中心（National Center for Supercomputing Applications，NCSA）所联合赞助的研讨会，在邀请52位来自图书馆员、电脑专家，共同制定规格，创建一套描述网络上电子文件之特征。
元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。[1]
中文名 元数据 外文名 Metadata 解    释 关于数据的数据 拼    音 yuánshùjù 优    点 自描述，设计 目    的 识别、评价、追踪资源达有效管理 本    质 描述数据属性的信息
目录
1 定义
▪ 数据仓库
▪ 软件构造
▪ 图书信息
2 特点
▪ 优点
▪ 自描述
▪ 设计
3 属性
4 意义
5 列举
6 标准
7 管理
▪ 基本管理
▪ 捕获
▪ 服务
定义编辑
元数据被定义为：描述数据的数据，对数据及信息资源的描述性信息。
元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。元数据是描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。 元数据的基本特点主要有：
a）元数据一经建立，便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境；元数据的开发与利用环境往往是一个变化的分布式环境；任何一种格式都不可能完全满足不同团体的不同需要；
b）元数据首先是一种编码体系。元数据是用来描述数字化信息资源，特别是网络信息资源的编码体系，这导致了元数据和传统数据编码体系的根本区别；元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。
元数据体系构建了电子政务的逻辑框架和基本模型,从而决定了电子政务的功能特征、运行模式和系统运行的总体性能。电子政务的运作都基于元数据来实现。其主要作用有：描述功能、整合功能、控制功能和代理功能。
由于元数据也是数据，因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据，将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。
数据仓库

在数据仓库领域中，元数据按用途分成技术元数据和业务元数据。首先，元数据能提供基于用户的信息，如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说，在数据仓库系统中，元数据机制主要支持以下五类系统管理功能:
（1）描述哪些数据在数据仓库中；
（2）定义要进入数据仓库中的数据和从数据仓库中产生的数据；
（3）记录根据业务事件发生而随之进行的数据抽取工作时间安排；
（4）记录并检测系统数据一致性的要求和执行情况；
（5）衡量数据质量。
软件构造

软件构造领域的定义在软件构造领域，元数据被定义为：在程序中不是被加工的对象，而是通过其值的改变来改变程序的行为的数据。它在运行过程中起着以解释方式控制程序行为的作用。在程序的不同位置配置不同值的元数据，就可以得到与原来等价的程序行为。
图书信息

在图书馆与信息界，元数据被定义为：提供关于信息资源

元数据与图书馆书籍
或数据的一种结构化的数据，是对信息资源的结构化的描述。其作用为：描述信息资源或数据本身的特征和属性，规定数字化信息的组织，具有定位、发现、证明、评估、选择等功能。
一般认为，所谓元数据是关于数据的数据，或关于数据的结构化的数据。从已有的结论看，元数据的含义是逐渐发展的。元数据一词，早期主要指网络资源的描述数据，用于网络信息资源的组织；其后，逐步扩大到各种以电子形式存在的信息资源的描述数据。元数据这一术语实际用于各种类型信息资源的描述记录。
此外，元数据在地理界，生命科学界等领域也有其相应的定义和应用。
特点编辑
①元数据是关于数据的结构化的数据，它不一定是数字形式的，可来自不同的资源。[1]
②元数据是与对象相关的数据，此数据使其潜在的用户不必先具备对这些对象的存在和特征的完整认识。[1]
③元数据是对信息包裹(Information Package)的编码的描述。[1]
④元数据包含用于描述信息对象的内容和位置的数据元素集，促进了网络环境中信息对象的发现和检索。[1]
⑤元数据不仅对信息对象进行描述，还能够描述资源的使用环境、管理、加工、保存和使用等方面的情况。[1]
⑥在信息对象或系统的生命周期中自然增加元数据。[1]
⑦元数据常规定义中的“数据”是表示事务性质的符号，是进行各种统计、计算、科学研究、技术设计所依据的数值，或是说数字化、公式化、代码化、图表化的信息。[1]
优点

对于一种更简单的编程模型来说，元数据是关键，该模型不再需要接口定义语言 (IDL) 文件、头文件或任何外部组件引用方法。元数据允许 .NET 语言自动以非特定语言的方式对其自身进行描述，而这是开发人员和用户都无法看见的。另外，通过使用属性，可以对元数据进行扩展。元数据具有以下主要优点：
自描述

公共语言运行库模块和程序集是自描述的。模块的元数据包含与另一个模块进行交互所需的全部信息。元数据自动提供 COM 中 IDL 的功能，允许将一个文件同时用于定义和实现。运行库模块和程序集甚至不需要向操作系统注册。结果，运行库使用的说明始终反映编译文件中的实际代码，从而提高应用程序的可靠性。
设计

元数据提供所有必需的有关已编译代码的信息，以供您从用不同语言编写的 PE 文件中继承类。您可以创建用任何托管语言（任何面向公共语言运行库的语言）编写的任何类的实例，而不用担心显式封送处理或使用自定义的互用代码。
属性编辑
.NET Framework 允许您在编译文件中声明特定种类的元数据（称为属性）。在整个 .NET Framework 中到处都可以发现属性的存在，属性用于更精确地控制运行时您的程序如何工作。另外，您可以通过用户定义的自定义属性向 .NET Framework 文件发出您自己的自定义元数据。有关更多信息，请参见利用属性扩展元数据。
意义编辑
说到元数据的意义，可以从其应用目的来谈的。虽然做数据仓库言必称元数据，必称技术、业务元数据，但其到底用于何处？离开了目标去谈元数据，就发现元数据包含太多的东西，因为他是描述数据的数据嘛。
还是拿客户关系系统来比喻，这个系统维护客户信息当然是有目的的，是要用这些信息进行一些自动的流程处理、去挖掘一些客户潜在的价值、做好客户服务。当然没有必要去维护客户的生命特征信息，诸如指纹、犯罪史等，这些信息跟客户关系管理的目标关系不大。元数据也是如此，你可以将所有数据的结构、大小、什么时间创建、什么时间消亡、被那些人使用等等，这些信息可以延伸得太广，如果不管目标，而试图去建一个非常完美的元数据管理体系，这是一种绝对的"自上而下"做法，必败无疑。
列举编辑
基于应用，可以将元数据分成以下的若干种。
数据结构：数据集的名称、关系、字段、约束等；
数据部署：数据集的物理位置；
数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；
质量度量：数据集上可以计算的度量；
度量逻辑关系：数据集度量之间的逻辑运算关系；
ETL过程：过程运行的顺序，并行、串行；
数据集快照：一个时间点上，数据在所有数据集上的分布情况；
星型模式元数据：事实表、维度、属性、层次等；
报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对应；
数据访问日志：哪些数据何时被何人访问；
质量稽核日志：何时、何度量被稽核，其结果；
数据装载日志：哪些数据何时被何人装载；
标准编辑
1、数字图书馆资源组织框架
2. 元数据开发应用框架
元数据的基本意义 Metadata（元数据）是“关于数据的数据”；
元数据为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具；
元数据为分布的、由多种数字化资源有机构成的信息体系（如数字图书馆）提供整合的工具与纽带。
离开元数据的数字图书馆将是一盘散沙，将无法提供有效的检索和处理。
3. 元数据应用环境
3.1 Metadata的应用目的
（1）确认和检索（Discovery andentification），主要致力于如何帮助人们检索和确认所需要的资源，数据元素往往限于作者、标题、主题、位置等简单信息，Dublin Core是其典型代表。
（2）著录描述（Cataloging），用于对数据单元进行详细、全面的著录描述，数据元素囊括内容、载体、位置与获取方式、制作与利用方法、甚至相关数据单元方面等，数据元素数量往往较多，MARC、GILS和FGDC/CSDGM是这类Metadata的典型代表。
（3）资源管理（Resource Administration），支持资源的存储和使用管理，数据元素除比较全面的著录描述信息外，还往往包括权利管理（Rights/Privacy Management）、电子签名（Digital Signature）、资源评鉴（Seal of Approval/Rating）、使用管理（Access Management）、支付审计（Payment and Accounting）等方面的信息。
（4）资源保护与长期保存（Preservation and Archiving），支持对资源进行长期保存，数据元素除对资源进行描述和确认外，往往包括详细的格式信息、制作信息、保护条件、转换方式（Migration Methods）、保存责任等内容。
3.2 Metadata在不同领域的应用 根据不同领域的数据特点和应用需要，90年代以来，许多Metadata格式在各个不同领域出现
例如：
网络资源：Dublin Core、IAFA Template、CDF、Web Collections
文献资料：MARC（with 856 Field），Dublic Core
人文科学：TEI Header
社会科学数据集：ICPSR SGML Codebook
博物馆与艺术作品：CIMI、CDWA、RLG REACH Element Set、VRA Core
政府信息：GILS
地理空间信息：FGDC/CSDGM
数字图像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images
档案库与资源集合：EAD
技术报告：RFC 1807
连续图像：MPEG-7
3.3 Metadata格式的应用程度
不同领域的Metadata处于不同的标准化阶段：
在网络资源描述方面，Dublin Core经过多年国际性努力，已经成为一个广为接受和应用的事实标准；
在政府信息方面，由于美国政府大力推动和有关法律、标准的实行，GILS已经成为政府信息描述标准，并在世界若干国家得到相当程度的应用，与此类似的还有地理空间信息处理的FGDC/CSDGM；
但在某些领域，由于技术的迅速发展变化，仍然存在多个方案竞争，典型的是数字图像的Metadata，提出的许多标准都处于实验和完善的阶段。
3.4 Metadata格式“标准化”程度问题
Metadata开发应用经验表明，很难有一个统一的Metadata格式来满足所有领域的数据描述需要；即使在同一个领域，也可能为了不同目的而需要不同的但可相互转换的Metadata格式。
同时，统一的集中计划式的Metadata格式标准也不适合Internet环境，不利于充分利用市场机制和各方面力量。
但在同一领域，应争取“标准化”，在不同领域，应妥善解决不同格式的互操作问题。
4. 元数据结构
4.1 总体结构定义方式 一个Metadata格式由多层次的结构予以定义：
（1）内容结构（Content Structure），对该Metadata的构成元素及其定义标准进行描述。
（2）句法结构（Syntax Structure），定义Metadata结构以及如何描述这种结构。
（3）语义结构（Semantic Structure），定义Metadata元素的具体描述方法。
4.2 内容结构
内容结构定义Metadata的构成元素，可包括： 描述性元素、技术性元素、管理性元素、结构性元素（例如与编码语言、Namespace、数据单元等的链接）。
这些数据元素很可能依据一定标准来选取，因此元数据内容结构中需要对此进行说明，例如MARC记录所依据的ISBD，EAD所参照的ISAD（G），ICPSR所依据的ICPSR Data Preparation Manual。
4.3 句法结构
句法结构定义格式结构及其描述方式，例如元素的分区分段组织、元素选取使用规则、元素描述方法（例如Dublin Core采用ISO/IEC 11179标准）、元素结构描述方法（例如MARC记录结构、SGML结构、XML结构）、结构语句描述语言（例如EBNF Notation）等。
有时，句法结构需要指出元数据是否与所描述的数据对象捆绑在一起、或作为单独数据存在但以一定形式与数据对象链接，还可能描述与定义标准、DTD结构和Namespace等的链接方式。
4.4 语义结构 语义结构定义元素的具体描述方法，例如 描述元素时所采用的标准、最佳实践（Best Practices）或自定义的描述要求（Instructions）。
有些元数据格式本身定义了语义结构，而另外一些则由具体采用单位规定语义结构，例如Dublin Core建议日期元素采用ISO 8601、资源类型采用Dublin Core Types、数据格式可采用MIME、识别号采用URL或DOI或ISBN；
又如OhioLink在使用VRA Core时要求主题元素使用A&AT、TGM和TGN，人名元素用ULAN。
5. 元数据编码语言与制作方式
5.1 元数据编码语言
元数据编码语言（Metadata Encoding Languages）指对元数据元素和结构进行定义和描述的具体语法和语义规则，常称为定义描述语言（DDL）。
在元数据发展初期人们常使用自定义的记录语言（例如MARC）或数据库记录结构（如ROADS等），但随着元数据格式的增多和互操作的要求，人们开始采用一些标准化的DDL来描述元数据，例如SGML和XML，其中以XML最有潜力。
5.2 元数据制作方式
（1）专门编制模块（例如对MARC、GILS、FGDC等）
（2）数据处理时自动编制（例如对Dublin Core等）
（3）数据物理处理时自动编制（例如数字图像扫描时的某些元数据参数）
（4）共享元数据（例如OCLC/CORC、IMESH
6. 元数据互操作性
6.1 元数据互操作性问题
由于不同的领域（甚至同一领域）往往存在多个元数据格式，当在用不同元数据格式描述的资源体系之间进行检索、资源描述和资源利用时，就存在元数据的互操作性问题（Interoperability）：
多个不同元数据格式的释读、转换和由多个元数据格式描述的数字化信息资源体系之间的透明检索。
6.2 元数据格式映射
利用特定转换程序对不同元数据元格式进行转换，称为元数据映射（Metadata Mapping/Crosswalking）。
已有大量的转换程序存在，供若干流行元数据格式之间的转化，例如
Dublin Core与USMARC； Dublin Core与EAD
Dublin Core与GILS；　GILS与MARC TEI
Header与MARC FGDC与MARC
也可利用一种中介格式对同一格式框架下的多种元数据格式进行转换，例如UNIverse项目利用GRS格式进行各种MARC格式和其它记录格式的转换。格式映射转换准确、转换效率较高。不过，这种方法在面对多种元数据格式并存的开放式环境中的应用效率明显受到限制。
6.3 标准描述框架
解决元数据互操作性的另一种思路是建立一个标准的资源描述框架，用这个框架来描述所有元数据格式，那么只要一个系统能够解析这个标准描述框架，就能解读相应的Metadata格式． 实际上，XML和RDF从不同角度起着类似的作用。
XML通过其标准的DTD定义方式，允许所有能够解读XML语句的系统辨识用XML_DTD定义的Metadata格式，从而解决对不同格式的释读问题。
RDF定义了由Resources、Properties和Statements等三种对象组成的基本模型，其中Resources和Properties关系类似于E-R模型，而Statements则对该关系进行具体描述。
RDF通过这个抽象的数据模型为定义和使用元数据建立一个框架，元数据元素可看成其描述的资源的属性。
进一步地，RDF定义了标准Schema，规定了声明资源类型、声明相关属性及其语义的机制，以及定义属性与其它资源间关系的方法。另外，RDF还规定了利用XML Namespace方法调用已有定义规范的机制。
6.4数字对象方式
建立包含元数据及其转换机制的数字对象可能从另一个角度解决元数据互操作性问题。
Cornell/FEDORA项目提出由内核（Structural Kernel）和功能传播层（Disseminator Layer）组成的复合数字对象。
内核里，可以容纳以比特流形式存在的文献内容、描述该文献的元数据、以及对这个文献及元数据进行存取控制的有关数据。
功能传播层，主功能传播器（PrimitiveDisseminator）支持有关解构内核数据类型和对内核数据读取的服务功能，还可有内容类型传播器（Content-Type Disseminators），它们可内嵌元数据格式转换机制。
例如，在一个数字对象的内核中存有MARC格式的元数据，在功能传播层装载有请求Dublin Core格式及其转换服务的内容类型传播器。当数字对象使用者要求读取以Dublin Core表示的元数据时，相应的内容类型传播器将通过网络请求存储有Dublin Core及其转换服务程序的数字对象，然后将被请求数字对象中的MARC形式元数据转换为Dublin Core形式，在输出给用户。
7. 几点建议
跟踪元数据发展、积极参与制定元数据标准、加快元数据应用、注意国际接轨。
加快研究有效利用元数据进行检索（包括异构系统透明检索）、相关性学习、个性化处理等的机制。
加快研究元数据与数字对象和数字化资源体系有机整合的途径与方法。
推进研究利用元数据进行基于知识的数据组织和知识发现。
管理编辑
初期的元数据管理通常是在事后由相应的元数据管理软件，从已开发完成的应用系统中抽取用户所关注的各类元数据，再由人工补录一些注释和管理用的属性。这种模式称之为基本元数据管理，由于存在元数据获取的不及时，存在为了减少工作量有些属性空缺的风险，存在对应用体验支持力度的不足，实际应用并不普遍。在新一代应用系统（AS2.0）[2]  中，业务功能通常都是由相应的构件，以人机交互的形式，通过在人工业务语境的对话过程中组装实现的。这个过程中，不仅完成了业务应用所需要的应用软件元素，同时也完成了应用软件元素相对应的元数据的采集。这种模式称之为主动元数据管理。以下是元数据管理的主要功能，后2部分属于主动元数据管理的内容。
基本管理

元模型管理。利用可视化的用户体验，实现包括元模型添加、删除、修改、发布等维护功能；并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯，以及每个元模型的生命周期管理等等。
元数据管理。元数据管理实现针对元数据的基本管理功能。如元数据的添加、删除、修改属性等维护功能；元数据之间关系的建立、删除和跟踪等关系维护功能；提供元数据发布流程管理，可以更好地管理和跟踪元数据的整个生命周期；元数据自身质量核查、元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期管理等功能。
元数据分析。元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析（血统分析）、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。
捕获

为各类应用软件元素提供元数据支撑，在相应的工具软件以最佳用户体验的人机交互模式，按照严格的逻辑步骤，统一、顺序地定义数据项、定义表单、定义ETL和加工规则、定义物理表、定义多维模型、定义展现和结果数据集等等应用软件元素的同时，元数据捕获功能的元数据采集接口，及时地将相应的元数据收集进入元数据管理平台。替代了基本元数据管理需要在事后抽取元数据的作法，而在应用软件元素生成的同时，就加载并形成了与其相关的各种元数据。
服务

各类应用软件元素产生的元数据进入元数据平台后，元数据管理可通过元数据服务功能，为需要这些元数据的工具软件或构件提供元数据服务。如将前面所述的各种工具软件的定义结果，以相应的标准协议进行打包形成方案（应用脚本），提供给其它应用环境中的物理表建立工具、ETL工具、多维模型建立工具、结果展现工具等底层工具，从而实现应用的重用和共享。同时，元数据服务还可为业务应用功能提供辅助的元数据帮助信息，如业务功能中加工结果和指标的说明、提示，及其血缘分析等，让用户可明确、直观地了解数据的来源、加工过程及加工算法等信息。

SYLB

学习
谢谢了