技术成熟度及其识别方法研究
王立学1,2, 冷伏海1, 王海霞1
1.中国科学院国家科学图书馆 北京 100190
2.中国科学院研究生院 北京 100049
摘要

对技术成熟度的概念和起源进行简介,区分其与技术生命周期等相近的概念;重点研究美国国家航空航天局制定的技术成熟度体系,介绍其特征描述、研究框架并讨论应用价值、评估工具和应用局限性;最后简要探讨浅语义分析和共词分析两种方法在识别技术成熟度方面的可能性。

关键词: 技术成熟度; 科研管理; 技术成熟度评估; 共词分析; 数据库内容结构分析
Research on Technology Readiness Level and Identified Methods
Wang Lixue1,2, Leng Fuhai1, Wang Haixia1
1.National Science Library, Chinese Academy of Sciences, Beijing 100190,China
2.Graduate University of Chinese Academy of Sciences, Beijing 100049,China
Abstract

This paper introduces the concepts and origins of Technology Readiness Levels(TRL) briefly and distinguishes TRL from related concepts, like technology life cycle. Then, much emphasis is put on the widely adopted NASA TRL system, and its characteristics description and research framework, as well as its applied values, assessment tools and limitation of applications are also described. At the end, two methods, including latent semantic indexing and co-word analysis, are carefully examined on the probability of identification of TRLs.

Keyword: Technology readiness level; R&D management; Technology readiness assessment; Co-word; Database tomography analysis

一般情况下,科学技术研发项目可能会面临性能目标、进度和预算三个方面的挑战。清晰而可信地审查技术的研发情况并预测技术风险、科学而合理地制定出各项技术的发展路线都需要评估技术的成熟水平。全面、客观而及时地了解技术的成熟水平,有助于科研项目管理者掌握研发的现状,预估与研发目标的差距和研发风险,更有助于各项技术规划的科学制定。

然而,技术成熟水平的评估长期以来多是采用专家评审的方式,评价含糊而且容易受部门利益或个人偏见的影响,缺乏规范而客观的评价标准,难以有效地支撑决策。为此,美国、英国、法国、日本等国家针对技术成熟水平的评估标准,开展了多项相关的研究工作。其中,影响最大的研究成果是美国国家航空航天局(National Aeronautics and Space Administration,NASA)开发的技术成熟度体系。该体系已经广泛应用在各类技术研发项目管理的立项、评审和决策等环节中,并已经得到越来越广泛的接受。

1 技术成熟度的概念

技术成熟度(Technology Readiness Levels,TRL),又称为“技术完备等级”、“技术准备度”,指单项技术或技术

系统在研发过程所达到的一般性可用程度[ 1]。其起源最早可以追溯到1969年,当时美国NASA明确提出了要开发技术成熟等级评估工具的设想[ 2]。1974年,在NASA工作的Sadin首次提出了7级的“技术成熟度”体系[ 3];1989年,NASA将原有7级体系扩展到9级[ 2];1995年,NASA的Mankins起草并发布了第一份综合性文档:《TRL白皮书》[ 4]。TRL被分为9级,用于评估正处于演进过程中的技术(材料、组件、设备等)的成熟状况,以确定是否能够应用在未来的系统或子系统中。2000年,美国国防部(DOD)接受了美国国家审计总署(GAO)的建议,正式采纳NASA的TRL体系用于评估并改进技术研发的质量[ 5],随后又为其使用开发了详细的指导文档。2005-2006年间,标准版本的TRL体系已在包括英国、法国和日本等国家在内的全球范围内获得认可。总的来说,TRL已经被证明是一种在不同机构间传递有关新技术状态的非常有效的参数[ 2]

需要特别说明的是,技术或技术系统的成熟和发展,几乎都会经历概念提出、原理证明、实验室演示、应用环境证明等阶段,因此,有必要区分TRL与技术生命周期、技术演化和TRIZ技术进化等相近的概念。

(1)技术生命周期

技术生命周期论将技术视为具有自身生命循环和向外转移倾向的可买卖的商品[ 6],主要从技术本身经济寿命的角度来分析技术的发展历程。技术生命周期有多种表现形式,其中一种表现技术可用性随时间变化的形式是鲸鱼图(Whale Chart)[ 7]。技术生命周期、项目研发阶段和对应的TRL等级之间的关系如图1所示,很明显,TRL体系关注的是技术生命周期的最初阶段。

图1 技术生命周期与TRL以及技术项目研究阶段的对应关系[ 7]

(2)技术演化论

演化经济学派以普适的达尔文主义世界观审视技术现象,将其看作某种底层基因(如技术知识)限制的表型,并用进化论、产品生命周期理论和熊彼特的创新理论等来分析技术演化[ 8],其研究与从技术本身出发开展的成熟状态评估有很大区别。

(3)TRIZ进化模式

TRIZ通过对现有技术水平以及现有产品的分析,确定了技术系统进化的8种模式,如第一种模式提到:技术系统都要经历产生、成长、成熟、退出的进化路线。遵循这些模式,可能会先于竞争对手开发出技术专利,但却无法用于科技研发项目的评估和风险控制。

对比来看,TRL体系可以看作是技术生命周期的早期阶段,而与经济学领域的技术演化、专利领域的TRIZ发明创造理论等概念并不相同。

2 技术成熟度等级及其应用

1974年,NASA的Sadin开发的技术成熟度体系只有7个等级,基本对应现行9个等级中的前7个[ 9]。进入21世纪之后,美国国防部(DOD)、美国能源部(DOE)、导弹防御局(MDA)以及欧洲航天局(ESA)、法国宇航中心、日本宇航局等著名机构结合技术项目管理的实际需求,纷纷制定了自己的TRL评估体系。各个机构都主要以NASA 1995年《TRL白皮书》中的等级划分和定义为基础,多数只是经过了少量描述上的修改,有的也进行了相关扩展和引申。

2.1 NASA的TRL体系

按照技术研发所达到的状态,NASA现行的9级技术成熟度划分涵盖了基础研究阶段的技术概念或应用方案形成、实验室研究阶段的原型验证以及各种环境下的系统演示等各个环节。随着TRL的提高,技术项目将经历从“纯研究”到“纯开发”的发展过程。在TRL框架下,技术研发可以从不同的角度来划分成多个阶段。从科研项目管理的角度来看,TRL体系可以分为基础技术研究、可行性证明、技术研发、技术演示、系统测试和运行等阶段;而从技术研发的角度来看,则可以分为基础研究、原理样机、系统演示、定型实验等阶段。NASA定义的TRL体系的框架、特征描述及研究阶段对应关系如表 1所示。ESA定义的TRL体系与NASA的基本一致,此处不做重复介绍。

表1 NASA TRL的框架、特征及对应的研发阶段

具体说来,NASA的TRL评估体系的各级特征描述如下[ 10]:

(1)TRL 1:纯粹的科学研究或是刚开始转向应用研究,可能不提出具体技术问题。一般限于对技术基本性质的理论研究,如新一代武器用来做什么。

(2)TRL 2:基于已发现的基本原理确定或发明出实际应用,可能是没有实验证明的理论或推测性假设,如高温超导材料或可以用于望远镜传感器。

(3)TRL 3:将技术置于应用背景中,从物理机理上验证各独立技术要素的理论预测,或者得到一些尚未集成的或只表现出有限性能的部件。例如,由高能密度物质推进系统的温度/压力关系得出超冷氧可作为推进剂。

(4)TRL 4:集成基本技术部件构成联合工作组件或子系统,验证概念设计的性能,但可信度较低。组件可能是实验室中集成的硬件,也可能是实验室中的软件构成的系统。为项目立项而进行的演示系统,一般要达到这一级别。

(5)TRL 5:试验模型技术可信度明显增大。基本技术组件与已有支持组件合理地集成,还可能会包含一项或多项新技术,在模拟或某种程度上真实的环境下验证。

(6)TRL 6:有代表性的模型或原型系统在高可信度的实验室或模拟性使用环境下完成测试和演示。演示验证的可能是未来的一种实际系统,也可能是采用同样技术的类似应用。通过TRL 6意味着技术研发已经能够有效规避风险。

(7)TRL 7:应用原型已接近或达到预期应用系统的性能。一般情况下,为了确保系统工程和开发管理的可信度,风险较高的关键技术或子系统还会被要求达到TRL 7,但不是所有子系统中的各项技术都要求达到此级别。

(8)TRL 8:证明了技术能在预期环境中以最终形式工作。这标志着“基本型”或第一代产品已经完成,绝大多数情况下,TRL 8意味着实际系统开发的结束。

(9)TRL 9:技术以其最终形式在任务条件下得到实际应用。绝大多数情况下,TRL 9是实际系统研制中最后一次“故障修复”,不排除集成新技术到现有系统的可能性,但不会再有任何的系统扩展或升级。

简单地说,TRL 1-3级对应于基础概念层面的技术开发,其后各级则表达设计应用的成熟性。在基础概念开发的阶段,第1级代表基础研究,第3级是一个关键点。在第3级中,技术的关键功能和特征需要得到理论上或试验上的初步证明。第4、5级之间的差别代表了从实验室到“真实世界”实验验证的转换。从TRL 5以上,原型或模型的试验验证将越来越接近生产的级别(TRL 8)。达到TRL 9,就可以投入生产和部署。

2.2 其他TRL体系

(1)DOD的TRL体系

除了NASA之外,DOD也立足于自己的应用环境制定了国防采办的TRL体系,用作度量和交流采办项目技术成熟性的一种结构化方法。其TRL体系也分为9个等级,独特之处在于该体系还划分了18种技术进展状态,各个状态都对应着某一TRL等级[ 12]。更加细化的技术状态描述,有利于更加明确地将技术的成熟度情况“对号入座”。

(2)DARPA的TRL定义

作为美国著名的新技术研究开发中心,美国国防预研项目署(DARPA)也开发了自己的技术成熟度体系。DARPA的技术成熟度体系分为8级。不过,其“技术”的涵义甚广,不但包括应用性、风险和设计,还包括装配、制造、材料及知识产权等;其评估也没有局限在纯技术层面,而是结合了结构成熟度、材料成熟度、制造成熟度、成本收益成熟度等多个维度的成熟度指标[ 12]

2008年,朱毅麟参考美国国防采办中使用的TRL体系,结合我国空间企业的预先研究与技术开发实际,提出了我国空间技术领域的9级技术成熟度划分建议[ 12]。另外,加拿大国防部也基于NASA TRL开发了自己的技术成熟度体系(TML)。除了上述航天、军事等机构制定和使用TRL之外,还有许多其他领域的机构效仿TRL分级评估的做法。如,美国生物医学预研和发展管理局(BARDA)开发了适用于医疗领域的TRL体系,其用于应对化学威胁的医疗措施的TRL体系分为13个等级[ 13]。因此,TRL的概念超越了其最早的航天技术领域,现已在科学研究、项目管理、医疗措施等社会各领域发挥着作用。

2.3 TRL体系的应用

TRL能够应用在科研项目的立项论证、转阶段评审、检查验收等一系列管理环节中,有助于准确地把握技术的状态,科学地管理技术研发和转型。对于一个科研项目来说,TRL评估的结果至少可以获得三个方面的重要信息[ 14]:

(1)项目的技术组成,这是开展TRL评估的前提;

(2)技术储备,即哪些技术是成熟或基本成熟的;

(3)项目的技术风险,若需要新开发或继续开发的技术比较少,则风险可能会比较小。

如果技术的TRL等级太低,则该项目就很可能要承担进度拖延或成本超支等风险。事实上,美国GAO在其最近几年的审计报告中也一再指出:在DOD对航天项目的采办中,低技术成熟度的组件和子系统是导致项目进度拖延的一个重要原因[ 1]。美国空军已将TRL用作转阶段评审的依据,认为只有当技术达到TRL 7时才能够从技术开发阶段转入工程研制阶段,此时的项目风险比较低[ 3]。因此,使用TRL进行技术项目管理,既能够直观地表示技术的状态,又能够有效地预判项目风险。

除了被直接用于评估之外,TRL体系还可以与其他指标结合来开发评估模型。如美国陆军的Craver等人基于TRL开发的“技术项目管理模型”(TPMM)[ 15]。该模型将与技术研发和转型有关的复杂活动都集成在一起,并为技术研发和管理目标量身定做了系统工程和项目管理任务,能够协助技术管理者规划、管理和评估各种技术项目和技术转型。

2.4 TRL评估工具

在新系统和新技术开发的过程中,有许多节点都需要进行技术成熟度评估,例如:完成系统分析和概念设计研究时,选择设计选项时,开始全面技术研发时等。这些评估可能是研发团队内部的小范围事件,也可能是一个外部的、独立的同行评议过程。除了TRL之外,有效的评估还需要结合一些其他的度量,如:性能目标、技术成熟度和研发难度等[ 2]

在美国军方的武器装备采办中,DOD的项目管理者虽然已被要求使用TRL,但却缺少具体的使用指导。通常情况下,在采办评估中由采办方给出建议的技术项目表,由专家给出TRL分值,然后计算平均值或加权平均值,或者使用层次分析法加权归纳得到最终的分值[ 11]。为了便于专家评定技术项目的TRL级别,美国空军研究实验室的Nolte等人开发了专门的TRL计算器[ 9]

TRL计算器是一个微软Excel文档,其内容是围绕各级TRL设置的标准问题集,能够快速获得技术项目的TRL水平并以图形化的方式展现,最新版本是2.2。该工具从技术本身、制造/可生产性和文档完备情况等三个方面来度量技术成熟度,可以度量纯硬件、纯软件、硬件和软件等三种不同类型的技术。

(1)在该工具中,每一个TRL等级都被细化为涉及不同方面的若干个问题,允许用户回答所完成的百分比;

(2)工具里的宏命令将首先检查上一级TRL的情况,再检查本级已回答问题的数量并利用百分比数值进行计算;

(3)计算器给出一个整体的TRL等级,并以不同的颜色加以区分。

2.5 TRL的局限性

作为技术成熟的一种度量,TRL已经获得了政府机构和企业的广泛接受,但是,TRL用作一种衡量标准还存在着一些应用局限。

(1)难以表达技术提升到更高TRL级别的研发难度和可能性,即未考虑新技术研发中未解决的研发障碍;

(2)当具有多个子系统和组件的情况下,难以得出一个合适的技术成熟度等级;

(3)还有其他一些技术类型不能用TRL来衡量,如:生物医学技术、实践型技术等。

TRL最突出的局限体现在只能度量技术的一个维度,而无法给出与技术有关的完整图景。技术的成熟性应该从多个维度来度量,有人曾经提出过16种不同的技术成熟维度,但TRL度量仅仅是其中的1/16[ 16]

为了弥补TRL体系的局限性,也为了更全面地评估技术研发项目,许多机构和学者开发了一些与TRL相关的度量指标。如:美国斯蒂文斯理工学院系统研发和成熟实验室(SDML)设计了集成成熟度(IRL),用于与TRL一起来确定系统成熟度(SRL)[ 17]。美国空军研究实验室设计了制造成熟度(MRL),最低的MRL对应于TRL 3,用于弥补TRL在体现可生产性方面的不足[ 16]。在我国,中国空间技术研究院编制了院级标准《航天器单机产品成熟度定级规定》[ 12]。由于TRL仅仅给出一个粗线条的技术成熟度等级划分标准,其推广应用还必须要有具体详细的评估方法,这也是相关研究人员目前正在努力解决的问题。

3 技术成熟度的识别方法

随着系统化评估工具的开发和评估程序的规范,TRL等级评估已经能够让科研管理机构较为准确地估计技术成熟的时间和成本。但是,评估工作本身是一项富有挑战性的工作,首要问题就是评估的成本。因为准确评估技术项目的TRL等级,常常需要高水平的领域技术专家参与,而且还要对专家进行评估方法的专门培训。为了降低评估成本、提高评估效率,有些研究者从文献计量的角度探索了自动识别TRL等级的可能性。

3.1 浅语义分析法

2008年,Britt等人基于浅语义索引构建了向量空间模型,通过探索文本文档内词语的潜在结构,对相似的技术描述文档进行聚类和分组[ 18]。进一步比较组内各个文档的TRL等级,就能够找出TRL等级最高的解决方案。该研究采用了美国InRAD公司开发的技术评估和成熟度分析系统(TARAS)。系统有两个主要功能:识别出单个研究项目的TRL等级;通过浅语义分析对文档进行聚类和分组,然后从文档子集中识别出TRL等级最高的文档。

需要说明的是,Britt等人所分析的技术描述报告中都包含专家们事先评定的TRL等级,并且大多数报告的平均字数不超过50个单词。正因为具备了这两个条件,该研究才能够较为容易地在经过浅语义分析聚类的报告集中识别出具有最高TRL等级的报告,而且具有一定的特殊性。

3.2 共词分析法

从制定科技规划的实践来看,在制定科技发展路线图等科技发展战略规划时,如果能够明确每一种技术的成熟度等级,无疑能令规划工作变得轻松而高效。但事实上,这是一件很难的事情。不过,在难以掌握特定技术研发的具体状态时,明确其所处的研发阶段也能满足规划的需要。

根据各个TRL等级的关键特征,可以将其按照技术研发的侧重点归纳为以下4个具有明显特征的阶段:概念研究阶段(TRL 1-TRL 3),以基础性的概念研究和阐述、功能证明、实验室分析等为典型特征;部件或原型验证阶段(TRL 4-TRL 5),以研究性的实验室研发、组件验证、关键性能、原型验证等为典型特征;系统演示阶段(TRL 6-TRL 7),以系统性的组件集成、原型演示和系统/子系统演示为典型特征;产品评估阶段(TRL 8-TRL 9),以成型产品或系统的测试、运行和评估为典型特征。通过对SPIE数据库中“大功率半导体二极管”领域中部分技术文献的分析,可以发现:各阶段的描述都对应着一组较为明确的特征词,如表 2所示:

表2 TRL对应的技术研发阶段

既然技术研发阶段与明确的特征词具有关联关系,那么利用共词分析从技术文献中识别研发阶段就存在着一定的可行性。为此,笔者采用了美国Mitre公司所开发的“数据库内容结构分析”(Database Tomography,DT)方法[ 19]来分析技术文献集,进行了初步尝试。该方法的特点是在限定共现范围的前提下分析物理位置临近的技术短语,关于该方法的情况,可参阅文献[19]和[20]。

4 结 语

自20世纪70年代中期NASA开发并使用技术成熟度以来,尤其是1995年Mankins起草并发布《TRL白皮书》之后,从航天机构到国防机构,从美国到世界各国,从科研机构到企业,甚至从纯技术领域延伸到设计、制造等领域,技术成熟度的概念得到了非常广泛的传播和应用。发展至今,技术成熟度体系已经有了多种不同的定义和描述,也已经出现了TRL计算器之类的评估工具。

对于我国科技研发机构和高科技制造企业来说,积极借鉴和开发适合自身情况的技术成熟度体系已经具备了足够的条件和参考经验。同时,为了满足科研管理对TRL等级评估的要求,一些学者正在积极地探索从文献分析的角度对其加以识别的可行性和效果。相信随着研究的深入,TRL等级的评估和识别都会变得更加高效和准确。不过,也应该看到,TRL体系仅仅是技术成熟度评估中的一个维度,要想全面地掌握技术的成熟状态,还必须辅之以制造成熟度等其他考察维度。总的说来,技术成熟度(TRL)是一个管理和交流技术研发状态及风险的有效工具,值得深入研究和应用。

参考文献
[1] 朱毅麟. 技术成熟度对航天器研制进度的影响[J]. 航天器工程, 2009, 18(2): 8-13. [本文引用:2]
[2] Mankins J C. Technology Readiness Assessments: A Retrospective[J]. Acta Astronautica, 2009, 65(9-10): 1216-1223. [本文引用:4] [JCR: 0.701]
[3] Wikipedia. Technology Readiness Levels[EB/OL]. [2010-01-03]. http://en.wikipedia.org/wiki/Technology_Readiness_Levels. [本文引用:2]
[4] Mankins J C. Technology Readiness Levels: A White Paper[R]. Washington, DC: NASA, 1995. [本文引用:1]
[5] General Accounting Office. Best Practices: Better Management of Technology Development Can Improve Weapon System Outcomes[R]. Washington, DC: GAO, 1999. [本文引用:1]
[6] Harvey M. Application of Technology Life Cycles to Technology Transfers[J]. Journal of Business Strategy, 1984, 5(2): 51-58. [本文引用:1]
[7] Nolte B. Technology Life Cycle[R/OL]. Wright Patterson: Air Force Research Laboratory, 2006. [2010-01-08]. http://handle.dtic.mil/100.2/ADA509619. [本文引用:2]
[8] 杨勇华. 从技术知识观到技术演化观: 一种新的分析范式[J]. 科技进步与对策, 2007, 24(10): 106-109. [本文引用:1]
[9] Nolte L W. Technology Readiness Level Calculator[EB/OL]. [2010-01-08]. http://www.aero.org/conferences/documents/TRLCalcBrief28Apr05_NOLTE.ppt. [本文引用:2]
[10] Definitions of TRLs for Components and Subsystems/Systems[EB/OL]. [2010-01-08]. http://files.harc.edu/Projects/BlueWater/TRLDefinitions.pdf. [本文引用:1]
[11] 钱东, 崔立, 肖昌美. 技术成熟度评估方法及其在水下战装备上的应用[J]. 鱼雷技术, 2006, 14(1): 1-7. [本文引用:1]
[12] 朱毅麟. 开展技术成熟度研究[J]. 航天标准化, 2008(2): 12-14, 17. [本文引用:4]
[13] Technology Readiness Levels (TRL) of Medical Countermeasures for Chemical Threats [EB/OL]. [2010-01-08]. http://www.hhs.gov/aspr/barda/documents/draft_trls_chem_mcm2007-08-06.pdf. [本文引用:1]
[14] 安茂春, 王志健. 国外技术成熟度评价方法及其应用[J]. 评价与管理, 2008, 6(2): 1-3. [本文引用:1]
[15] Craver J, Ellis M. Technology Program Management Model: Executive Overview [EB/OL]. (2007-08-29). [2010-01-08]. https: //acc. dau. mil/CommunityBrowser. aspx?id=168200&lang=en-US. [本文引用:1]
[16] Nolte L W. MRL Background[EB/OL]. (2004-04-29). [2010-01-08]. http://TRL_caculator_address. [本文引用:2]
[17] Sauser B, Ramirez-Marquez J E, Magnaye R, et al. A Systems Approach to Expand ing the Technology Readiness Level Within Defense Acquisition[J]. International Journal of Defense Acquisition Management, 2008(1): 39-58. [本文引用:1]
[18] Britt B, Berry M W, Browne M, et al. Document Classification Techniques for Automated Technology Readiness Level Analysis[J]. Journal of the American Society for Information Science and Technology, 2008, 59(4): 675-680. [本文引用:1] [JCR: 2.005]
[19] 冯璐, 冷伏海. 共词分析方法理论进展[J]. 中国图书馆学报, 2006, 32(2): 88-92. [本文引用:1]
[20] 赵凡, 马胜利. 数据库内容结构分析法的理论与实践进展研究[J]. 情报理论与实践, 2008, 31(2): 279-282. [本文引用:1]