引用本文
邱瑾, 吴丹. 用户协同信息检索行为与系统评价研究*——以任务类型和协同能力为视角 . 现代图书情报技术, 2012, 28(9): 62-68
Qiu Jin, Wu Dan. A Study on Users’ Collaborative Information Seeking Behavior and System Evaluation ——A Perspective of Tasks and Collaborative Abilities. 现代图书情报技术, 2012, 28(9): 62-68  
Permissions
Copyright©2012, 《现代图书情报技术》编辑部
《现代图书情报技术》编辑部版权所有
用户协同信息检索行为与系统评价研究*——以任务类型和协同能力为视角
邱瑾, 吴丹
武汉大学信息管理学院 武汉 430072
基金:本文系中组部青年拔尖人才支持计划项目“多语言信息环境下学术交流中的用户行为研究”的研究成果之一;
摘要

采用系统日志法、问卷调查法、半结构化访谈法等数据收集方法,以及统计分析法和内容分析法等数据分析方法在Coagmento系统上进行用户协同信息检索实验及结果分析。实验结果显示,协同能力和任务类型均对用户的协同信息检索行为产生影响:协同能力不同的用户在“推荐”行为上差异显著;任务类型不同对用户的“浏览网页”、“检索”和“使用图片”行为影响较大。且协同能力较强的用户在实验中获得更好的检索效果,因此,协同检索系统更适合由协同能力较强的用户通过合作来完成复杂任务。

关键词: 协同信息检索; 用户行为; 系统评价; 协同能力; 任务
中图分类号:G354
A Study on Users’ Collaborative Information Seeking Behavior and System Evaluation ——A Perspective of Tasks and Collaborative Abilities
Qiu Jin, Wu Dan
School of Information Management, Wuhan University, Wuhan 430072, China
Fund:
Abstract

Several data collection methods such as log analysis, semi-structured interview, questionnaires and data analysis methods such as mathematical statistics, content analysis are adopted in an experiment and its result analysis of users’ collaborative information search on the Coagmento system. The results show that tasks and collaborative abilities do have impacts on users’ collaborative information seeking behaviors. Collaborative abilities have influence on the behavior of “Recommend”, while tasks have influence on the behaviors of “Webpage”, “Search”, and “Image”. The participants with higher collaborative abilities get better retrieval effectiveness than those with lower collaborative abilities in the experiment. Therefore, collaborative information retrieval system is more suitable for users with strong collaborative abilities to collaborate on complex tasks.

Keyword: Collaborative information search; User behavior; System evaluation Collaborative ability; Task
1 协同信息检索行为研究概述

随着计算机技术的发展,关于信息检索的研究逐渐由以系统为中心转向以用户为中心,研究者逐渐把用户和任务类型、检索效果、系统评价等方面纳入到协同信息检索行为的研究范畴之中。

研究者研究了任务这一因素对协同信息检索行为的影响。Kim等[ 1]发现任务类型会影响小组用户的检索行

为。Bilal[ 2]指出检索策略多样化取决于任务的特殊性。Amershi等[ 3]总结了不同类型用户对于不同任务的检索意向和趋势。Hildegard[ 4]研究了工作任务和团队环境等因素对协同信息检索行为的影响。

协同检索系统的设计和开发在很大程度上推动了协同信息检索行为的研究。Romano等[ 5]对单用户和群体用户信息检索系统做了对比研究。Hertzum[ 6]研究了协同检索系统设计过程中用户角色的作用。Spring等[ 7]设计CASCADE系统中的认识工具并提出了三种能提高协同检索系统认知功能的技术。

目前,国外学者最常使用的数据采集方法有问卷调查法、访谈法、模拟实验法、观察法、日志收集法、出声思考法、小组讨论法,数据分析方法有统计分析法、归纳性内容分析、日志分析法、话语记录分析法。尽管现有研究指出不同用户类型会对协同信息检索行为产生影响,但大多是对于学生群体与其他社会群体的研究,还没有出现有关协同能力不同的用户对协同信息检索行为的影响研究。目前大多研究只是揭示任务的难易程度和不同类型会对协同检索行为产生影响,而有关具体的任务类型对检索行为产生了怎样的影响并没有进行深入阐述。同时,尽管现有文献对协同检索系统的评价的研究较多,但关于协同能力不同对协同检索系统的差异性评价的研究几乎没有。因此,本文的具体研究问题是:

(1)协同能力不同是否会对用户的协同信息检索行为产生影响,以及产生怎样的影响?

(2)任务类型不同是否会对用户的协同信息检索行为产生影响,以及产生怎样的影响?

(3)协同能力不同的用户是否会对协同信息检索系统有不同的评价,是否协同信息检索系统更适合由协同能力较强的用户来完成复杂的检索任务?

2 实验设计
2.1 实验平台

Veryard[ 8]认为协同能力主要用来衡量一个小组的工作成效,它可以大于或小于由小组单个成员的知识和能力集合所产生的成效。Blomqvist等[ 9]认为协同能力又称团队协作能力,它的主要构成要素包括信任(Trust)、交流(Communication)和义务(Commitment)。本文将协同能力定义为建立在团队的基础之上,团队成员之间互补互助以达到团队最大工作效率的能力。

笔者对56名武汉大学信息管理学院图书馆学专业的大二学生进行了协同能力测试,测试题目主要来自中国国家公务员网(http://www.gjgwy.net/ms/4102.html)。作为国家公务员考试性格测试的原始试题,测试内容包含了对交流、信任和义务三个要素的衡量,有较高的权威性和准确性。最终选取了得分最高、最低的各6名同学进行实验,并将他们按3人一组分成协同能力高低不同的4个协作小组,A、B组为协同能力较强的小组,C、D组为协同能力较弱的小组。此外,用户背景调查显示,A、B组的所有成员都参与完成过团队任务,而C组的C3成员和D组的D3成员都没有参与完成过团队任务;A、B组成员使用各种协同工具如通讯工具(如QQ、MSN、UC等)、协同内容创作网站(如Google Docs、DropBox等)、屏幕分享工具(如JoinMe、ScreenLeap、QQ等)的频率要明显高于C、D组,这也在一定程度上印证了本研究所做的协同能力测试的可信度和准确性。

每个小组被要求在Coagmento系统上完成3个检索任务并在45分钟内进行每个任务的检索和编辑。在实验过程中,实验者不允许进行语言的交谈,只能在聊天窗口中进行文字交流。在完成检索任务后,实验者需填写调查问卷,并接受一个10分钟的访谈。

协同检索实验在Coagmento系统(http://www.coagmento.org/)上进行,Coagmento系统提供了良好的认知和交流机制。

图1 Coagmento系统顶端工具栏

如图1所示,系统界面的顶端工具栏上有标签(Bookmark)、推荐(Recommend)、注释(Annotate)、剪切片段(Snip)、编辑(Editor)按钮,可以帮助标注、推荐、收集、共同编辑信息等。由于Coagmento系统支持中文,因此整个实验过程中涉及交流、检索、编辑的全部信息都是中文形式。

如图2所示,Coagmento系统界面的右侧栏有4个选项卡:聊天窗口(Chat)提供交流功能;检索历史窗口(History)提供各小组成员的检索历史;记事本窗口(Notepad)可以记录或分享用户的笔记;提醒窗口(Notifications)可以提供队友的每一步检索行动。

图2 Coagmento系统右侧工具栏

Coagmento系统还包含有系统日志的功能,可以通过打开“Data & Information”项查看小组每个成员的检索历史的数据信息,提供用户名、时间和检索关键词,并且有简单的过滤和统计功能,能根据用户的筛选条件分别提取小组个人和整体成员的各项检索行为的数量。

2.2 检索任务

Ingwersen[ 10]指出,有效的信息检索必须基于对任务和问题的理解。Broder[ 11]通过对检索者输入的检索查询式的日志分析,确定了协同信息检索领域中三种常见的检索任务:信息类任务(Informational Task),以检索和查询一系列信息为主要目的;事务类任务(Transactional Task),以执行具体的实践性任务为主要目的;导航类任务(Navigational Task),以检索和查询到特定的资源为主要目的。

实验用户可以访问任何网络资源,检索和查找与任务要求相关的信息,最终以小组为单位根据任务的具体问题编辑最终文档。具体的任务及问题如下:

(1)任务1(信息类任务):国内微博的发展和使用情况。具体问题包括:

①国内各个微博网站的受欢迎度,如它们有多少用户?这些用户在微博上所花的时间?创作、分享的内容量?

②微博对学生、职业人员和商业带来的影响,如微博网站在营销中有什么作用?如何盈利?用户如何通过微博网站赚钱?

(2)任务2(事务类任务):从北京到欧洲4国(德国、法国、意大利、奥地利)的旅游线路设计。现假设您是一名北京的旅游爱好者,您计划在12天之内完成欧洲4国行(德国、法国、意大利、奥地利)。请列出至少两个以上的旅游方案,包括从北京——欧洲——北京的每天住宿城市、旅游景点、用餐标准、交通工具、总费用等。

(3)任务3(导航类任务):Web2.0在我国高校图书馆应用的调查。Web 2.0服务主要包括:RSS(聚合内容)、Blog(博客)、Wiki(维基)、Tag(标签)、IM(即时通讯)、Comments/Rating(评论/评级)等。请列出国内至少10所以上开展了Web2.0服务的高校图书馆的网址URL,并列出对应的Web2.0服务。

2.3 研究方法

本文采用系统日志法对实验者的具体行为和检索活动的数据进行收集,采用问卷调查法来调查用户背景并考察他们对系统的评价。同时,通过对实验者进行单独采访来了解用户行为背后的真正原因。本研究在访谈中主要考察了影响用户检索效果的原因(对于这个实验的完成,请问您觉得你们组整体的协作效果如何?如果协作效果不佳,请问您觉得主要原因是什么?),以及实验者对系统功能的评价(请问您觉得这个系统是否具备了你们所期望的所有协同功能,是否还有一些功能是欠缺的?)。

在数据分析方法上,主要采用统计分析法和内容分析法。由于本研究涉及协同能力和任务类型两个维度,因此,采用双因素方差分析法(Two-way Analysis of Variance,Two-way ANOVA)[ 12]对系统日志进行检验分析;用描述性统计分析法对调查问卷数据进行分析;还采用内容分析法对访谈数据进行编码分析,通过ATLAS.ti内容分析软件对访谈数据进行编码[ 13],采用了开放编码、主轴编码和选择性编码的编码方式。

3 实验结果分析
3.1 用户检索行为分析

(1)检索日志分析

笔者从系统日志中收集了Webpage、Search、Bookmark、Snippet、Annotate、Recommend 6项系统数据,考虑到各小组收集和分享的图片也能反映用户协同检索的行为特征,因此也将Image纳入衡量指标中。本文采用双因素方差分析法对以上7项数据进行检验分析,经过检验发现,协同能力和任务类型在这7项上均不存在交互作用。在主效应因素方面,协同能力不同仅对Recommend存在影响(p=0.038<0.05),而任务差异对Webpage(p=0.014<0.05)、Search(p=0.033<0.05)和Image(p=0.008<0.01)三项行为存在影响。

协同能力不同对协同检索行为的影响如表1所示:

表1 协同能力不同对检索行为的影响

从表1可以看出:

①协同能力只在Recommend上存在显著性差异。由于推荐功能最能体现用户之间的合作和交流,其他几项更多体现的是用户个人的检索习惯,因此,这可以明确地揭示协同能力较强的用户在完成协同检索中更乐于合作和相互帮助。

②在小组工作的背景环境下,人们会关注队友的信息行为,在与队友之间的互动中,自身的信息行为、态度和情绪会受其他成员的信息行为的影响[ 14]。虽然Bookmark、Snippet、Annotate、Image这几项并不能完全体现用户之间的协作,但这些用户个人的行为也会出现在队友的界面上,使队友能意识到自己的检索动态。尽管协同能力强弱在这几项上差异不显著,但A、B组在这几项上的均值明显高于C、D组,这也在一定程度上反映了协同能力较强的用户更乐于收集和分享信息。

任务类型不同对Webpage、Search和Image的影响如表2所示:

表2 任务类型不同对检索行为的影响

从表2可以看出:

①在Webpage这一行为上,任务2与任务1、任务3之间均存在显著差异,且任务2与任务1之间差异高度显著。这表明任务不同对用户浏览的页面产生了极大的影响。

②在Search这一行为上,任务2和任务1、任务3之间差异显著,这表明任务不同对用户的检索次数产生了影响。

③在Image这一行为上,任务1和任务3之间的差异高度显著,任务2和任务3之间差异显著。这表明任务不同对用户的图片收集行为也产生了极大的影响。

(2)重复检索式分析

各小组的重复工作能在一定程度上体现协作效果的好坏,由于考虑到小组内重复的浏览页面可能是由于小组成员之间的互相推荐造成的,所以每个小组的重复工作量由小组中的重复检索式的数量来衡量。将系统日志中的重复检索式提取出来,进行了比较分析。在重复检索式的提取中发现,4个小组中都没有出现三个小组成员的检索式完全一致的情况,因此,本文将每组中每两个小组成员的系统日志中出现的一样的检索式视为一个重复检索式,具体数据如图3所示:

图3 各任务中各小组的重复检索式

从协同能力这一维度上看:

①无论是哪一个任务,A、B组在重复检索式的数量上明显要少于C、D组。

②协同能力强弱不同的小组在重复检索式的数量上差异较大,在任务3中差异最为明显。

③即便是任务1中各小组的重复检索式的数量较为相近,也能体现协同能力不同的小组在重复检索式的数量上的差异性。

值得注意的是,协同能力较强的小组在协同检索中也存在重复检索式,这表明:即便是协同能力较强的小组也会存在重复检索式,并且在各个任务间具有差异性。

从任务这一维度上看:

①任务1各组重复检索式差异最小。

②任务3最能体现协同能力强弱在重复检索式的数量上的差异。

这存在多方面的原因,尽管用户对每个任务的认识和了解并不会直接影响重复检索式的数量,但是任务本身的难度和特征会影响用户在该任务上的检索习惯,同时,实验者在检索过程中协作的好坏也会对其产生影响。由于任务1是信息类任务,需要检索和收集大量的信息,容易产生重复检索式。并且在完成任务1时,小组成员刚开始合作,彼此之间还不太熟悉,沟通和交流较少。而任务3在很大程度上受到各组对专业知识的了解程度和完成该任务时的交流和协作的好坏的影响。

3.2 用户检索效果分析

用户的检索行为直接影响用户的检索效果。检索结果的差异在很大程度上体现了不同协同能力和任务对检索效果的影响。由于各小组在三个任务的得分情况能最直观地揭示检索结果的好坏。根据系统日志的编辑结果,笔者对各小组在各个任务的完成情况进行了评分。

Hackman[ 15]将自定义任务(Task Autonomy)定义为个人被给予大量的自由、独立和自主裁量权进行任务的设计,例如协调具体工作和决定任务要遵循的流程。自定义任务的完成效果的衡量在一定程度上取决于设计者的动机、目的、所期望的效果[ 16]。Kriksciuniene等[ 17]指出在评价团队任务的完成效果时,需综合考虑团队成员和任务完成效果两方面:应考虑团队成员的专业能力、知识结构、经验水平,任务完成效果应考虑任务的特点、难度、答案的清晰度、组织框架和格式几个方面。由于本实验所选取的实验用户是来自同一年级同一专业的学生,其在专业知识、学习经验上具有高度的一致性,因此本文综合考虑了任务特点和出题动机,对三个类型不同的任务给出了不同的评分标准,评分标准包含内容和格式两方面(满分为100分,其中内容占90分,格式占10分)。根据Broder[ 11]对三类任务的总结分析,信息类任务的主要特点是信息的全面性、完整性、具体性,因此,针对答案与问题的匹配程度、完整度给出5个评分等级;事务类任务的主要特点是实施方案的可行性,将方案的可操作性、唯一性作为主要评分标准;导航类任务的特点是准确性、真实性,将答案的正确信息量的多少、准确度作为主要评分标准。各小组完成各个任务的具体得分情况如图4所示。

图4 各小组完成各任务的得分

从协同能力强弱这一维度上看:

(1)协同能力不同的小组在得分上差异显著。

(2)协同能力较强的小组比协同能力较弱的小组的总体检索效果要好,即便是遇到较困难的检索任务,也能体现二者的差异性,且协同能力较强的小组的组内差异较小,而协同能力较弱的小组的组内差异较大。

本文通过访谈分析来进一步探究原因,发现协同能力较强的小组的检索效果优于协同能力较弱的小组的主要原因是他们采取了更合理的分工方式,且前者主要将检索效果欠佳归因于任务难度和时间限制,而后者则认为除了任务难度和时间限制外,小组成员之间缺乏交流和协同合作的经验是造成检索效果不好的主要原因,而小组成员中个人的思维方式不同、对专业知识了解不深等是次要原因。

从任务这一维度上看:

(1)任务1各组得分差异较小,协同能力较弱的小组C也得到了较高的分数。

(2)任务2各组得分差异最小,所有小组都没有得到较高的分数。

(3)任务3最能体现协同能力强弱在得分上的显著差异。

这表明任务本身的难度也会对检索效果产生影响,即便是协同能力较强的小组在遇到困难的检索任务时,检索效果也欠佳。

通过对访谈的分析笔者发现,导致任务1检索效果不佳的主要原因是时间限制,由于信息类任务本身难度不大,实验者只需收集足够多的信息就能较好地完成任务,而最大的问题就是时间限制。而导致任务2检索效果不佳的原因除时间限制外,分工不合理、思维方式不一样、交流不顺畅是主要原因,因为任务2是事务类任务,主观性较强,小组成员之间沟通比较困难,难度较大。而影响任务3检索效果的主要原因是对图书馆学专业知识的了解不深。

3.3 用户对系统的评价

笔者在实验结束后对各小组做了问卷调查以了解用户对系统的总体评价和揭示协同能力不同的小组对协同检索系统的评价是否存在差异。针对Coagmento系统的功能设置,问卷中提出了以下9个问题,1到5分表示同意的程度由低到高,1分表示完全不同意,5分表示非常同意。

问题1. 标签(Bookmark)功能对于完成协同检索任务很有用。

问题2. 推荐(Recommend)功能对于完成协同检索任务很有用。

问题3. 注释(Annotate)功能对于完成协同检索任务很有用。

问题4. 片段收集(Snip)功能对于完成协同检索任务很有用。

问题5. 编辑(Editor)功能对于完成协同检索任务很有用。

问题6. 聊天工具(Chat)对于完成协同检索任务很有用。

问题7. 提醒工具(Notifications)对于完成协同检索任务很有用。

问题8. 检索历史工具(History)对于完成协同检索任务很有用。

问题9. 记事本工具(Notepad)对于完成协同检索任务很有用。

所有实验者对Coagmento系统的总体评价情况如表3所示:

表3 系统评价总体情况

从表3可以发现:

(1)实验者普遍认为片段收集功能、编辑功能和聊天工具对于完成协同检索任务很有用。

(2)实验者普遍认为记事本工具、注释功能和提醒工具在协同检索中用处不大。

(3)各个小组对推荐功能的评价存在较大差异。

这就印证了协同能力不同在推荐行为上的显著差异性,协同能力较强的小组更倾向于相互推荐和帮助。

为了比较协同能力强弱是否会对系统评价造成差异。本文将A、B 组,C、D组作为协同能力较强的一组和协同能力较弱的一组,分别求其在各题上的平均得分,并进行分析比较。图5揭示的是协同能力较强的一组(组1)和协同能力较弱的一组(组2)在各题得分上的均值的比较,横坐标表示系统功能的9个小题,纵坐标表示分值。

图5 协同能力不同的小组对系统评价的均值比较

从图5中可以发现:

(1)协同能力较强的一组对于各项功能的有用性的评价更高。

(2)协同能力不同的小组对标签功能、编辑功能、聊天工具和记事本工具的评价差异不大。

(3)协同能力不同的小组在推荐功能、注释功能、提醒工具和检索历史工具上的评价差异较大。

这表明协同能力较强的一组更倾向于认为各项协同功能是有用的,反映了协同能力较强的小组在协同检索过程中使用了较多的协同工具,相反,协同能力较弱的一组使用的协同工具较少,因为他们认为其用处不大。

此外,对访谈结果进行内容分析后显示,用户认为Coagmento系统在提醒工具、检索历史工具上功能有重复;且推荐功能的界面设置不合理,用户需要返回主界面或是打开邮箱才能看到队友给自己推荐的信息,建议推荐功能可以设置在检索历史栏内,方便获取信息;且由于中英文转换出现的一些问题仍需解决,系统的视频聊天、图片功能等还有待完善和补充。

4 结语

(1)协同能力对协同信息检索行为的影响

从协同能力差异这一维度上看,协同能力强弱对用户的推荐行为的影响较大。协同能力较强的小组在完成协同检索任务时比协同能力较弱的小组更倾向于合作和相互帮助。协同能力不同对检索效果也产生了显著性影响,协同能力较强的用户对于三个任务的完成效果要远远好于协同能力较弱的用户。

(2) 任务类型对协同信息检索行为的影响

任务不同对用户的浏览网页、检索和使用图片行为的影响较大。这是因为信息类任务需要收集大量的信息,所以浏览页面较多,收集的信息较多。导航类任务涉及专业知识,用户需要输入更多的检索式以便对其有一个全面的认识。并且对于专业性任务,许多专业人士已经做了一些总结和分析,可能一个图片就包含了大量有用的信息,因此实验用户收集了较多的图片。事务类任务解决的是实践问题,用户在检索过程中思考、探索的时间较多,而浏览页面和检索次数都较少。任务类型不同也对检索效果产生了较大影响,信息类任务和导航类任务的检索效果要好于事务类任务,原因是事务类任务的主观性较强,难度最大,用户交流最不顺畅。

(3)用户对协同信息检索系统的评价和期望

从用户对Coagmento系统的整体评价来看,各组普遍认为编辑功能、聊天工具对于完成协同检索任务很有用,而标签功能、记事本工具和注释功能用处不大。协同能力较强的小组比协同能力较弱的小组在推荐功能、提醒工具等几项最能体现用户协作的协同工具的评价明显要高,这表明协同能力较强的小组对协同工具的认同度更高。

用户对协同检索系统的评价及期望可以为今后协同信息检索系统的设计和改进提供一些借鉴。研究结果显示,用户希望协同检索系统能提供完善的图片共享功能,因为图片中也能包含大量有用的信息。现有的大多数协同检索系统都已经提供了较齐全的交流和认知机制。因此,在未来对协同检索系统的设计和改进中,只满足用户进行基本交流和认知的功能设置是远远不够的,应该更多地考虑质量层面,提高用户间交流和协作的质量,促进各项功能的便捷性和人性化,使用户更加愿意使用协同系统来完成复杂任务。

参考文献
[1] Kim S, Soergel D. Selecting and Measuring Task Characteristics as Independent Variables[C]. In: Proceedings of the 68th Annual Meeting of the American Society for Information Science and Technology. 2005. [本文引用:1]
[2] Bilal D. Children’s Use of the Yahooligans! Web Search Engine: II. Cognitive and Physical Behaviors on Research Tasks[J]. Journal of the American Society for Information Science and Technology, 2001, 52(2): 118-136. [本文引用:1] [JCR: 2.005]
[3] Amershi S, Morris M R. CoSearch: A System for Co-located Collaborative Web Search [C]. In: Proceedings of the 26th Annual SIGCHI Conference on Human Factors in Computing Systems(CHI’08), Florence. New York: ACM, 2008: 1647-1656. [本文引用:1]
[4] Hildegard J. Beyond the Search Process-Exploring Group Members’ Information[J]. Information Processing & Management, 2009, 45(1): 142-158. [本文引用:1] [JCR: 0.488]
[5] Romano N C, Roussnov D, Nunamaker J F, et al. Collaborative Information Retrieval Environment: Integration of Information Retrieval with Group Support Systems[C]. In: Proceedings of the 32nd Annual Hawaii International Conference on System Sciences(HICSS’09). Washington DC: IEEE Computer Society, 1999. [本文引用:1]
[6] Hertzum M. Collaborative Information Seeking: The Combined Activity of Information Seeking and Collaborative Grounding[J]. Information Processing & Management, 2008, 44(2): 957-962. [本文引用:1] [JCR: 0.488]
[7] Spring M B, Vathanophas V. Peripheral Social Awareness Information in Collaborative Work[J]. Journal of the American Society for Information Science and Technology, 2003, 54(11): 1006-1013. [本文引用:1] [JCR: 2.005]
[8] Veryard R. The Component-based Business: Plug and Play [M]. London: Springer, 2001. [本文引用:1]
[9] Blomqvist K, Levy J. Collaboration Capability-A Focal Concept in Collaborative Knowledge Creation and Innovation in Networks[J]. International Journal of Management Concepts and Philosophy, 2006, 2(1): 31-48. [本文引用:1]
[10] Ingwersen P. Information Retrieval Interaction [M]. London: Taylor Graham, 1992: 246. [本文引用:1]
[11] Broder A. A Taxonomy of Web Search[J]. ACM SIGIR Forum, 2002, 36(2): 3-10. [本文引用:2]
[12] Faraway J J. Practical Regression and Anova Using R[M/OL]. 2002: 179-184. [2012-03-11]. http://www.maths.bath.ac.uk/~jjf23/book/. [本文引用:1]
[13] Strauss A, Corbin J M. Basics of Qualitative Research-Techniques and Procedures for Developing Grounded Theory [M]. The 2nd Edition. London: Sage Publications, 1998. [本文引用:1]
[14] McGrath J E. Groups: Interaction and Performance [M]. New Jersey: Prentice-Hall, 1984. [本文引用:1]
[15] Hackman J R. Work Redesign and Motivation[J]. Professional Psychology: Research and Practice, 1980, 11(3): 445-455. [本文引用:1]
[16] Foschi M. Gender, Performance Level, and Competence Stand ards in Task Groups[J]. Social Science Research, 2009, 38(2): 447-457. [本文引用:1]
[17] Kriksciuniene D, Strigunaite S. Virtual Team Tasks Performance Evaluation Based on Multi-level Fuzzy Comprehensive Method[C]. In: Proceedings of the 3rd International Conference on Future Computational Technologies and Applications. 2011: 20-25.
(作者E-mail: woodan@whu. edu. cn) [本文引用:1]