AdaM:实时调整协作环境下的多用户界面

陈文倩 21821005

1.背景信息

论文原文:AdaM Adapting Multi-User Interfaces for Collaborative

会议:CHI ’18  Paper No. 184. CHI(ACM SIGCHI Conference on Human Factors in Computing Systems)是人机交互(Human-Computer Interaction)领域首屈一指的顶级会议。CHI 2018在加拿大的第二大城市蒙特利尔举行,主题是“ENGAGE参与”。

被引用:1’  Collaborative Design-in-use: An Instrumental Genesis Lens in Multi-device Environments

(越来越多的HCI研究探索跨设备交互方面的用户界面问题)

作者:Seonwook Park, Christoph Gebhardt, Roman R¨adle, Anna Maria Feit, Hana Vrzakova,Niraj Ramesh Dayama, Hui-Shyong Yeo, Clemens N. Klokmose, Aaron Quigley, Antti Oulasvirta, Otmar Hilliges

实验室背景:

人工智能与交互技术交汇的AIT实验室:致力于机器学习、计算机视觉和人机交互(HCI)的交叉研究。

用户界面研究小组:着眼于基于计算和模型的用户界面设计和适应方法的研究。研究模型驱动UI优化的原则,其中优化器利用人类感知、行为和经验的预测模型来预测用户对计算机生成的设计的响应。优化可以用来产生设计思想,解决困难的设计问题,促进设计中的创造性,并使设计适应自动化。

关键词:分布式用户界面;跨设备交互;用户界面自适应;优化;多用户协作;

2.核心价值

文章综合考虑了多个用户和他们的角色、偏好、访问权限以及设备的功能特性等方面,通过解决一个多用户多元素分配问题,来将UI元素实时自动地分配到可用设备上。该目标达到UI元素在各个设备上的最大化利用,同时从用户的角度最大化满足获得UI元素的完整性。与其他解决方案相比,本文将分布式用户界面问题转化为分配问题,且满足了多用户的协作,能够适应动态变化。定性结果表明,AdaM可以减少设计师和用户在实现理想DUI配置方面的工作,该方法具有广阔的应用前景。且其所用数学公式可以扩展至其他多用户多任务应用中。

3.总体框架

提出问题

文章首先提出:开发跨设备多用户界面(UIs)是一个具有挑战性的问题,好的解决方案必须考虑多个用户、他们的角色、偏好、访问权限以及设备的功能等。而目前的一些解决方案都不够全面完善,例如手工或基于规则的解决方案只能创建较为单一的环境,不能扩展到大规模的问题,也不能适应动态变化。
分析问题

然后提出了文章的解决思路,即将分布式用户界面问题转化为分配问题,用组合优化的方法求解。
解决方案

接着,作者构建了一个混合整数规划公式,允许应用程序在实时动态变化中的协作设置。并设计了一个允许快速探索解决方案的系统原型。
方案验证

通过说明性的示例对方案进行了概念验证,并进行了用户实验,将该原型与传统的纸上原型比较,对结果进行了分析处理,得出了可行性结论。
优化改进 最后,讲述了论文的不足与未来的展望,总结了整个研究过程及研究价值。

4.内容分享

4.1 绪论

因为很多用户现在往往拥有多款电子设备,比如笔记本电脑、智能手机或可穿戴设备。在协作环境,例如工作或学习中,许多应用场景都可以受益于跨设备分布式用户界面,可能还受益于参与活动的多个用户。然而,设计和实现这种跨设备接口具有一定复杂性,以及面临着应该将哪个UI元素放在哪个用户设备上的组合问题。Frosini和Patern ‘o提出了一种考虑多用户角色的概念框架,但没有提供解决分配问题的方法。在本文之前,没有考虑多因素影响下的动态UI元素分布解决方案。

因此,作者提出了一种基于优化的方法,通过解决一个多任务分配问题,来将元素自动分配到可用设备上,如图1所示。给定UI元素、可用设备、用户和设备描述的列表,它根据一个目标分发UI元素,该目标为了达到设备上元素最大化利用,同时从用户的角度最大化满足UI的完整性。更准确地说,即(1)在分发元素时考虑角色需求和(2)用户偏好,(3)根据给定的任务适应用户角色或偏好的更改,(4)根据协作场景中用户和设备的存在实时适应DUI。

图1 优化&动态分配UI元素

4.2 优化公式

作者定义了一个可以用最先进的ILP求解器(例如Gurobi)来求解的混合整数规划公式。这些求解器可以自动搜索目标最大化和满足定义约束的解,同时为决策变量分配整数解,并对目标函数的求解质量给出形式化的边界。

4.3 系统设计

AdaM设计工具是一个概念验证性循环设计工具,能够快速探索解决方案,包括了AdaM应用程序原型和AdaM模拟器。应用程序原型允许设计人员指定优化器所需的输入参数从而分配元素到设备,并自动应用优化器的结果。模拟器允许通过立即在设备配置中应用更改来快速调整输入参数。

  • 应用程序原型

AdaM应用程序原型包括用于编辑应用程序内容和行为的集成开发环境(IDE),以及允许更改可优化元素参数的配置面板UI。该平台是基于网页的,每个AdaM应用程序都是一个包含可优化元素的页面,可以根据优化的解决方案隐藏或显示这些元素。设计者可以使用标准HTML5、JavaScript、CSS3开发用户界面和AdaM应用程序的交互行为。最终的应用程序可以放到全屏显示(图2),所有的变化都会立即在浏览器中反映出来,允许快速的应用程序开发和测试。每个应用程序都由URL来寻址,URL可以与其他应用程序共享,以便协作开发应用程序或在设备上运行应用程序。

图2 图形用户界面

  • 模拟器

测试多设备用户界面比较困难,因为它需要同时管理多个(通常是异构的)设备的输入和输出。因此,通过模拟器,在web浏览器中实例化各种模拟设备,并控制优化器使用的设备特性。模拟器具有一组预定义的设备类型,设计人员可以从中选择(如图1所示)。模拟的设备特性可以随时改变,例如,用户访问权限、设备显示尺寸或设备可用性。模拟器中的设备可以被禁用来模拟设备离开或启用来模拟设备连接。

  • 系统演示

最初的说明性示例建立在会议室场景之上。在这个场景中有四个用户:经理(“老板”)、她的助理、一名员工和一名展示工作结果的同事。我们根据每个场景调整我们的设置的特定参数,并说明其效果。

用户角色。通过在约束中考虑用户角色,我们可以确保特定用户不会接收与其角色和任务无关的元素。第一个简单的用例涉及演示人员和助手。我们在元素和用户之间设置了二进制权限值,定义了每个角色可以访问的UI元素(但不能将元素分配给设备)。出于演示的目的,我们只考虑三个UI元素,如图3所示,虽然初始布局不知道用户角色(a),但是我们的算法正确地删除了未授权用户的UI元素(b)

图3 适应用户角色

用户偏好。虽然通过设计器指定的约束体现用户角色,但优化目标仍需考虑用户偏好。如图4所示,元素的大小、输入和输出要求以及设备特性保持相等。最初,所有四个UI元素都具有相同的重要性值,因此显示在一个大的共享屏幕上。随机分配一个元素给个人设备时,增加了单个元素对每个用户的重要性,因此将不同的元素分配到不同的个人设备上。

图4 适应用户偏好

设备兼容性。我们试图通过考虑元素与设备的兼容性,将每个UI元素分配给最合适的设备。我们展示了一个带有3个设备的演示程序示例,如图5所示。我们将(a)所有参数都设置为1的情况与(b)具有敏感参数的情况进行比较。注意其他输入参数保持不变,包括演示幻灯片在内的所有元素都适合智能手表的显示。显然,将元素简单地分布到设备上是没有意义的,“Presenter Notes”元素被放置在小型智能手机上,而“Presentation”元素则被放置在更小的智能手表上。虽然“演示控件”可以在笔记本电脑上使用,但可以肯定的是,这个元素更适合放在可用的触摸屏设备上。通过对敏感器件特性和元件要求参数的设置,可以得到一个有用的赋值。这只是一个初始分配,可以通过调优进一步精确快速地输入参数正确的元素大小范围等,而由于优化只需几秒钟。

图5 元素与设备的兼容性

个人UI完整性。我们工作的一个重要贡献是考虑到DUI的完整性的构想。当元素分配给设备时,没有从每个用户的角度考虑元素的完整性或元素实用性,特定的用户可能会收到一个不完整的非必要功能性的UI。我们通过优化器最大化用户可以使用的元素数量来解决这个问题。图6显示了完整性项的效果。最初的(a)中显示的UI不完整,关闭电脑只会加剧这个问题,助理只剩下一个UI元素。当添加完整性项时,初始UI包含所有可用的元素(b),在关闭笔记本电脑后,之前分配给笔记本电脑的三个元素移动到平板电脑上,用户界面仍然完整有效。

图6 DUI完整性

4.4 用户实验

最后,通过让实验参与者使用纸笔和AdaM分别来设计DUI应用。目标是了解这种组合优化方法是否容易理解,观察是否能够在设计过程中进行性能和经验方面的改进。

  • 方法

参与者:从本机构(学生及教职员)中招募6名参与者(女3名,男3名),平均年龄26岁(SD = 1.6,年龄24 ~ 27岁)。两名参与者是web工程领域的研究人员,其中一人专门研究DUIs,另有三名参与者表示有web开发经验。

任务:本研究以会议场景为中心,由两项任务组成:1)参与者被要求将UI元素分配到设备上,以反映场景(T1)中指定的用户角色和偏好。2)在第二个任务中,一些设备被打开/关闭,内容偏好被改变,参与者被要求相应地调整先前的任务(T2)。

实验设计:我们测试了两种情景。在第一个情景(纸笔)中,参与者在一张显示所有角色所有设备的大纸上划掉与给定场景不匹配的元素(见图7,左侧)。在第二个情景(AdaM)中,参与者使用滑块根据场景描述指定元素的重要性,另一个UI显示设备和分配元素的概览(见图7,右侧)。

图7 学习情景(左侧:纸笔,右侧:AdaM)

程序:一开始,向参与者介绍了纸笔和AdaM两种情景,并提供时间练习使用工具,然后参与者分别在各自的情景下解出T1和T2。当参与者对设备分配的元素感到满意时,任务就完成了。对于每个任务和情景,参与者完成了NASA-TLX和一份关于结果满意度的问卷,最后进行了访谈。每次过程平均需要60分钟。

  • 结果

在感知情景、结果满意度、违反情景次数、感知任务负荷方面,两种情景的响应均值均在标准偏差内。然而,与AdaM相比,纸笔的任务执行时间(TET)较低,这说明设计任务不够困难。这突出了从设计师的角度对自动设计和手工设计进行公平比较的挑战,在这种情况下,任务不会过于困难而被认为是不公平的。

通过对访谈结果的分析,三位参与者认为AdaM能够实时适应不断变化的设备配置。事实上,一位参与者甚至惊呼道“完美!在打开手机并意识到自动分配的UI元素无需进一步调整即可满足场景后。当考察分配任务T1和适应任务T2之间的定量结果差异时,这种优势也很明显。AdaM情景中,TET平均提高了103秒,而在纸笔测试中仅提高了14秒;在AdaM情景中,任务负载也提高了14.6,而在纸笔情景中是6.2。

AdaM的另一个被认为比手工方法(6个参与者中有5个)具有“强大”优势的特性是指定“全局规则”的可能性(由参与者命名)。他们喜欢,不在设备级别上分配元素,而是指定用户的偏好,并让优化器将元素分布到她的设备上。参与者对该功能的评论是“不设定每个设备的黑白列表,而是指定每个角色的重要性”或“当我指定重要性时,我不需要考虑设备”。

然而,参与者同样提到,AdaM的主要缺点是在为设备分配指定不同的元素方面控制较少。他们努力在不同的滑块值之间找到平衡,以便优化器的元素到设备的分配符合他们的意图。一位参与者总结道:“我能够满足这个场景,(但)优化器很难超出这个范围。”解决这个问题的一个方法是允许将元素到设备的分配指定为强制约束。

参与者遇到的另一个困难是理解滑块更改的预期结果(“当我将滑块设置为15时,它会转换成什么?”)。由于我们的公式的非线性性质,优化器的结果是难以预测的,因此需要考虑如何调整滑块。

5.不足之处

文章中对模型的评估方法不够完善,参与实验的用户人数较少,且采用的设计任务较为简单,虽然考虑到平衡人工和机器之间的完成能力,但是可以选择其他算法来进行复杂的对比实验,而不是用简单的纸笔测试来进行对比。而对于实际协作场景中具体会出现哪些不同的需求及状况,还有待进一步了解并且通过系统模型去验证。

6.扩展介绍

6.1 混合整数规划(mixed integer programming)

线性规划:线性规划是运筹学中研究较早、发展较快、应用广泛、方法较成熟的一个重要分支,它是辅助人们进行科学管理的一种数学方法

整数规划:对决策变量有整数要求的数学规划问题称为整数规划。在线性规划问题中,有些最优解可能是分数或小数,但对于某些具体问题,常要求某些变量的解必须是整数。例如,当变量代表的是机器的台数,工作的人数或装货的车数等。为了满足整数的要求,初看起来似乎只要把已得的非整数解舍入化整就可以了。实际上化整后的数不见得是可行解和最优解,所以应该有特殊的方法来求解整数规划。

整数优化:类似于在规定情境下,求得某些公式或者设计的一些量的最/次优值的过程。比如:通过合理安排工序,使得相同的工人在同样的时间内,生产出最多的产品。

整数规划分类:

  • 全整数规划:所有决策变量取整数值;
  • 0-1整数规划:整数变量只能取0或1;
  • 混合整数规划:部分决策变量取整数值;

求解方法:

①分支定界法②割平面法③隐枚举法④匈牙利法⑤蒙特卡洛法

6.2 GUROBI——新一代数学规划优化系统

Gurobi是由美国 Gurobi Optimization 公司开发的新一代大规模优化器。在理论和实践中,Gurobi 优化工具被证明是全球性能领先的大规模优化器,具有突出的性价比,可以为客户在开发和实施中极大降低成本。

Gurobi 可以解决的数学问题:

  • 线性问题(Linear problems)
  • 二次型目标问题(Quadratic problems)
  • 混合整数线性和二次型问题(Mixed integer linear and quadratic problems)

6.3 分布式用户界面(Distributed User Interface)

DUI:随着技术的发展,我们与计算机和计算机系统的交互方式也在不断变化。目前的趋势是,用户每天都要与多个相互连接的设备进行交互。他们开始要求通过这些设备来划分和扩展他们的应用程序。分布式用户界面(DUIs)被认为是一种通过用户界面(UI)在多个互连设备上分布程序的方法。

DUIs代表了用户界面设计的根本变化,支持开发分布式系统的新方法。与传统的UI开发相比,开发DUIs是一项复杂得多的任务,这是因为将UI开发与分布式系统相结合所带来的固有复杂性。软件工程和计算机科学中克服复杂性的传统方法是构建工具和框架,以允许良好的代码重用和应用程序编程人员更高层次的抽象。

分布式系统:在一个分布式系统中,一组独立的计算机展现给用户的是一个统一的整体,就好像是一个系统似的。系统拥有多种通用的物理和逻辑资源,可以动态的分配任务,分散的物理和逻辑资源通过计算机网络实现信息交换。

6.4 跨设备交互(UI Adaptation)

现在,人们经常同时使用多个带有显示器的设备(如笔记本电脑、手机、平板电脑)。存在用于镜像(例如AirPlay)、I/O目标(例如微软Continuum)、协作(如苹果)或拼接多个显示器(如均衡器)等多种方式。然而,这种设置的设计和开发完全是手工的,需要开发人员考虑大量的输入、输出和设备配置,也只能实现最基本的跨设备体验。当为多个用户设计时,由于访问权限、隐私和用户偏好的考虑,这个问题会进一步恶化。

现有的跨设备研究突出了实时调整DUIs以适应协作环境的挑战,包括测试多设备体验、用户界面部分采用、功能UI协调等方面的问题、组件角色分配、空间感知及相关并行使用的变化。

6.5 自适应界面(UI Adaptation)

自适应就是在处理和分析过程中,根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件,使其与所处理数据的统计分布特征、结构特征相适应,以取得最佳的处理效果的过程。

自适应过程是一个不断逼近目标的过程,它所遵循的途径以数学模型表示,称为自适应算法。通常采用基于梯度的算法,其中最小均方误差算法(即LMS算法)尤为常用。

自适应界面是一种可以根据用户的操作规律和特点,改变自身界面特点以适合用户当前操作的界面。其特点主要有两点,一是拟人化的智能界面,即用户和自适应系统的交互类似于人与人之间的交互,而这种交互是界面具有智能的功能保证的,类似于CASA (computers as social actors),二是非特异性的个性化界面:即自适应界面不是针对特定用户,而是能够适应每一个用户的操作。

6.6 计算交互(Computational interaction)

计算交互应用抽象、自动化和分析来告知我们对交互结构的理解,并告知驱动新的和令人兴奋的人机界面的软件设计。例如,计算交互的方法允许设计人员根据一些客观标准确定最优的用户界面;它们还允许软件工程师构建交互系统,使他们的行为更适合个人的能力和偏好。

7.总结思考

文章着眼于一个用户界面优化分配问题,能够在综合考虑多个用户和他们的角色、偏好、访问权限以及设备的功能特性的基础上,通过MILP求解器得到一个目标最大化的解决方案,并设计了AdaM原型系统,来进一步验证这样的优化分配是否能有效解决多用户协作场景下的多设备界面分配问题,最后通过用户实验,将该系统与人工分配方式对比,得出定性结果。

在作者看来优化方法已经革新了几乎所有的工程设计领域,那么为什么用户界面设计不能呢?这也可以成为我们在研究时考虑的方向,不仅仅是探索一个新的问题或简单的外观上的设计创新,而是通过更科学更智能的方式对设计进行优化改进创新,这也促使设计人员多去了解各领域知识、将设计与智能相结合。

另外,文章不是简单通过程序上的优化来提高UI自适应设备的性能,而是抽象出一个分配问题,从而能够整体考虑多因素影响下的DUI问题,这同样也是我们应该具备的基本技能之一。

在阅读公式的部分,由于定义的参数和变量较多,理解起来有一定的困难,对数学符号的理解应用不是很熟悉还需要进一步的学习巩固。在求解一个问题时,还应当充分考虑其约束条件,才能使方案更具有可行性。

————————————————————————————————

[2-A]DESIGN RESEARCH-NOTE

[3-A]AdaM-PAPER

[3-A]AdaM-NOTE

发表评论

电子邮件地址不会被公开。 必填项已用*标注