自动可访问性覆盖报告

为什么博亿堂手机客户端需要改变博亿堂手机客户端看待可访问性测试覆盖率的方式.

全球数字可访问性测试专业人员的核心宗旨是帮助确保所有人都可以访问数字资产, 包括残疾人士.

这些专业人士使用两种常见的成功衡量标准:

01

根据Web内容可访问性指南(WCAG)成功标准进行测试和解决.

02

针对原始数量的问题进行测试和解决, 通常是按照严重程度或影响的顺序.

由W3C开发, WCAG成功标准 存在为博亿堂手机客户端所有人提供指导,帮助定义可访问的条件应该是什么样子.

基于20年的行业经验和数以千计的客户参与, 博亿堂手机客户端相信,真正对您的可访问性状态产生即时和可持续的长期影响, 衡量的最佳方法是按照严重程度或影响的顺序来处理全部问题. 这并不否认以任何方式进行遵从性跟踪的需要, 但它更好地使组织能够移动指针, 建立以用户体验为中心的文化.

为了在不破坏现有流程的情况下“做最好的事情”, 自动化和手动测试过程的组合已经成为标准实践(不包括那些不知情地购买覆盖工具的人). 然而, 可访问性社区对覆盖WCAG发现的问题的测试数量进行了讨论. 为了消除自动化测试的污名,

博亿堂手机客户端的目的是要反驳一个被广泛接受的观点,即自动化的可访问性测试只提供了20 - 30%的可访问性测试覆盖率. 1 2

这个统计数据建立在一个不准确的定义之上,即可访问性覆盖率是由自动化测试的WCAG成功标准的数量来计算的. 作为一个结果, 新接触数字可访问性的组织被自动化测试的感知价值所打击, 驱动他们中的许多人去覆盖工具或不可持续的手工工作.

在这个报告中, 博亿堂手机客户端将分析并展示真实的审计数据如何揭示自动化测试的更高的可访问性覆盖率.

可访问性审计数据样本

博亿堂手机客户端收集了来自不同行业和地区的大量公司的匿名审计数据, 跨越13,000 +页/页面状态, 和近300,000年问题. 为了提供审计数据的准确表示, 本研究集中于首次审计, i.e. 如果在研究期间对一个页面/页面状态进行多次测试, 页面/页面状态只计算一次, 而且只包含了第一次可访问性审计的问题. 这消除了任何由不同的补救优先级和时间表引入的无意识偏见.

13,000+ 页面/页面状态
300,000 问题
0 假阳性
1st 第一次审计只

57.38%

的“全部问题”

这个数据集中的自动化测试是使用流行的开源斧核规则库完成的. 值得注意的是,axe-core非常强调不报告“假阳性”或错误的问题,这些问题实际上可能根本不是问题. 这项研究只关注HTML页面,并跨越了各种一致性标准,如WCAG 2.0/2.1 A级、AA级.

如果你想了解更多关于博亿堂手机客户端如何映射自动和智能引导测试工具的覆盖率, 你可以在本文的附录中深入了解更多细节.

在下面的报告中, 博亿堂手机客户端将讨论什么是可访问性测试覆盖率, 仅自动化就能覆盖多少数字可访问性, 多少报道, 以及测试准确度的影响.

什么是可访问性测试覆盖率?

今天的市场状况

今天可用的自动化可访问性测试工具提供了多少覆盖率? 这取决于你在和谁说话, 这个问题的答案通常在20%到30%之间, 假设你抛出了愚蠢的覆盖声明). 如今,行业中的许多人将覆盖率定义为可以使用自动的可访问性工具进行测试的单个WCAG成功标准的百分比. 实现遵从性所需的其余覆盖是通过手工测试实现的.

为什么覆盖率很重要?

今天的敏捷开发实践依赖于自动化来为产品开发团队实现最大的吞吐量. 数字可访问性有时被视为非功能需求,为了满足业务“关键的”功能需求,经常被优先考虑. 开发和QA经理需要提前对资源进行预算和计划. 需要预测自动化可以处理多少工作, 以及需要多少人工资源才能满足产品交付, 时间和预算.

通常是出于这个目的,才提出了覆盖率的问题. 在产品开发的早期阶段可以发现和解决的问题越多, 总成本越低. 此外, 具有高“覆盖率”的自动化工具减少了对专业技能的依赖,并使易访问产品的开发“主流化”成为可能.

可访问性覆盖范围:WCAG标准vs. 个人问题

查看WCAG成功标准的百分比当然是考虑“覆盖率”的一种方式.“在博亿堂手机客户端的分析中,博亿堂手机客户端发现WCAG 2下的50个成功标准中有16个是自动问题.1 AA级. 这支持现在许多专家声称的20%到30%的自动覆盖主张. 然而, 博亿堂手机客户端的分析表明,这个定义并不能准确地反映测试真实web页面时发现的问题的数量. 在实践中, 某些类型的问题比其他类型的问题发生得更频繁, 而且,这可能会导致使用自动化工具发现的总体可访问性问题的百分比更高.

在博亿堂手机客户端的研究, 博亿堂手机客户端看了除以2,使用双端队列的自动化测试工具和手工测试方法进行了000次审计. 在大多数的审计中, 博亿堂手机客户端发现,与手工测试相比,使用自动化测试发现的问题的数量形成了更高的问题百分比.

在大多数的审计中, 博亿堂手机客户端发现,与手工测试相比,使用自动化测试发现的问题的数量形成了更高的问题百分比.

博亿堂手机客户端认为,问题的数量是解决可访问性问题所需努力程度的一个更好的指标. 博亿堂手机客户端发现,在大多数情况下,问题的数量比问题的类型更能影响解决问题的努力. 例如,考虑一个缺少10个字段标签关联的web页面. 而这是一个WCAG标准, 开发人员(在大多数情况下)必须一次解决一个问题. 因此, 处理10个缺失的字段标签关联所需的工作, 虽然可能没有10倍的努力来修复一个, 肯定比修复一个缺失的字段标签关联所需的工作要高得多吗.

以下是博亿堂手机客户端分析的一些关键发现:

57.38% 双端队列的自动化测试发现的所有问题.

在样本数据中包含的所有审计中,博亿堂手机客户端发现平均有57个.双端队列的自动化测试发现了38%的问题.

78% 问题对应5个成功标准

前5个问题类别(WCAG成功标准)占发现的全部问题的78%以上, 这些问题中的大部分是通过自动测试发现的.

前7 自动化问题比例最高的WCAG成功标准是(见附录表2):

值得注意的是在博亿堂手机客户端分析的数据中, 这七个类别占所记录的全部问题的80%以上, 1.4.3 .对比(最小)约占30%.
  • 3.1.1页面语言
  • 4.1.1解析
  • 1.4.3对比(最低)
  • 2.4.1绕过块
  • 1.1.1非文本内容
  • 4.1.2名称、角色、值
  • 1.3.1信息与关系

博亿堂手机客户端认为,问题的数量是解决可访问性问题所需努力程度的一个更好的指标. 博亿堂手机客户端发现,在大多数情况下,问题的数量比问题的类型更能影响解决问题的努力.

表1:WCAG成功标准中存在的问题最多
# 成功标准# 成功标准名称 总问题 手册的问题 汽车的问题 手动% 汽车% SC所有问题的百分比 累计问题百分比
1 1.4.3 对比(最小) 88,714 14,981 73,733 16.89% 83.11% 30.08% 30.08%
2 4.1.2 名称、作用、价值 48,287 22,011 26,276 45.58% 54.42% 16.37% 46.45%
3 1.3.1 信息和关系 36,382 19,950 16,432 54.83% 45.17% 12.33% 58.78%
4 4.1.1 解析 34,488 3,351 31137 9.72% 90.28% 11.69% 70.47%
5 1.1.1 非文本内容 23,701 7,687 16,014 32.43% 67.57% 8.04% 78.51%
6 2.4.3 关注订单 9,553 9,553 0 100.00% 0.00% 3.24% 81.75%
7 2.1.1 键盘 9,412 9,178 234 97.51% 2.49% 3.19% 84.94%
8 2.4.7 焦点可见 7,312 7,312 0 100.00% 0.00% 2.48% 87.42%
9 1.4.11 非文本的对比 4,539 4,539 0 100.00% 0.00% 1.54% 88.96%
10 1.4.1 使用的颜色 3,713 3,261 452 87.83% 12.17% 1.26% 90.22%
11 1.3.2 有意义的序列 3,313 3,313 0 100.00% 0.00% 1.12% 91.34%
12 3.3.2 标签或说明 2,537 2,019 518 79.58% 20.42% 0.86% 92.20%
13 2.4.1 绕过块 2,533 532 2,001 21.00% 79.00% 0.86% 93.06%
14 2.4.2 页面标题 2,211 1,962 249 88.74% 11.26% 0.75% 93.81%
15 3.1.1 页面的语言 2,173 178 1,995 8.19% 91.81% 0.74% 94.54%
#.#.# 剩下的WCAG 2.1 / AA SC 16,090 15,889 201 98.75 % 1.25 % 5.46% 100.00%
总数 294,958 125,716 169,242 42.62 % 57.38 %

有多少数字可访问性可以真正实现自动化?

自动可访问性测试是指规则引擎, 如axe-core, 扫描, 或者分析网页的可访问性问题. 构建这些规则引擎是为了根据可访问性标准进行测试, 如WCAG, 哪些有预定义的标准来判断某物是否可访问. 自动测试工具可以是浏览器扩展, 像斧头DevTools, 或者它们可以是内置在自动化测试环境中的规则引擎.

正如前面提到的, 博亿堂手机客户端分析了13,000 +页/页面状态, 和近300,000个问题,然后发现 57.在首次审计的客户中,有38%的问题可以从自动化测试中找到. 每个数据集将基于发生的问题的数量有一个独特的覆盖率百分比. 博亿堂手机客户端对该数据集的覆盖率百分比的准确性充满信心, 因为这是一个很大的样本规模和各种各样的首次客户.

57.38% 第一次审计的问题可以从自动化测试中找到客户.

测试精度的影响

不是所有的辅助工具都是平等的

易访问性工具的准确性取决于开发人员和创建它们的易访问性专家的协作.

当双端队列使用博亿堂手机客户端的斧头核心驱动工具报告问题时,博亿堂手机客户端排除了误报. 这意味着,任何博亿堂手机客户端不能声明的问题实际上是100%确定的问题,没有这样报告. 假阳性会浪费时间,侵蚀信任,破坏进展. 另外, 如果标记的项目需要手动验证, 或者是最好的做法, 它没有包括在报告的问题中. 这种排斥, 它减少了总数, 确保博亿堂手机客户端不夸大保险覆盖率很重要吗. 这也帮助博亿堂手机客户端保持对最初陈述的覆盖率意图的真实,以提供估计, 规划, 和预测能力.

重复的问题

现代网页经常包含模板(如页眉、页脚、导航等).)在多个页面上重复. 这些模板上出现的任何可访问性问题都很可能一次性修复,并为包含这些模板的所有页面带来好处. 因此,博亿堂手机客户端只在分析中考虑这些公共模板上的问题一次.

例如, 如果标题有8个问题,在10个页面中重复出现, 博亿堂手机客户端的分析只包括8个问题,而不是80个问题. 虽然这可能不是这10个页面中用户体验的准确表现, 它更接近于修复标题上的问题所需要的努力. 计算所有80个问题实际上会增加发现的问题的总体百分比.

总之

可访问性覆盖率不应该由所覆盖的WCAG成功标准的数量来定义, 但是在现实生活中,博亿堂手机客户端可以看到大量的问题. 博亿堂手机客户端的大样本覆盖了广泛的首次审计范围,这为博亿堂手机客户端提供了一个准确的估计,即自动化和半自动化的可访问性工具会覆盖多少问题.

这一新覆盖率为57.38%的自动化测试将给开发团队和
可访问性专家更准确地描述了他们将从使用自动化工具中获得的价值.

如果与适当的半自动化测试方法配对, 比如斧子开发工具中提供的智能引导测试, 这一覆盖范围还可以进一步扩大.
因为博亿堂手机客户端都在继续使网络变得更好, 更具包容性的地方, 重要的是要考虑自动化在帮助博亿堂手机客户端移动指针方面的作用. 通过准确传达它所提供的覆盖范围,重新考虑它到底能产生多大的影响, 你将帮助消除新来者的疑虑, 帮助他们走上可持续的数字可访问性的道路.

*Axe和Intelligent Guided Testing是双端队列 Systems, Inc .的商标.

附录

自动访问数据

表3:成功标准下的问题数量,由自动化问题、手动问题和总问题汇总
# 成功的标准 自动化的问题 手册的问题 总问题
1 1.1.1非文本内容 16,014 7,687 23,701
2 1.2.1音频和视频(预录制) N/A 140 140
3 1.2.2标题(上) N/A 212 212

4

1.2.3音频描述或媒体选择(预录制)

N/A 120 120
5 1.2.4字幕(生活) N/A 7 7

6

1.2.5音频描述(预录)

N/A 98 98
7 1.3.1信息与关系 16,432 19,950 36,382
8 1.3.2有意义的序列 N/A 3,313 3,313
9 1.3.3感官特征 N/A 570 570
10 1.3.4个方向 N/A 44 44
11 1.3.5确定输入目的 132 730 862
12 1.4.1颜色的使用 452 3,261 3,713
13 1.4.4调整文本* 1,668 2,099 3,767
14 1.4.2音频控制 N/A 3 3
15 1.4.3对比(最低) 73,733 14,981 88,714
16 1.4.5文字图像 N/A 1,77 8 1,778
17 1.4.10回流 N/A 1,181 1,181
18 1.4.11非文本的对比 N/A 4,539 4,539
19 1.4.12个文本间距 15 657 672
20 1.4.13悬停或焦点上的内容 N/A 685 685
21 2.1.1键盘 234 9,178 9,412
22 2.1.2无键盘陷阱 N/A 377 377
23 2.1.4快捷键 N/A 3 3
24 2.2.1时间可调 22 381 403
25 2.2.2暂停,停止,隐藏 N/A 560 560
26 2.3.1闪烁三次或低于阈值 N/A 3 3
27 2.4.1绕过块 2,001 532 2,533
28 2.4.2页标题 249 1,962 2,211
29 2.4.3关注订单 N/A 9,553 9,553
30 2.4.4链接目的(在上下文中) N/A 1,376 1,376
31 2.4.5多种方式 N/A 181 181
32 2.4.6标题和标签 N/A 1,228 1,228
33 2.4.7可见焦点 N/A 7,312 7,312
34 2.5.1指针手势 N/A 7 7
35 2.5.2指针取消 N/A N/A N/A
36 2.5.3标签名称 32 495 527
37 2.5.2指针取消 N/A N/A N/A
38 3.1.1页面语言 1,995 178 2,173
39 3.1.2部件语言 N/A 317 317
40 3.2.1专注 N/A 167 167
41 3.2.2输入 N/A 281 281
42 3.2.3一致的导航 N/A 17 17
43 3.2.4一致的识别 N/A 10 10
44 3.3.1错误标识 N/A 668 668
45 3.3.2标签或使用说明 518 2,019 2,537
46 3.3.3错误的建议 N/A 142 142
47 3.3.4错误预防(法律、财务、数据) N/A 15 15
48 4.1.1解析 31,137 3,351 34,488
49 4.1.2名称、角色、值 26,276 22,011 48,287
50 4.1.3状态消息 N/A 1,337 1,337

*Axe-core包含一个自动检查标准的规则.4.4调整文本. 该规则在版本3中从失败降级为最佳实践.5. 因此, 作为分析的一部分, 这些1,自动报告的668个故障问题已被删除,并没有包括在摘要中.

表4:WCAG成功标准中问题的百分比,按类别中自动化百分比递减排序
# 成功的标准 类别自动化百分比 合计自动化百分比 总问题百分比
1 3.1.1页面语言 91.81% 0.68% 0.74%
2 4.1.1解析 90.28% 10.56% 11.69%
3 1.4.3对比(最低) 83.11% 25.00% 30.08%
4 2.4.1绕过块 79.00% 0.68% 0.86%
5 1.1.1非文本内容 67.57% 5.43% 8.04%
6 4.1.2名称、角色、值 54.42% 8.91% 16.37%
7 1.3.1信息与关系 45.17% 5.57% 12.33%
8 3.3.2标签或使用说明 20.42% 0.18% 0.86%
9 1.3.5确定输入目的 15.31% 0.04% 0.29%
10 1.4.1颜色的使用 12.17% 0.15% 1.26%
11 2.4.2页标题 11.26% 0.08% 0.75%
12 2.5.3标签名称 6.07% 0.01% 0.18%
13 2.2.1时间可调 5.46% 0.01% 0.14%
14 2.1.1键盘 2.49% 0.08% 3.19%
15 1.4.12个文本间距 2.23% 0.01% 0.23%
16 1.2.5音频描述(预录) 0.00% 0.00% 0.03%
17 1.2.2标题(上) 0.00% 0.00% 0.07%
18 [2] [3] 1.2.3音频描述或媒体选择(预录制) 0.00 % 0.00% 0.04%
19 1.4.5文字图像 0.00 % 0.00% 0.60%
20 3.3.1错误标识 0.00 % 0.00% 0.23%
21 2.4.4链接目的(在上下文中) 0.00 % 0.00% 0.47%
22 2.4.3关注订单 0.00% 0.00% 3.24%
23 2.4.7可见焦点 0.00% 0.00% 2.48%
24 1.4.11非文本的对比 0.00% 0.00% 1.54%
25 1.3.2有意义的序列 0.00% 0.00% 1.12%
26 1.4.4调整文本* 0.00% 0.00% 0.71%
27 4.1.3状态消息 0.00% 0.00% 0.45%
28 2.4.6标题和标签 0.00% 0.00% 0.42%
29 1.4.10回流 0.00% 0.00% 0.40%
30 1.4.13悬停或焦点上的内容 0.00% 0.00% 0.23%
31 1.3.3感官特征 0.00% 0.00% 0.19%
32 2.2.2暂停,停止,隐藏 0.00% 0.00% 0.19%
33 2.1.2无键盘陷阱 0.00% 0.00% 0.13%
34 3.1.2部件语言 0.00% 0.00% 0.11%
35 3.2.2输入 0.00% 0.00% 0.10%
36 2.4.5多种方式 0.00% 0.00% 0.06%
37 3.2.1专注 0.00% 0.00% 0.06%
38 3.3.3错误的建议 0.00% 0.00% 0.05%
39 1.2.1音频和视频(预录制) 0.00% 0.00% 0.05%
40 1.3.4个方向 0.00% 0.00% 0.01%
41 3.2.3一致的导航 0.00% 0.00% 0.01%
42 3.3.4错误预防(法律、财务、数据) 0.00% 0.00% 0.01%
43 3.2.4一致的识别 0.00% 0.00% 0.00%
44 1.2.4字幕(生活) 0.00% 0.00% 0.00%
45 2.5.1指针手势 0.00% 0.00% 0.00%
46 1.4.2音频控制 0.00% 0.00% 0.00%
47 2.1.4快捷键 0.00% 0.00% 0.00%
48 2.3.1闪烁三次或低于阈值 0.00% 0.00% 0.00%

半自动化智能引导测试数据

表5:由IGT提供的WCAG成功标准的问题数量
# 成功的标准 IGT的报道 总问题
1 1.1.1非文本内容 完整的 23,458
2 1.2.1音频和视频(预录制) [4] [5] 部分 111
3 1.2.2标题(上) [6] [7] 完整的 212
4 1.2.3音频描述或媒体选择(预录制) [8] [9] 部分 120
5 1.3.1信息与关系 完整的 23,935
6 1.3.1信息与关系 部分 10,795
7 1.3.2有意义的序列 部分 3,110
8 1.4.1颜色的使用 部分 1,033
9 1.4.3对比(最低) 部分 88,714
10 1.4.5文字图像 完整的 1,778
11 2.1.1键盘 完整的 9,404
12 2.1.2无键盘陷阱 完整的 377
13 2.2.1时间可调 部分 403
14 2.4.1绕过块 完整的 2,533
15 2.4.2页标题 完整的 2,211
16 2.4.3关注订单 部分 9,553
17 2.4.4链接目的(在上下文中) 完整的 1,376
18 2.4.6标题和标签 完整的 1,182
19 2.4.7可见焦点 完整的 7,312
20 3.1.1页面语言 完整的 2,173
21 3.3.1错误标识 完整的 668
22 3.3.2标签或使用说明 完整的 2,152
23 4.1.1解析 完整的 33,279
24 4.1.2名称、角色、值 部分 48,287

完全覆盖:暗示总问题列中的所有问题都可以通过IGT发现.

部分覆盖:暗示IGT中的规则不覆盖这些成功标准的所有可能场景. 总问题列中问题的百分比(取决于页面内容)可能是通过IGT发现的. 表6显示了使用部分 coverage发现的总体问题的敏感性.

表6:对于IGT部分覆盖的标准,总体问题的敏感性计算到覆盖率百分比.
# 成功的标准 类别自动化百分比 合计自动化百分比 总问题百分比
1 3.1.1页面语言 91.81% 0.68% 0.74%
2 4.1.1解析 90.28% 10.56% 11.69%
3 1.4.3对比(最低) 83.11% 25.00% 30.08%
4 2.4.1绕过块 79.00% 0.68% 0.86%
5 1.1.1非文本内容 67.57% 5.43% 8.04%
6 4.1.2名称、角色、值 54.42% 8.91% 16.37%
7 1.3.1信息与关系 45.17% 5.57% 12.33%
8 3.3.2标签或使用说明 20.42% 0.18% 0.86%
9 1.3.5确定输入目的 15.31% 0.04% 0.29%
10 1.4.1颜色的使用 12.17% 0.15% 1.26%
11 2.4.2页标题 11.26% 0.08% 0.75%
12 2.5.3标签名称 6.07% 0.01% 0.18%
13 2.2.1时间可调 5.46% 0.01% 0.14%
14 2.1.1键盘 2.49% 0.08% 3.19%
15 1.4.12个文本间距 2.23% 0.01% 0.23%
16 1.2.5音频描述(预录) 0.00% 0.00% 0.03%
17 1.2.2标题(上) 0.00% 0.00% 0.07%
18 [2] [3] 1.2.3音频描述或媒体选择(预录制) 0.00 % 0.00% 0.04%
19 1.4.5文字图像 0.00 % 0.00% 0.60%
20 3.3.1错误标识 0.00 % 0.00% 0.23%
21 2.4.4链接目的(在上下文中) 0.00 % 0.00% 0.47%
22 2.4.3关注订单 0.00% 0.00% 3.24%
23 2.4.7可见焦点 0.00% 0.00% 2.48%
24 1.4.11非文本的对比 0.00% 0.00% 1.54%
25 1.3.2有意义的序列 0.00% 0.00% 1.12%
26 1.4.4调整文本* 0.00% 0.00% 0.71%
27 4.1.3状态消息 0.00% 0.00% 0.45%
28 2.4.6标题和标签 0.00% 0.00% 0.42%
29 1.4.10回流 0.00% 0.00% 0.40%
30 1.4.13悬停或焦点上的内容 0.00% 0.00% 0.23%
31 1.3.3感官特征 0.00% 0.00% 0.19%
32 2.2.2暂停,停止,隐藏 0.00% 0.00% 0.19%
33 2.1.2无键盘陷阱 0.00% 0.00% 0.13%
34 3.1.2部件语言 0.00% 0.00% 0.11%
35 3.2.2输入 0.00% 0.00% 0.10%
36 2.4.5多种方式 0.00% 0.00% 0.06%
37 3.2.1专注 0.00% 0.00% 0.06%
38 3.3.3错误的建议 0.00% 0.00% 0.05%
39 1.2.1音频和视频(预录制) 0.00% 0.00% 0.05%
40 1.3.4个方向 0.00% 0.00% 0.01%
41 3.2.3一致的导航 0.00% 0.00% 0.01%
42 3.3.4错误预防(法律、财务、数据) 0.00% 0.00% 0.01%
43 3.2.4一致的识别 0.00% 0.00% 0.00%
44 1.2.4字幕(生活) 0.00% 0.00% 0.00%
45 2.5.1指针手势 0.00% 0.00% 0.00%
46 1.4.2音频控制 0.00% 0.00% 0.00%
47 2.1.4快捷键 0.00% 0.00% 0.00%
48 2.3.1闪烁三次或低于阈值 0.00% 0.00% 0.00%

欲查阅本报告的PDF版本,请浏览: 双端队列.com/coverage-report/.