『软件测试』大家聊聊关于测试环境管理吧。

fatdolphin

不知道我有没有理解lz的意思，感觉lz这个要求有点网络管理的意思，就是实时监测各个系统的运行情况以及指定端口是否有效。找找snmp相关的集成系统吧，比如nagios。

saarchinese

fatdolphin 发表于 2013-9-18 23:24
不知道我有没有理解lz的意思，感觉lz这个要求有点网络管理的意思，就是实时监测各个系统的运行情况以及指定 ...

对于网络监控或者网络管理来说 nagios 确实是很好的选择。

对于测试环境的管理，监控端口只是其中的一个手段，然而因为系统的复杂性和多样性，很多情况下是无法实现监控端口的，我只是举了一个例子来实现监控系统是否 verfuegbar 。也有很多其他情况，比如负责系统的人或者机器按时按量发送系统 downtime 的提示，或者针对不同系统随时开的有可能 blockieren 掉系统的 ticket，或者还有不为人知的由于某种原因系统 nicht verfuegbar 的情况（比如被监控到的，或者被每天的 Antest / 计划的 regressiontest / 不定时的 ad hoc test 等发现的），被发现后，如何能及时让所有人用特定方式知道相关信息，等等。我指的测试环境管理，重点是对各方面环境信息的管理和信息发布的及时性的实现。

fatdolphin

ok,总结一下你的需求
1 随时监控系统和相应端口的情况
2 支持ticket系统， 此处包括machine/application/system owner发布的downtime以及人工发现的system down。
3 ticket系统支持自动request和自动handling

如果只是这些的话，nagios有好多插件支持，比如Nagios XI，另外nagios不少插件都是开源的，可以进行2次开发

woo2333

the non-deterministic Tests should be eradicated.

雪候鸟

这种跨系统的测试要做到完完全全就根本不可能。 适当能过得去就行了，任何事情务必不要追求完美，那可太苦了自己。

saarchinese

雪候鸟 发表于 2013-9-19 22:14
这种跨系统的测试要做到完完全全就根本不可能。 适当能过得去就行了，任何事情务必不要追求完美，那可太苦 ...

测试如果是基于 business case 的话，测试还是可以达到百分之百覆盖率的，不是太辛苦了自己，而是公司这么要求的。测试环境管理好的话，就能让测试的人工作更有效率，进而不那么辛苦。

ljrky

一个比较取巧的办法是获得开发人员的帮助,通过调用系统的API来准备测试数据. 比如说根据需要生成某种类型的账户,最方便的办法是直接对数据库的值进行操作. 不过这样的做法和做一个mock没有特别大的区别,在有很多外围系统的情况下,这种做法需要考虑到开发这类工具的投资回报.

saarchinese

ljrky 发表于 2013-9-20 09:41
一个比较取巧的办法是获得开发人员的帮助,通过调用系统的API来准备测试数据. 比如说根据需要生成某种类型的 ...

我们这里有专门负责生成测试数据的组，比如生成特定客户，设定特定资源等等。这是测试领域的另外一个 Thema：测试数据。经常遇到的问题就是测试数据本身有问题或者不符合测试的要求，也会造成同样的测试质量不高，测试拖延的问题。我这里主要想就测试环境的管理和监控进行讨论。看看有没有什么好的软件支持。

另外，针对你说的 mock 方法，就涉及到测试层次的问题，如果底层的 integration 就需要 stubs 和 drivers，软件的话通常用所谓的 simulator 完成，如果高层 integraion，基本完成后就进 produktion 的话，就必须全部要用真实的系统了，有时甚至测试数据都要用 produktion 的（根据保密条款，是需要预处理一下的）。