兼容性測試
針對App通常會考慮這些方面:
1、操作系統版本
包括Andoird版本,iOS版本
2、屏幕分辨率
android 800480, 960640,1280720(720p),19201080(1080p),25601440(2k).
對于iOS,考慮最近幾代機型對應的分辨率即可.
3、不同廠家的ROM
不同廠家的ROM,大多廠家都對android 系統進行了定制、實際中會遇到例如調用相機和底層服務出現的不兼容問題以及搖一搖遇到的不同手機對于方向和重力傳感器靈敏度設置不同的問題.
4、網絡類型
網絡類型通常考慮wifi,2g,3g4g下的功能情況。另外針對m版網站考慮不同瀏覽器類型和屏幕分辨率.
流量測試
在移動產品的測試中,很有必要對App使用的流量進行度量,大致來說,流量可以從用戶使用的的相關性角度分為:一類是用戶的操作直接導致的流量消耗;另一類是后臺,即在用戶沒有直接使用情況下的流量消耗。
流量的測試方法:
1、基于系統自帶功能.
eg android proc/uid_stat/{uid} /tcp_send
android proc/uid_stat/{uid} /tcp_rcv
2、通過API或者系統埋點來獲取數據。
3、通用的流量測試方法:手機抓包,或者wifi代理(Fiddler, Charles)。
常見的流量節省方法:
1、數據壓縮。
2、壓縮包含接口文本數據的壓縮,js文件的壓縮及圖片的壓縮。
3、不同數據格式的采用
例如采用JSON格式作為接口數據返回格式通常比XML格式要小。
4、控制訪問的頻次
這個主要針對后臺數據上報,PUSH消息檢查等定時機制的。
5、只獲取必要的數據
有時候APP一頁的內容非常多,而用戶可能只會看一部分,過多的從后臺拉去數據就是浪費,所以可以采用分屏加載或者懶加載的方式來減少流量消耗。
6、緩存
可將圖片,js等數據暫存起來,但由于手機存儲空間有限,也需要控制整個緩存大小,并給用戶提供清理緩存的選項。
7、針對不同網絡類型設計不同的訪問策略
有些APP不同的網絡類型返回的內容不一樣。
電量測試
在電器電池技術沒有取得巨大突破前提下,這方面始終會存在一些瓶頸,如果一些App架構設計的不好,或者代碼偶缺陷,就可能導致電量消耗比較高,所以電量測試也是很重要的。
工具 GSam Battery Monitor Pro.
弱網絡測試
移動互聯網產品相比PC互聯網產品,有一個特點是前者使用的網絡比較多樣,除了Wif之外,很多時候是在移動網絡下使用的,移動網絡遇到的情況又比較復雜,比如地鐵、隧道、體育場等。所以網絡不穩定的情況是比較容易發生的,很多情況下App的一些問題是在復雜的網絡情況下才會暴露,與其讓用戶發現和投訴這些問題,不如我們在測試階段盡量模擬這樣的網絡情況,及早發現和修復這些問題。
工具:
Windows下的Network Delay Simulator
Mac下的Network Link Conditioner
穩定性測試
在保證基本功能正確基礎之上,App的穩定性就顯得非常重要,如果一個App經常出現閃退或者卡死,那么用戶體驗就會受到很大傷害,在有其他競爭產品的情況下很容易造成用戶的流失。
安全測試
1、包括安裝包的安全測試(能否反編譯代碼、安裝包是否簽名,完整性校驗,權限設置檢查等)。
2、敏感信息測試(數據庫,日志,配置文件)。
3、軟鍵盤劫持(金融類APP登錄頁面的用戶名密碼輸入框)、
賬戶安全(密碼是否明文,密碼傳輸是否加密,賬戶輸入錯誤次數過多鎖定,同時會話提醒, 注銷機制)
數據通信安全(關鍵數據是否散列或加密,關鍵連接是否使用安全通信,是否對數字證書合法性進行驗證,是否校驗數據合法性。
4、組件安全測試。
5、服務器端接口測試(SQL注入測試、XSS跨站腳本攻擊, CSRF跨站請求偽造,越權訪問等)。
環境相關的測試
在實際項目中,有一些缺陷我發現是和App所處的運行環境相關的,所以設計測試的時候,要多考慮這些場景,比如:
1、干擾測試
收到電話、收到短信、收到通知欄消息、無電提示框彈出、第三方安全軟件告警彈出。
2、權限測試
一些用戶在實際使用App的時候回有意識阻止某些功能。例如有的用戶感覺讓某個App訪問電話本或者相冊可能泄漏隱私,就在手機中設置了禁止了該App訪問相冊的權限。
3、邊界測試
手機環境本身也有其邊界情況需要在測試中覆蓋。常見的場景有:
可用存儲空間過少、沒有SD卡/雙SD卡、飛行模式、系統時間有誤(晚于和早于標準時間)、第三方依賴(比如我們的App依賴第三方App,但是現在第三方App沒有安裝或者版本過低的測試情況)。
4、Android定位測試
用白盒方式模擬