Refer link : https://medium.com/swlh/challenges-and-solutions-to-mobile-app-testing-56748fd50b3e

    Ngày nay điện thoại thông minh có mặt ở khắp mọi nơi và như một cuộc cách mạng, nó đã và đang tạo ra một số lượng lớn các ứng dụng để theo kịp nhu cầu và mong muốn của người dùng. Các doanh nghiệp ngày càng nhận thấy rằng cần phải có một ứng dụng để duy trì mối liên hệ và kết nối với người dùng của họ. Ngoài ra, các thiết bị cầm tay của người dùng đã phát triển vượt ra ngoài một ứng dụng đang hoạt động trong giới hạn của nó. Các ứng dụng hiện hoạt động song song như công nghệ, xe cộ và thiết bị gia dụng có thể đeo được. Các coders đang phải đối mặt với những thách thức và testers cũng không nằm ngoài số đó . Với bối cảnh phát triển mà chúng ta đang làm việc ngày nay thì một giải pháp phù hợp cho tất cả đã là dĩ vãng.

    Và đừng quên rằng kiểm thử các ứng dụng di động phức tạp hơn kiểm thử trên máy tính hoặc các ứng dụng web . Điều này sẽ không thúc đẩy bạn bỏ qua các nhu cầu thử nghiệm của mình. Nhìn vào thị trường ngày hôm nay quyết định chất lượng dịch vụ của bạn. Thuyết phục người tiêu dùng mục tiêu tải xuống ứng dụng của bạn sẽ không khó bằng việc thuyết phục họ tiếp tục sử dụng khi họ gặp lỗi, hiệu suất thấy; có đủ các ứng dụng tuyên bố thực hiện gần như chính xác những gì ứng dụng của bạn hứa hẹn. Vậy Điều khiến bạn trở nên khác biệt là dịch vụ mà bạn xếp lớp theo mục đích mà ứng dụng của bạn muốn phục vụ. Một khi user gặp lỗi, hiệu suất thấp , lỗi chức năng, vấn đề tương thích thiết bị... đều dẫn đến trải nghiệm người dùng không tốt. Đừng mắc sai lầm khi thỏa hiệp với thử nghiệm. Nó không còn là về việc khởi chạy một ứng dụng được phát triển và thử nghiệm tốt. Bạn phải tiếp tục nâng cấp và cải thiện dịch vụ bạn cung cấp để đảm bảo người dùng của bạn không bao giờ nghĩ đến việc rời đi. Hãy cùng xem những thách thức phải đối mặt khi thử nghiệm các ứng dụng di động.

Thách thức

    Nhiều công ty không có đủ effort, khả năng điều hướng với nhiều hệ điều hành, nền tảng, dịch vụ và các thiết bị... Nhưng khi họ hiểu rằng việc kiểm thử là cần thiết và quyết định thực hiện điều cần thiết này thì sau đây là những thách thức thường phải đối mặt :

1. Phân mảnh thiết bị, nền tảng và hệ điều hành:

    Không có gì ngạc nhiên khi điều này đã chiếm vị trí đầu tiên trong list. Trên thế giới có khoảng 2 tỷ thiết bị Android và hơn 1 tỷ người dùng iOS. Nếu như Android tự hào với hơn 4000 thiết bị khác nhau thì iOS lại đi kèm với những con số đáng báo động. Tuy nhiên, phân mảnh thiết bị là một vấn đề đối với hệ điều hành Android. Những con số này bao gồm thiết bị cầm tay, điện thoại di động, iPad, máy tính bảng, thiết bị điện tử đeo được...Tất nhiên, vấn đề này sẽ chỉ trở nên thách thức hơn khi thị trường phát triển với càng nhiều thiết bị và nền tảng hơn. Sự đa dạng này khiến team QA của bạn không thể đảm bảo liệu một ứng dụng được thử nghiệm có hoạt động tốt tương tự trên một thiết bị khác từ cùng dòng sản phẩm đã được thử nghiệm tốt hay không vì CPU, bộ nhớ, độ phân giải màn hình, tối ưu hóa hệ điều hành và phần cứng có thể khác nhau.

    Mình chắc rằng bạn đã bắt gặp hình ảnh này bởi vì bạn sẽ tìm thấy nó ở bất cứ nơi nào thảo luận về phân mảnh thiết bị. Hình ảnh này đặt một bức tranh lớn cho thách thức của bạn. Nó đại diện cho một biểu đồ dữ liệu của khoảng 12.000 thiết bị Android khác nhau tồn tại vào tháng 7 năm 2013. So sánh với năm 2012, có khoảng 4.000 thiết bị. Với những con số thống trị thị trường hiện nay, chúng mình hiểu áp lực mà team của bạn đang phải chịu, với mục đích là cung cấp trải nghiệm người dùng mượt mà cho người dùng của bạn trên các nền tảng, thiết bị và hệ điều hành khác nhau.

2. Các loại ứng dụng di động khác nhau:

    Ứng dụng di động của bạn có thể là Native, Web-based hoặc Hybrid. Mỗi kịch bản case thử nghiệm sẽ khác nhau vì cách triển khai của chúng khác nhau, đặc biệt là khi bạn đang thực hiện kiểm tra performance, stress,compatibility testing và conformance testing. Mặt khác, Native sẽ có ít phạm vi thử nghiệm hơn so với Web-bases và Hybrid khi yêu cầu cả thử nghiệm trong và ngoài nền tảng. Các ứng dụng web phải được kiểm tra nhiều hơn về việc lựa chọn phiên bản trình duyệt và Native, Hybrid apps để thực thi, tải xuống, khả năng tương thích, tương tác nền tảng và cập nhật.

3. Các nhà khai thác mạng di động:

    Bạn có thể đã thử nghiệm mọi chức năng của ứng dụng của mình và tất cả chúng đều hoạt động hoàn hảo. Trong thế giới thực, khi User của bạn cố gắng sử dụng một chức năng và ứng dụng thực thi chức năng đó như bình thường, nhưng cứ loading tận tầm 8 giây do sự cố tải hoặc do mạng không tốt. User của bạn lại cho rằng nó bị lỗi và xóa nó. Ứng dụng của bạn lại phải hoạt động tốt cả ở online, offline, real-time ... Users ngày nay sử dụng các ứng dụng khi di chuyển. Hãy tưởng tượng mọi thứ bạn phải đối mặt như thay đổi mạng, chuyển vùng, tín hiệu yếu... Phân mảnh ở đây tồi tệ hơn rất nhiều so với khi chúng ta thảo luận về các hệ điều hành khác nhau ở mục 1. Trình giả lập mạng sẽ cung cấp cho bạn một chút rõ ràng hơn, cung cấp cho bạn mức thử nghiệm cơ bản. Và thử nghiệm trên network thực vẫn rất quan trọng.

4. Bảo mật:

    Users của bạn lưu trữ và chia sẻ dữ liệu cá nhân và dữ liệu quan trọng của họ trên các ứng dụng của bạn, bạn bắt buộc phải thực hiện các biện pháp để đảm bảo quyền riêng tư của dữ liệu. Việc kiểm tra ứng dụng của bạn trên Cloud Private và an toàn sẽ cung cấp quyền truy cập cần thiết cho Team Testing để đảm bảo không xảy ra vi phạm dữ liệu. Điều này sẽ giúp bạn nhận ra các vấn đề bảo mật nhanh hơn. Khắc phục những vấn đề này trước khi lên production sẽ giúp bạn tiết kiệm tiền Vì một lỗi được sửa trước khi lên production sẽ tiết kiệm chi phí khoảng 20 lần so với bug được sửa sau đó.

    Automation Tool duy nhất để đáp ứng tất cả các nhu cầu tự động hóa kiểm tra trên thiết bị di động của bạn là gì? Hiện tại không có một tiêu chuẩn phù hợp cho tất cả. Có rất nhiều Tools trên thị trường. Và thật khó để lựa chọn trừ khi bạn có chiến lược kiểm thử thiết bị di động hợp lý và hiểu chính xác những gì bạn cần ưu tiên. Bạn sẽ sớm nhận ra: mặc dù có một loạt Tools của bên thứ ba và mã nguồn mở để thử nghiệm trên thiết bị di độngnhưng mỗi công cụ đều có những hạn chế và bạn sẽ phải tùy chỉnh nó cho phù hợp với nhu cầu thử nghiệm của mình. Hãy sử dụng một số công cụ mã nguồn mở phổ biến.

Giải pháp

    Bạn có thể tham khảo các solutions mà mình note dưới đây nhé :

1.     Đầu tiên là : Số tiền mà bạn đầu tư vào thử nghiệm ứng dụng di động sẽ quyết định trải nghiệm khách hàng của bạn hoàn hảo đến mức nào. Sự không hài lòng ngày càng cao có nghĩa là user sẽ không bỏ qua cho bất cứ một lỗi nào cho dù ứng dụng của bạn có tuyệt vời đến đâu. Họ thậm chí có xu hướng liên kết thương hiệu của bạn với list lỗi. Và Cho dù những thách thức của việc thử nghiệm các ứng dụng di động hiện nay có vẻ khó khăn như thế nào thì các giải pháp đều khá đơn giản và chủ yếu là bạn hiểu ngữ cảnh đến mức nào.

2.     Sự thành công của ứng dụng phụ thuộc rất nhiều vào tính đơn giản về giao diện. Hầu hết các ứng dụng đều phải đối mặt với các thử thách kiểm thử thiết bị di động thường xuyên và cách dễ nhất để tránh sự phức tạp bổ sung đi kèm với nhiều cấu trúc ứng dụngđó chính là loại bỏ sự rườm rà.

3.     Hãy tìm khách hàng của bạn. Xác định user được nhắm mục tiêu và tìm ra thiết bị phổ biến nhất được sử dụng. Bạn sẽ tiết kiệm được rất nhiều thời gian và nó sẽ giúp bạn giải quyết các vấn đề bạn cần giải quyết trước tiên.

4.     Performance Testing phải được thực hiện rộng rãi. Ứng dụng của bạn hoạt động ngoại tuyến như thế nào? Ví dụ: nếu ứng dụng của bạn lưu vé lên máy bay và người dùng của bạn không được kết nối với bất kỳ mạng nào, thì họ sẽ truy cập bằng cách nào? Các tốc độ Wi-Fi, cường độ tín hiệu, mạng 2G, 3G và 4G khác nhau ảnh hưởng đến hiệu suất của ứng dụng của bạn như thế nào? Điều gì xảy ra khi người dùng của bạn chuyển sang mạng 3G hoặc nếu mất mạng ? Bảo mật trong khi chia sẻ và lưu trữ dữ liệu trong các mạng khác nhau cũng phải được nghiên cứu.

5.     Mobile simulators and emulators là các công cụ kiểm tra cần thiết, cho phép chúng ta thực hiện Regression Testing thường xuyên và xác nhận các chức năng chung. Nhưng với Mobile simulators and emulators , thử nghiệm được tiến hành trong một môi trường được mô phỏng và không có thật. Những lợi ích được cung cấp bởi các Tools này là có giới hạn và không bao giờ thay thế được thử nghiệm “trong tự nhiên”. Sử dụng trình Mobile simulators and emulators cùng với thử nghiệm trong thực tế và kết quả sẽ không làm bạn thất vọng.

6.     Automation Test là một lợi ích khi được sử dụng một cách thận trọng. Nhưng bao nhiêu trong số đó? Automation Test ngày càng được sử dụng nhiều hơn để giảm các chu kỳ kiểm thử và rút ngắn thời gian cần thiết để đưa sản phẩm ra thị trường. Tuy nhiên sẽ không phải là khôn ngoan nếu auto mọi thứ. Automation Test sẽ thiên về hiểu khi nào và ở đâu để sử dụng nó trong vòng đời dự án của bạn, nhưng nó không phải là sự thay thế cho Manual Test. Để khai thác tất cả các lợi thế của Automation Test hãy sử dụng cloud để làm cho mobile testing team của bạn hiệu quả hơn và năng suất hơn. Hình dung người thử nghiệm của bạn với máy tính trên đó có một bộ thử nghiệm di động bao gồm automation, network virtualization, and load tools giúp người thử nghiệm của bạn hoàn thành công việc trong thời gian kỷ lục.

7.     Mục tiêu của QA là đảm bảo trải nghiệm tuyệt vời trên giao diện phổ biến nhất giữa users và business của bạn. Người dùng hài lòng là nhân viên bán hàng giỏi nhất của bạn và thử nghiệm trên thiết bị di động là thứ biến họ thành đại sứ thương hiệu của bạn. Người thử nghiệm nên suy nghĩ xa hơn những gì học được theo cách truyền thống và tương tác với các BA và marketing teams để hiểu những phần nào của ứng dụng đang làm phiền khách hàng và những mục làm họ hài lòng . Có một ứng dụng nổi bật so với các đối thủ cạnh tranh là một cách tốt để các công ty nhỏ hơn có thể chiến đấu với những công ty lớn hơn.

Tóm lại:

    Một chiến lược kiểm thử di động hiệu quả sẽ tạo thành xương sống để bạn cung cấp các ứng dụng đáng tin cậy, hiệu suất cao. Những thách thức của thử nghiệm di động thường là duy nhất đối với mỗi công ty và do đó giải pháp cũng sẽ phụ thuộc vào bối cảnh. Giải pháp sẽ là sự kết hợp của các Tools , frameworks, platforms ,con người Và cuối cùng là đạt được sự cân bằng tốt nhất giữa chi phí, chất lượng và thời gian đưa ra thị trường. Cuối cùng, không có gì giúp giải quyết thách thức nhanh hơn việc hợp tác với những cộng sự phù hợp.