---

Якщо документований текст запропоновано в діалозі, користувач повинен мати можливість прямого доступу до підпунктів, наприклад, за допомогою вибирання з представленої таблиці змісту або за допомогою пошукової функції, заснованої на ключових словах.

Нічого не потрібно. Однак, твердження ефективності в описі продукту повинні бути узгоджені.

Нічого не потрібно. Однак, твердження по супроводженості в описі продукту повинні бути узгоджені.

Нічого не потрібно. Однак, твердження щодо мобільності в описі продукту повинні бути узгоджені.

4 ІНСТРУКЦІЇ ДЛЯ ТЕСТУВАННЯ

Інструкції у 4.1—4.5 вказують, як потрібно тестувати продукт на відповідність вимогам якості. Вони містять як тестування властивостей, що вимагаються від усіх узгоджуваних продуктів, так і тестування властивостей, обіцяних в описі продукту. Вони містять як тестування вивченням до­кументів, так і тестування програм і даних методом «чорного ящика».

Ці інструкції описують функційне тестування (тестування методом «чорного ящика»). Струк­турного тестування не розглядають, оскільки воно б зажадало наявності вихідного коду.

Продукт тестують тільки у системах, яких він потребує. Ергономічне оцінювання робочого місця за комп’ютером у цьому стандарті не розглянуто.

Примітка 1. Ці інструкції в першу чергу спрямовані на тестування третьою стороною відповідно до деякої схеми серти­фікації (див. 1 с)). Під час роботи можливо дешевше і більш ефективно використовувати структурне тестування.

Примітка 2. Розділ 4 не містить вимог до пакетів програм (усі вони містяться в розділі 3). Пакет програм може відпові­дати вимогам і без тестуванння згідно з розділом 4, і такий тест може не знайти наявну невідповідність.

Примітка 3. Оскільки потрібну систему визначає опис продукту, то будь-яку невідповідність продукту потрібній системі розглядають як невідповідність продукту.

Примітка 4. Схема сертифікації може містити тестування, яке проводять за рекомендаціями (на вибір).

Примітка 5. Посібник з ергономічного оцінювання міститься у ISO 9241-11.

Для тестування пакета програм потрібно постачати всі його елементи (див. 3.1.2 h)), також повинні бути надані й документи з вимогами, ідентифіковані в описі продукту (див. 3.1.2 е)).

Для тестування пакета програм потрібно, щоб були в наявності складові частини всіх комп’ю­терних систем, названих в описі продукту.

Якщо в описі продукту згадано навчання, то тестувальник повинен мати доступ до навчаль­ного матеріалу і навчальної програми.

Опис продукту, документація користувача, програми і будь-які дані, що постачені як частини пакета програм

Цілі тесту повинні випливати з вимог розділу 3 і включати усі (завершеність, стійкість тощо).

Якщо в описі продукту згадані інші продукти, то ці продукти потрібно тестувати тільки за ви­могами, що містяться в описі тестованого продукту.

Деталі в описі продукту, у документації користувача, у функціях або у даних продукту не ма­ють потребу в тестуванні, якщо тестувальник вважає, що:

Такі деталі, які не тестують, повинні бути наведені в записах тесту й у звіті про тестування. Причини, з яких їх не тестують, повинні бути задокументовані в записах про тестування.

Потрібно протестувати виконання вимог і рекомендацій розділу 3.

Потрібно протестувати виконання вимог і рекомендацій розділу 3.

Потрібно протестувати виконання вимог і рекомендацій розділу 3.

Програми потрібно протестувати у всіх комп’ютерних системах, які названі в описі продукту.

Якщо існує кілька варіантів програми, кожен з них потрібно протестувати. Функції, які відпов­ідно до опису продукту і документації користувача ідентичні в ряді варіантів, можуть бути протес- товані кожна в одному варіанті.

Програми і дані, що відносяться до них, потрібно протестувати з використанням варіантів те­стування, побудованих на підставі опису продукту і документації користувача. Подальший матер­іал (наприклад, вихідні програми) не має потреби в розгляді, якщо це не є необхідним під час те­стування тверджень в описі продукту або у документації користувача. Варіанти тесту потрібно бу­дувати методично і систематично.

Примітка. Дозволено тестування за методикою випадкового вибирання.

Якщо в документації користувача наведено приклади, то їх потрібно використовувати як ва­ріанти тесту, але тестування не потрібно обмежувати цими прикладами.

Можуть бути використані варіанти тесту, забезпечені постачальником пакета програм, але тестування не потрібно обмежувати цими варіантами тесту.

1. Інсталяція

Якщо, відповідно до опису продукту, інсталяцію може проводити користувач, то потрібно про­тестувати інсталяцію програми та її успішне завершення, як це описано у настанові з інсталяції.

Інакше потрібно гарантувати, що апаратне і програмне середовище інстальованих програм відповідає твердженням опису продукту для розглянутої комп’ютерної системи.

2. Виконання програм

Варіанти тесту повинні покривати усі функції, наведені в описі продукту і документації кори­стувача, а також повинні враховувати комбінації функцій, які є репрезентативними для робочого завдання.

Програми потрібно протестувати для всіх граничних значень (відповідно до опису продукту і документації користувача) у потрібних системах, до яких ці значення застосовуються.

Під час тестування потрібно використати введення або послідовності команд, які явно не є коректні або зазначені як заборонені в документації користувача (див. 3.3.2).

Записи про кожен тест повинні містити достатню інформацію, що дозволяє повторення тес­ту [ISO/IEC Guide 25]. Вони повинні містити:

• план тесту або специфікацію тесту, що містять варіанти тесту (кожен варіант тесту пови­нен мати свої цілі, див 2.6);

• усі результати, пов’язані з варіантами тесту, охоплюючи всі помилкові ситуації, що трапи­лися під час тестування тексту;

• ідентичність персоналу, зайнятого в тестуванні.

Об’єкти і результати тестування (записані в записах про тестування) повинні бути підсумовані у звіті про тестування. Звіт про тестування повинен мати таку структуру:

1. Ідентифікація продукту

2. Комп’ютерні системи, використані для тестування (апаратне і програмне забезпечення та їхня конфігурація)

3. Використані документи (з їхньою ідентифікацією)

4. Результати тестування опису продукту, документації користувача, програм і даних

5. Список невідповідностей вимогам

6. Або список невідповідностей рекомендаціям, або список рекомендацій, яких не дотримува­лись, або твердження, що продукт не був протестований на відповідність рекомендаціям

7. Дата закінчення тесту

Частина 4 звіту про тестування («Результати тестування») повинна містити твердження, що відповідають кожному заголовку з 3.1 по 4.2.

На додаток до твердження, що продукт не був протестований на відповідність рекомендаці­ям, частина 6 звіту про тестування може містити список зареєстрованих невідповідностей реко­мендаціям.

Ідентифікація звіту про тестування (випробовувальна лабораторія, ідентифікація продукту, дата звіту про тестування) і загальна кількість його сторінок потрібно проставити на кожній сторінці звіту про тестування.

Звіт про тестування повинен містити:

• твердження факту, що результати тестування відносяться тільки до протестованих елементів;

• твердження, що звіт про тестування не повинен відтворюватися, крім як у повному варі­анті, без письмового дозволу випробовувальної лабораторії [ISO/IEC Guide 25].

Звіт про тестування повинен відповідати положенням про звіти про тестування, наведеним у ISO/IEC Guide 25.

4.5 Інспекційний тест

Коли продукт, що вже був протестований, тестують знову (беручи до уваги попередній тест), тоді:

• усі змінені частини в документах, функціях і даних потрібно протестувати так, начебто це новий продукт;

• усі незмінені частини, що можуть підпасти під вплив змінених частин чи змін у потрібній системі (відповідно до спеціальних знань тестувальника), потрібно протестувати як новий продукт;

всі інші частини потрібно протестувати, принаймні, за зразком.ДОДАТОК А
(довідковий)

ВИЗНАЧЕННЯ З ІНШИХ СТАНДАРТІВ

Для зрозумілості посилань тут процитовані визначення для деяких термінів, використаних у цьому стандарті, але визначених в інших стандартах. Під час публікації зазначені видання були дійсні і процитовані визначення з них використовували або розглядали.

А.1 Загальні терміни

А.1.1 програмне забезпечення (software)

Усі чи частина програм, процедур, правил і будь-якої зв’язаної документації системи оброб­ляння інформації [ISO/IEC 2382-1, без примітки]

А.1.2 пакет програм (software package)

Повний і задокументований набір програм, який постачають декільком користувачам для за­гального застосування або функціювання [ISO/IEC 2382-20, без примітки]

А.1.3 системне програмне забезпечення (system software)

Незалежно застосовуване програмне забезпечення, що підтримує виконання прикладного програмного забезпечення [ISO/IEC 2382-20]

А.1.4 обслуговувальна підпрограма, обслуговувальна програма (utility routine, utility program)

Підпрограма [комп’ютерна програма], що забезпечує загальні послуги, якими часто користу­ються комп’ютерні користувачі та обслуговувальний персонал [ISO 2382-7, без прикладів]

А.1.5 функційний блок (functional unit)

Деяке апаратне чи програмне забезпечення, або і те й інше, здатне до здійснення специфі­кованої мети [ISO/IEC 2382-1]

А.1.6 (комп’ютерна) програма ((computer) program)

Синтаксична одиниця, що відповідає правилам визначеної мови програмування і яка складена з декларацій і тверджень або інструкцій, необхідних для вирішення визначеної функції, задачі або проблеми [ISO/IEC 2382-1]

А.1.7 інтерфейс (interface)

Спільно використовувана границя між двома функційними одиницями, що визначається фун- кційними характеристиками, характеристиками загального фізичного взаємозв'язку, знаковими характеристиками й іншими характеристиками, як придатна [ISO 2382-9:1995, без примітки]

А.1.8 інтерфейс користувача (user interface)

Інтерфейс, який дає можливість передавати інформацію між людиною-користувачем і компонен­тами апаратного або програмного забезпечення комп’ютерної системи [ANSI/IEEE Std 610.12]

Національна примітка

Копію стандарту ANSI/IEEE Std 610.12 можна одержати у Головному фонді нормативних документів ДП «УкрНДНЦ».

А.1.9 конфігурація (configuration)

Спосіб організації і взаємозв’язку апаратного і програмного забезпечення системи обробляння інформації [ISO/IEC 2382-1].

А.2 Характеристики продукту

А.2.1 функційність (functionality)

Набір атрибутів, що мають відношення до існування набору функцій і їхніх специфікованих властивостей. Функції є такими, що задовольняють заявлені потреби або потреби, які маються на увазі [ISO/IEC 9126, без приміток]

А.2.2 надійність (reliability)

Набір атрибутів, що мають відношення до здатності програмного забезпечення підтримува­ти свій рівень виконання за заявлених умов протягом заявленого періоду часу [ISO/IEC 9126, без приміток]

А.2.3 використовуваність (usability)

Набір атрибутів, що мають відношення до зусилля, необхідного для використовування, і до індивідуального оцінювання такого використовування, колом користувачів, яке мається на увазі [ISO/IEC 9126, без приміток]

А.2.4 ефективність (efficiency)

Набір атрибутів, що мають відношення до зв’язку між рівнем виконання програмного забез­печення і кількістю використовуваних ресурсів за заявлених умов [ISO/IEC 9126, без примітки]

А.2.5 супроводжуваність (maintainability)

Набір атрибутів, що мають відношення до зусилля, необхідного для виконання специфікова­них модифікацій [ISO/IEC 9126, без примітки]

А.2.6 мобільність (portability)

Набір атрибутів, що мають відношення до здатності програмного забезпечення бути перене­сеним з одного середовища в інше [ISO/IEC 9126, без примітки].

А.З Дані

А.3.1 дані (data)

Інтерпретоване представлення інформації у формалізованому вигляді, яке підходить для пе­редавання, інтерпретації або обробляння [ISO/IEC 2382-1]

А.3.2 носій даних (data medium)

Матеріал, на (у) який дані можуть бути записані і з якого дані можуть бути відновлені [ISO/IEC 2382-1].