22. Организация работ по проведению испытаний информационных систем

Организация работ по проведению испытаний информационных систем; организация проведения приемочных испытаний систем; особенности испытаний на надежность систем; достоверность определения качества систем при испытаниях; исходные и отчетные документы при испытаниях систем (29.1).

Испытания проводятся для сложных информационных систем (ИС), создаваемых на уровне продукции производственно-технического назначения и отчуждаемых от разработчика. Важной особенностью испытаний ИС - наличие достаточно полных эталонов, которым она должна соответствовать - требований технического задания. Цель испытаний - определение степени соответствия созданной АЭИС техническому заданию ., полученному от заказчика. Испытания, которыми завершается процесс проектирования ИС, являются одним из важнейших этапов жизненного цикла, на котором проверяются м фиксируются показатели качества системы. Для обеспечения высокого качества АЭИС в ТЗ целесообразно задавать технологию его проектирования и условия поэтапной проверки основных компонент в процессе разработки. Для этого до начала разработки в процессе формирования ТЗ формируются основы методики тестирования и проверяемые характеристики системы при испытаниях. Для всесторонней проверки опытный образец АЭИС подвергается предварительным (под эгидой главного конструктора проекта), совместным (под эгидой заказчика-пользователя с участием разработчика) и межведомственным (с привлечением независимых экспертов) испытаниям.

При предварительных испытаниях, которые обычно совмещаются с завершением комплексной отладки, производится такое же тестирование, что и на совместных (межведомственных), только в меньшем объеме. Все это оформляются документально и являются основанием для предъявления АЭИС заказчику. Испытания ограничены допустимым объемом проверок и длительностью работы приемочной комиссии, поэтому не могут гарантировать всестороннюю проверку изделия.

Для повышения достоверности требований и улучшения характеристик после испытаний целесообразно на некоторое время передать АЭИС на опытную эксплуатацию в типовых условиях. Это позволяет оценить эксплуатационные характеристики системы и устранить ошибки. Опытная эксплуатация проводится разработчиками с участием испытателей и некоторых пользователей, назначаемых заказчиком.

В жизненном цикле АЭИС можно выделить следующие виды испытаний: опытного образца АЭИС на полное соответствие требованиям технического задания; рабочей версии АЭИС, адаптированной к условиям конкретного применения; версии модернизированной АЭИС при сопровождении.

Для обеспечения полноты приемосдаточных испытаний опытного образца целесообразно выделять категории тестирования.

Функциональное тестирование . - наиболее обширное и труднее всего систематизируемое. Набор испытательных тестов определяется функциональными задачами и сложностью АЭИС. Тесты должны обеспечивать проверку и демонстрацию заказчику или пользователю качества решения функциональных задач, сформулированных в ТЗ и конкретизированных в документации. Поскольку исчерпывающее тестирование для сложных ПС невозможно, большое значение имеют уточнения областей варьирования тестовых данных и выделение областей их изменений, наиболее важных для последующего использования систем.

Стрессовое тестирование . (в критических ситуациях) базируется на классификации областей определения исходных данных и использует граничные или экстремальные значения параметров и условий.

Комбинация критических значений и условий испытаний очень разнообразна, и необходим тщательный анализ для выделения достаточно представительной выборки. При стрессовых испытаниях должно быть показано, что при изменении исходных данных за допустимыми пределами эти ситуации обнаруживаются, селектируются и выдается диагностика о нарушении ограничений на условия эксплуатации программ.

Тестирование использования ресурсов ЭВМ . является частным случаем стрессового тестирования. Внимание сосредоточивается на исследовании зависимости объема памяти и длительности решения задач от характеристик исходной информации. Определяются допустимые размерность задач и интенсивности потоков исходных данных, при которых возможно нормальное функционирование АЭИС.

Тестирование параллельного решения задач . в многомашинных или многопроцессорных комплексах состоит в испытаниях взаимодействия программ и данных при одновременном исполнении компонент программного комплекса. Испытания можно разделить на две части: при детерминированных запланированных ситуациях; при случайном нормальном функционировании программ. В первом случае основная проблема состоит в создании представительного многообразия ситуаций параллельного функционирования программ. Вторая часть тестирования может совмещаться с остальными видами испытаний и заключается в основном в выделении случайных тестов и условий, при которых проверяется недетерминированное параллельное исполнение программ.

Особенности испытаний на надежность систем .. В теории надежности разработан ряд методов, позволяющих определять характеристики надежности сложных систем.

Прямые экспериментальные методы определения показателей надежности систем в условиях функционирования весьма трудно использовать при испытаниях из-за большого времени наработки на отказ (десятки и сотни часов). Сложность выявления и регистрации редких отказов, а также высокая стоимость экспериментов при длительном функционировании АЭИС приводят к тому, что на испытаниях получаются малые выборки зарегистрированных отказов.

При испытаниях на надежность функционирования необходимо разделять причины отказов и отказовых ситуаций на обусловленные ненадежностью аппаратуры и ошибками в программах. Устойчивые отказы аппаратуры селектируются достаточно просто. Однако кратковременные сбои в аппаратуре и последствия ошибок в программе требуют тщательного анализа для выделения и диагностики их источника. Для этого может использоваться программа анализа сбоев, которая осуществляет первичный анализ и классификацию возможных источников аномалий функционирования. Для диагностики и локализации причин отказа требуется дополнительное стохастическое и детерминированное тестирование, позволяющее выделить первичную ошибку в программе, или отнести источник отказа к сбою в аппаратуре.

На этапе испытаний устраняются локализованные ошибки, вследствие чего характеристики надежности системы в среднем улучшаются. Однако возможны изменения в системе, связанные в основном с корректировкой программ, которые ее ухудшат. Получаемые показатели надежности позволяют прогнозировать число ошибок, подлежащих исправлению для достижения заданной надежности. Для этого используются математические модели изменения ошибок и основных показателей надежности в зависимости от длительности тестирования.

При высокой надежности ИС организуются многочасовые прогоны реального функционирования программ системы в условиях широкого варьирования исходных данных. Такие прогоны позволяют измерить и зафиксировать достигнутые показатели надежности и степень их соответствия требованиям ТЗ, а также закрепить их в ТУ на АЭИС.

Форсированные методы испытаний реальных систем на надежность осуществляются путем тестирования при повышенной интенсивности искажений исходных данных с широким варьированием их значений, а также специальным увеличением загрузки выше нормальной. Планирование форсированных испытаний должны предусматривать последующий пересчет полученных показателей надежности на условия нормального функционирования. Особым видом форсированных испытаний является тестирование эффективности средств контроля и восстановления программ, данных и вычислительного процесса. Для этого имитируются запланированные экстремальные условия функционирования программ, при которых в наибольшей степени вызываются средства программного рестарта. При таких испытаниях основная задача состоит в проверке качества функционирования средств повышения надежности.

Достоверность определения качества систем при испытаниях ..

Задача испытателей и заказчика при планировании испытаний состоит в выделении условий и областей изменения переменных, которые наиболее важны для последующего использования системы. Разработчик контролирует, чтобы планируемое тестирование не выходило из областей, заданных ТЗ. Испытания за пределами ТЗ могут квалифицироваться как его расширение или могут исключаться по требованию заказчика. Важную роль играют оценка и обеспечение близких значений методической и статистической достоверностей испытаний.

Методическая достоверность  0испытаний АЭИС определяется факторами: полнотой программы испытаний, корректностью методик тестирования, степенью охвата возможных условий функционирования и областей изменения исходных данных информационных систем; достоверностью и точностью эталонных значений, с которыми сравнивают результаты тестирования испытываемой системы или которые служат опорными при расчете параметров, зафиксированных в ТЗ; адекватностью и точностью моделей, используемых для имитации внешней среды и их реакции на управляющие воздействия; точностью и корректностью регистрации и обработки результатов тестирования, а также сравнения полученных данных с требованиями ТЗ.

Статистическая достоверность  0испытаний в значительной степени ограничена допустимым объемом и продолжительностью испытаний.

Методы теории планирования экспериментов позволяют упорядоченно варьировать исходные данные и наиболее эффективно использовать ограниченные ресурсы тестирования. При планировании испытаний большое значение имеют характеристики средств автоматизации, используемых для имитации внешней среды и обработки результатов.

Противоречия между необходимой степенью достоверностью тестирования и объемом анализируемых данных при различных видах испытаний привели к созданию системы автоматизации испытаний различной сложности и глубины проверок.

Исходные и отчетные документы при испытаниях систем. Совместные испытания проводятся комиссией заказчика, в которой участвуют главный конструктор разработки и отдельные ведущие разработчики. Комиссия при испытаниях руководствуется следующими документами: утвержденным заказчиком и согласованным с разработчиком ТЗ на разработку системы; действующими государственными и отраслевыми стандартами на проектирование и испытания систем и на техническую документацию; программой испытаний по всем требованиям ТЗ; методиками испытаний по каждому разделу требований ТЗ.

Программа испытаний, методики их проведения и оценки результатов разрабатываются совместно заказчиком и разработчиком, должны быть согласованы и утверждены. Они содержат уточнения требований ТЗ для данной системы и должны гарантировать их корректную проверку. Документация на систему должна соответствовать испытываемым программам и аппаратуре, обеспечивать познаваемость системы обслуживающим персоналом, а также обеспечивать возможность развития и модернизации АЭИС для увеличения ее жизненного цикла.

Программа испытаний - это план проведения серии экспериментов, разрабатываемый с позиции минимизации объема тестирования при заданной и согласованной с заказчиком достоверности получаемых результатов. Методами факторного анализа и теории планирования экспериментов определяются последовательность и объем тестирования в процессе проведения испытаний для проверки выполнения требований ТЗ при минимальных затратах. Программа испытаний должна содержать следующие четко сформулированные разделы: - объект испытаний, его назначение и перечень основных документов, определивших его разработку; - цель испытаний с указанием основных требований ТЗ, подлежащих проверке, и ограничений на проведение испытаний; - собственно программу испытаний, содержащую проверку комплектности спроектированной АЭИС в соответствии с ТЗ и план тестирования для проверки функционирования систем по разделам ТЗ и дополнительным требованиям, формализованным отдельными решениями; -  1мет 0о 1дики испытаний, однозначно определяющие все понятия проверяемых характеристик, условия тестирования, средства, используемые для испытаний, методики обработки и оценки результатов тестирования по каждому разделу программы испытаний.

Большой объем разнородных данных, получаемых при испытаниях ПС, и разнообразие возможных способов их обработки, интерпретации и оценки приводят к тому, что важнейшими факторами для обработки результатов тестирования становятся методики обработки и оценки результатов .. В соответствии с методиками испытаний средства автоматизации должны обеспечивать полноту проверок характеристик по каждому разделу методик и разработку протоколов проверки  .по пунктам программы испытаний. Сложность системы и сильная взаимосвязь между их характеристиками приводят к необходимости тщательной формулировки всех условий тестирования и значений параметров, при которых должна производиться проверка.

Результаты испытаний . фиксируются в протоколах, которые обычно содержат следующие разделы: назначений тестирования и раздел требований ТЗ, по которому проводятся испытания; указания методик, в соответствии с которыми проводились испытания, обработка и оценка результатов; условия проведения тестирования и характеристики исходных данных; обобщенные результаты испытаний с оценкой их на соответствие требованиям ТЗ и другим руководящим документам; выводы о результатах испытаний и степени соответствия созданной АЭИС определенному разделу требований ТЗ.

Протоколы по всей программе испытаний обобщаются в акте, в результате чего делается заключение о соответствии системы требованиям заказчика и о завершении работы с положительным или отрицательным результатом. При полном выполнении всех требований ТЗ заказчик обязан принять систему и работа считается завершенной.

Для сложных АЭИС трудно на начальных этапах проектирования предусмотреть и корректно сформулировать все требования ТЗ. Поэтому при отладке и испытаниях часто выявляется, что некоторые требования ТЗ оказываются невыполненными и иногда даже принципиально не могут быть выполнены при самом добросовестном отношении к этому со стороны разработчика. В этом случае необходима совместная работа заказчика и разработчика в поисках компромиссного решения при завершении испытаний и составления заключения. Некоторые недостатки системы в процессе испытаний регистрируются и фиксируются в плане устранения замечаний комиссии, проводившей испытания. План является приложением к акту о результатах испытаний и позволяет отделять последующие доработки от непосредственных испытаний.