SPSS Statistics: Программное обеспечение для статистического анализа данных

Введение

Программное обеспечение для статистического анализа

SPSS Statistics – это пакет статистических программ, разработанный компанией IBM для управления данными, углублённой аналитики, многомерного анализа, бизнес-аналитики и криминалистических исследований. Ранее долгое время производившийся компанией SPSS Inc., он был приобретён IBM в 2009 году. Версии программного обеспечения, выпущенные после 2015 года, носят торговую марку IBM SPSS Statistics. Изначально название SPSS расшифровывалось как Statistical Package for the Social Sciences (Статистический пакет для социальных наук), что отражало первоначальную целевую аудиторию, а затем было изменено на Statistical Product and Service Solutions (Статистические продукты и сервисные решения).

Обзор

SPSS – широко используемая программа для статистического анализа в социальных науках. Она также используется маркетологами, специалистами в области здравоохранения, компаниями, проводящими опросы, государственными учреждениями, исследователями в области образования, маркетинговыми организациями, специалистами по интеллектуальному анализу данных и другими. Оригинальное руководство SPSS (Nie, Bent & Hull, 1970) было названо одной из «самых влиятельных книг в социологии» за то, что оно позволило рядовым исследователям самостоятельно проводить статистический анализ. Помимо статистического анализа, управление данными (выбор случаев, изменение структуры файлов и создание производных данных) и документирование данных (словарь метаданных хранится в файле данных) являются функциями базового программного обеспечения. Множество функций SPSS Statistics доступны через выпадающие меню или могут быть запрограммированы с помощью проприетарного языка синтаксиса команд 4GL. Программирование с использованием синтаксиса команд обеспечивает воспроизводимость результатов, упрощает повторяющиеся задачи и позволяет выполнять сложные манипуляции и анализ данных. Кроме того, некоторые сложные приложения можно запрограммировать только с помощью синтаксиса и они недоступны через структуру меню. Интерфейс выпадающего меню также генерирует синтаксис команд: его можно отобразить в выходных данных, хотя для этого необходимо изменить настройки по умолчанию, чтобы синтаксис был виден пользователю. Его также можно скопировать в файл синтаксиса с помощью кнопки «Вставить», присутствующей в каждом меню. Программы можно запускать интерактивно или в автоматическом режиме, используя встроенную систему пакетной обработки заданий. Язык макросов можно использовать для написания подпрограмм языка команд. Расширение для программирования на Python позволяет получать доступ к информации в словаре данных и самих данных, а также динамически создавать программы синтаксиса команд. Это расширение, представленное в SPSS 14, заменило менее функциональные «скрипты» SAX Basic для большинства задач, хотя SaxBasic по-прежнему доступен. Кроме того, расширение Python позволяет SPSS запускать любую статистику из бесплатного программного пакета R. Начиная с версии 14, SPSS можно управлять извне с помощью программ на Python или VB.NET, используя поставляемые «плагины». (Начиная с версии 20, эти два языка сценариев, а также многие скрипты, включены в установочный носитель и обычно устанавливаются по умолчанию.) SPSS Statistics накладывает ограничения на внутреннюю структуру файлов, типы данных, обработку данных и сопоставление файлов, что в совокупности значительно упрощает программирование. Наборы данных SPSS имеют двухмерную табличную структуру, где строки обычно представляют собой случаи (например, отдельных лиц или домохозяйства), а столбцы – измеряемые признаки (например, возраст, пол или доход домохозяйства). Определены только два типа данных: числовые и текстовые (или «строковые»). Вся обработка данных происходит последовательно, по одному случаю за раз, в файле (наборе данных). Файлы могут сопоставляться один к одному и один ко многим, но не многие ко многим. Помимо структуры и обработки данных по случаям и переменным, существует отдельная матричная сессия, в которой данные можно обрабатывать как матрицы, используя операции матричной и линейной алгебры. Графический пользовательский интерфейс имеет два режима просмотра, между которыми можно переключаться. В режиме «Просмотр данных» отображается таблица с данными о случаях (строки) и переменных (столбцы). В отличие от электронных таблиц, ячейки данных могут содержать только числа или текст, и формулы нельзя хранить в этих ячейках. В режиме «Просмотр переменных» отображается словарь метаданных, где каждая строка представляет переменную и показывает имя переменной, метку переменной, метки значений, ширину печати, тип измерения и множество других характеристик. Ячейки в обоих режимах можно редактировать вручную, определяя структуру файла и позволяя вводить данные без использования синтаксиса команд. Этого может быть достаточно для небольших наборов данных. Более крупные наборы данных, такие как статистические обследования, чаще создаются в программном обеспечении для ввода данных или вводятся во время компьютерного персонального интервью, путем сканирования и использования программного обеспечения для оптического распознавания символов и оптического распознавания меток, или путем прямого захвата из онлайн-анкет. Эти наборы данных затем импортируются в SPSS. SPSS Statistics может читать и записывать данные из текстовых файлов ASCII (включая иерархические файлы), других статистических пакетов, электронных таблиц и баз данных. Он также может читать и записывать данные во внешние реляционные базы данных через ODBC и SQL. Статистические выходные данные сохраняются в проприетарном формате файла (*.spv, поддерживающем сводные таблицы), для которого, помимо встроенного средства просмотра, можно загрузить автономный модуль чтения. Проприетарные выходные данные можно экспортировать в текст или Microsoft Word, PDF, Excel и другие форматы. Кроме того, выходные данные можно сохранить как данные (с помощью команды OMS), как текст, текст с разделителями табуляцией, PDF, XLS, HTML, XML, набор данных SPSS или различные форматы графических изображений (JPEG, PNG, BMP и EMF). Существует несколько вариантов SPSS Statistics. SPSS Statistics Gradpacks – это версии со значительной скидкой, продаваемые только студентам. SPSS Statistics Server – это версия программного обеспечения с клиент-серверной архитектурой. Дополнительные пакеты могут расширить функциональность базового программного обеспечения (например, пакет для работы со сложными выборками, который позволяет корректировать кластерные и стратифицированные выборки, и пакет для создания пользовательских таблиц, который позволяет создавать таблицы, готовые к публикации). SPSS Statistics доступен по годовой или ежемесячной подписке. Версия 25 SPSS Statistics была выпущена 8 августа 2017 года. Она добавила новые и расширенные статистические методы, такие как результаты решения с учетом случайных эффектов (GENLINMIXED), надежные стандартные ошибки (GLM/UNIANOVA) и профильные графики с полосами ошибок в составе дополнительных пакетов Advanced Statistics и Custom Tables. V25 также включает новые возможности байесовской статистики, метод статистического вывода, и графики, готовые к публикации, такие как новые возможности построения графиков, включая новые шаблоны по умолчанию и возможность обмена данными с приложениями Microsoft Office.

SPSS is a widely used program for statistical analysis in social science. It is also used by market researchers, health researchers, survey companies, government, education researchers, marketing organizations, data miners, and others. The original SPSS manual (Nie, Bent & Hull, 1970) has been described as one of "sociology's most influential books" for allowing ordinary researchers to do their own statistical analysis. In addition to statistical analysis, data management (case selection, file reshaping and creating derived data) and data documentation (a metadata dictionary is stored in the datafile) are features of the base software. The many features of SPSS Statistics are accessible via pull down menus or can be programmed with a proprietary 4GL command syntax language. Command syntax programming has the benefits of reproducible output, simplifying repetitive tasks, and handling complex data manipulations and analyses. Additionally, some complex applications can only be programmed in syntax and are not accessible through the menu structure. The pull down menu interface also generates command syntax: this can be displayed in the output, although the default settings have to be changed to make the syntax visible to the user. They can also be pasted into a syntax file using the "paste" button present in each menu. Programs can be run interactively or unattended, using the supplied Production Job Facility. A "macro" language can be used to write command language subroutines. A Python programmability extension can access the information in the data dictionary and data and dynamically build command syntax programs. This extension, introduced in SPSS 14, replaced the less functional SAX Basic "scripts" for most purposes, although SaxBasic remains available. In addition, the Python extension allows SPSS to run any of the statistics in the free software package R. From version 14 onwards, SPSS can be driven externally by a Python or a VB. NET program using supplied "plug ins". (From version 20 onwards, these two scripting facilities, as well as many scripts, are included on the installation media and are normally installed by default.) SPSS Statistics places constraints on internal file structure, data types, data processing, and matching files, which together considerably simplify programming. SPSS datasets have a two dimensional table structure, where the rows typically represent cases (such as individuals or households) and the columns represent measurements (such as age, sex, or household income). Only two data types are defined: numeric and text (or "string"). All data processing occurs sequentially case by case through the file (dataset). Files can be matched one to one and one to many, but not many to many. In addition to that cases by variables structure and processing, there is a separate Matrix session where one can process data as matrices using matrix and linear algebra operations. The graphical user interface has two views which can be toggled. The 'Data View' shows a spreadsheet view of the cases (rows) and variables (columns). Unlike spreadsheets, the data cells can only contain numbers or text, and formulas cannot be stored in these cells. The 'Variable View' displays the metadata dictionary, where each row represents a variable and shows the variable name, variable label, value label(s), print width, measurement type, and a variety of other characteristics. Cells in both views can be manually edited, defining the file structure and allowing data entry without using command syntax. This may be sufficient for small datasets. Larger datasets such as statistical surveys are more often created in data entry software, or entered during computer assisted personal interviewing, by scanning and using optical character recognition and optical mark recognition software, or by direct capture from online questionnaires. These datasets are then read into SPSS. SPSS Statistics can read and write data from ASCII text files (including hierarchical files), other statistics packages, spreadsheets and databases. It can also read and write to external relational database tables via ODBC and SQL. Statistical output is to a proprietary file format (*. spv file, supporting pivot tables) for which, in addition to the in package viewer, a stand alone reader can be downloaded. The proprietary output can be exported to text or Microsoft Word, PDF, Excel, and other formats. Alternatively, output can be captured as data (using the OMS command), as text, tab delimited text, PDF, XLS, HTML, XML, SPSS dataset or a variety of graphic image formats (JPEG, PNG, BMP and EMF). Several variants of SPSS Statistics exist. SPSS Statistics Gradpacks are highly discounted versions sold only to students. SPSS Statistics Server is a version of the software with a client/server architecture. Add on packages can enhance the base software with additional features (examples include complex samples, which can adjust for clustered and stratified samples, and custom tables, which can create publication ready tables). SPSS Statistics is available under either an annual or a monthly subscription license. Version 25 of SPSS Statistics launched on August 8, 2017. This added new and advanced statistics, such as random effects solution results (GENLINMIXED), robust standard errors (GLM/UNIANOVA), and profile plots with error bars within the Advanced Statistics and Custom Tables add on. V25 also includes new Bayesian statistics capabilities, a method of statistical inference, and publication ready charts, such as powerful new charting capabilities, including new default templates and the ability to share with Microsoft Office applications.

(Интерактивный анализ данных)

IDA (Interactive Data Analysis) – это программный пакет, разработанный в бывшем Национальном центре исследований общественного мнения (NORC) при Чикагском университете. Изначально он был доступен на HP 2000, а позднее, под управлением SPSS, и на MUSIC/SP. Анализ регрессии был одним из главных преимуществ IDA. Хотя буква "C" в названии обозначала "диалоговый", она также указывала на особенность организации хранения данных: использовалась столбцовая, а не строковая (внутренняя) база данных. Это обеспечивало быстрое интерактивное время отклика для SPSS Conversational Statistical System (SCSS), сильной стороной которой, как и SPSS, являлось построение перекрестных таблиц.

Проект NX

В октябре 2020 года IBM объявила о начале программы раннего доступа к "новой SPSS Statistics", кодовое название Project NX. Она включает в себя "многие из ваших любимых функций SPSS, представленные в новом, удобном интерфейсе с интегрированной справкой, несколькими вкладками, улучшенными графиками и многим другим". В декабре 2021 года IBM расширила программу раннего доступа к следующему поколению SPSS Statistics, предоставив возможность большему числу пользователей, и представила дополнительные визуальные материалы о ней.