SAS: Комплексная система статистического анализа данных

Введение

Статистическое программное обеспечение

SAS (ранее "Statistical Analysis System" – "Статистическая система анализа") – это пакет статистических программ, разработанный компанией SAS Institute для управления данными, углублённой аналитики, многомерного анализа, бизнес-аналитики, расследований в области уголовного права и прогностической аналитики. Аналитическое программное обеспечение SAS построено на основе искусственного интеллекта и использует машинное обучение, глубокое обучение и генеративный ИИ для управления и моделирования данных. Программное обеспечение широко применяется в таких отраслях, как финансы, страхование, здравоохранение и образование. Разработка SAS началась в 1966 году в Университете штата Северная Каролина и продолжалась до 1976 года, когда была основана компания SAS Institute. В 1980-х и 1990-х годах SAS был дополнительно развит за счёт добавления новых статистических процедур, дополнительных компонентов и внедрения JMP. В версии 9, выпущенной в 2004 году, был добавлен графический интерфейс с использованием мыши. В 2010 году был добавлен продукт для анализа социальных сетей.

Технический обзор и терминология

SAS — это программный пакет, позволяющий извлекать, изменять, управлять и получать данные из различных источников, а также выполнять статистический анализ. Программы SAS состоят из шагов DATA, которые извлекают и обрабатывают данные, шагов PROC (процедур), которые анализируют данные, и могут также включать функции. Шаг DATA содержит исполняемые операторы, приводящие к выполнению определенных действий программным обеспечением, и декларативные операторы, предоставляющие инструкции по чтению набора данных или изменению его представления. Наборы данных организованы в таблицы со строками, называемыми «наблюдениями», и столбцами, называемыми «переменными». Кроме того, каждый элемент данных имеет дескриптор и значение. Операторы PROC вызывают именованные процедуры. Процедуры выполняют анализ и подготовку отчетов по наборам данных, генерируя статистические данные, результаты анализа и графики. Существует более 300 именованных процедур, и каждая из них выполняет значительный объем статистической работы. Данные SAS могут быть опубликованы в форматах HTML, PDF, Excel, RTF и других с использованием системы доставки результатов (Output Delivery System), впервые представленной в 2007 году. SAS Enterprise Guide — это графический интерфейс SAS, работающий по принципу «укажи и щелкни». Он генерирует код для обработки данных или выполнения анализа без использования языка программирования SAS. Программный пакет SAS включает более 200 дополнительных пакетов, иногда называемых компонентами. Некоторые из этих компонентов SAS, то есть дополнения к Base SAS, включают:

Происхождение

Разработка SAS началась в 1966 году после того, как Университет штата Северная Каролина вновь нанял Энтони Барра для программирования его программного обеспечения для анализа дисперсии и регрессии, чтобы оно работало на компьютерах IBM System/360. Проект финансировался Национальными институтами здоровья с целью повышения урожайности сельскохозяйственных культур. К Барру присоединился студент Джеймс Гуднайт, который разработал статистические алгоритмы программного обеспечения, и они стали руководителями проекта. В 1972 году, после выпуска первого релиза SAS, проект лишился финансирования. По словам Гуднайта, это произошло потому, что NIH хотел финансировать только проекты, имеющие медицинское применение. Гуднайт продолжал преподавать в университете за символическую зарплату в 1 доллар и с доступом к мэйнфреймам для использования в проекте. В 1971 году SAS 71 был выпущен в ограниченном количестве. Он использовался исключительно на мэйнфреймах IBM и содержал основные элементы программирования SAS, такие как шаг DATA и наиболее распространенные процедуры, то есть PROC. Развитие SAS было названо "точкой перегиба" в истории искусственного интеллекта. В 1976 году Барр, Гуднайт, Салл и Хелвиг вывели проект из Университета штата Северная Каролина и учредили компанию SAS Institute, Inc.

Разработка

SAS была перепроектирована в SAS 76. Операторы INPUT и INFILE были улучшены, чтобы поддерживать большинство форматов данных, используемых мейнфреймами IBM. Возможность создания отчетов была добавлена с помощью операторов PUT и FILE. Также была добавлена возможность анализа общих линейных моделей и процедура FORMAT, позволяющая разработчикам настраивать внешний вид данных. SAS версии 4 имела ограниченные возможности, но сделала SAS более доступной. Версия 5 представила полноценный язык макросов, индексы массивов и интерактивный полноэкранный пользовательский интерфейс под названием Display Manager. Были также представлены отраслевые продукты, такие как SAS Financial Management и SAS Human Capital Management (тогда известные как CFO Vision и HR Vision соответственно). JMP был разработан соучредителем SAS Джоном Сэллом и командой разработчиков для использования преимуществ графического пользовательского интерфейса, представленного в Apple Macintosh в 1984 году. Изначально название JMP расшифровывалось как "John's Macintosh Project". Первая поставка JMP состоялась в 1989 году. Обновленные версии JMP выпускались непрерывно после 2002 года, а последний релиз вышел в 2016 году. В январе 2022 года JMP стала полностью принадлежащей дочерней компанией SAS Institute, ранее являясь подразделением компании. SAS 6 использовалась на протяжении 1990-х годов и была доступна на более широком спектре операционных систем, включая Macintosh, OS/2, Silicon Graphics и PRIMOS. SAS представляла новые функции в точечных релизах. С 6.06 по 6.09 был представлен пользовательский интерфейс, основанный на парадигме Windows, и добавлена поддержка SQL. Версия 7 представила систему доставки вывода (ODS) и улучшенный текстовый редактор. Последующие релизы совершенствовали ODS. Например, в версии 8 было добавлено больше опций вывода. Количество поддерживаемых операционных систем было сокращено до UNIX, Windows и z/OS, а также добавлена Linux. SAS 8 и SAS Enterprise Miner были выпущены в 1999 году. В 2004 году была выпущена версия SAS 9.0, внутренне известная как "Проект Меркурий", и разработанная для расширения доступа к SAS для более широкого круга бизнес-пользователей. SAS 9.0 добавила пользовательские интерфейсы, основанные на роли пользователя, и установила SAS Enterprise Guide в качестве основного графического пользовательского интерфейса (GUI) программного обеспечения. В 2008 году SAS объявила о проекте Unity, предназначенном для интеграции качества данных, интеграции данных и управления основными данными. Дело SAS Institute Inc. против World Programming Ltd. было судебным разбирательством с разработчиками конкурирующей реализации World Programming System, в котором утверждалось, что они нарушили авторские права SAS, в частности, путем реализации той же функциональности. 11 августа 2010 года дело было передано Верховным судом Великобритании в Европейский суд. В мае 2012 года Европейский суд вынес решение в пользу World Programming, установив, что "функциональность компьютерной программы и язык программирования не подлежат защите авторским правом". В 2010 году была представлена бесплатная версия SAS для студентов. В том же году была выпущена SAS Social Media Analytics, инструмент для мониторинга социальных сетей, вовлечения и анализа тональности. В том же году был представлен SAS Rapid Predictive Modeler (RPM), который создает базовые аналитические модели с использованием Microsoft Excel. В 2010 году JMP 9 включал новый интерфейс для использования языка программирования R и надстройку для MS Excel. В следующем году была создана платформа высокопроизводительных вычислений в партнерстве с Teradata и EMC Greenplum. В 2011 году компания выпустила SAS Enterprise Miner 7.1. С октября 2013 года по октябрь 2014 года компания представила 27 продуктов управления данными и обновления для 160 других. На SAS Global Forum 2015 года SAS объявила о нескольких новых продуктах, специализирующихся для различных отраслей, а также о новом программном обеспечении для обучения. Компания инвестировала в разработку искусственного общего интеллекта, или "сильного ИИ", с целью продвижения глубокого обучения и обработки естественного языка до уровня достижения когнитивных вычислений. В 2019 году SAS объявила о выделении 1 миллиарда долларов на разработку передового искусственного интеллекта, глубокого обучения, обработки естественного языка и машинного обучения. В 2023 году было объявлено о дополнительных инвестициях в эти области на сумму 1 миллиард долларов, особенно для таких отраслей, как финансы, страхование, государственное управление, здравоохранение и энергетика. В сентябре 2023 года компания объявила о расширении исследований в области применения генеративного ИИ в аналитике, управлении данными и моделировании.

SAS was redesigned in SAS 76. The INPUT and INFILE statements were improved so they could read most data formats used by IBM mainframes. Generating reports was also added through the PUT and FILE statements. The ability to analyze general linear models was also added as was the FORMAT procedure, which allowed developers to customize the appearance of data. SAS version 4 had limited features, but made SAS more accessible. Version 5 introduced a complete macro language, array subscripts, and a full screen interactive user interface called Display Manager. Vertical products like SAS Financial Management and SAS Human Capital Management (then called CFO Vision and HR Vision respectively) were also introduced. JMP was developed by SAS co founder John Sall and a team of developers, in order to take advantage of the graphical user interface introduced in the 1984 Apple Macintosh. JMP's name originally stood for "John's Macintosh Project". JMP was shipped for the first time in 1989. Updated versions of JMP were released continuously after 2002 with the most recent release in 2016. In January 2022, JMP became a wholly owned subsidiary of SAS Institute, having previously been a business unit of the company. SAS 6 was used throughout the 1990s and was available on a wider range of operating systems, including Macintosh, OS/2, Silicon Graphics, and PRIMOS. SAS introduced new features through dot releases. From 6.06 to 6.09, a user interface based on the Windows paradigm was introduced and support for SQL was added. Version 7 introduced the Output Delivery System (ODS) and an improved text editor. Subsequent releases improved upon the ODS. For example, more output options were added in version 8. The number of operating systems that were supported was reduced to UNIX, Windows and z/OS, and Linux was added. SAS 8 and SAS Enterprise Miner were released in 1999. In 2004, SAS Version 9.0 was released, referred to as "Project Mercury" internally, and was designed to make SAS accessible to a broader range of business users. SAS 9.0 added custom user interfaces based on the user's role and established the point and click user interface of SAS Enterprise Guide as the software's primary graphical user interface (GUI). In 2008, SAS announced Project Unity, designed to integrate data quality, data integration, and master data management. SAS Institute Inc v World Programming Ltd was a lawsuit with developers of a competing implementation, World Programming System, alleging that they had infringed SAS's copyright in part by implementing the same functionality. The case was referred by the United Kingdom's High Court of Justice to the European Court of Justice on 11 August 2010. In May 2012, the European Court of Justice ruled in favor of World Programming, finding that "the functionality of a computer program and the programming language cannot be protected by copyright." A free version of SAS was introduced for students in 2010. SAS Social Media Analytics, a tool for social media monitoring, engagement and sentiment analysis, was also released that year. SAS Rapid Predictive Modeler (RPM), which creates basic analytical models using Microsoft Excel, was introduced the same year. In 2010, JMP 9 included a new interface for using the R programming language and an add in for MS Excel. The following year, a High Performance Computing platform was made available in a partnership with Teradata and EMC Greenplum. In 2011, the company released SAS Enterprise Miner 7.1. The company introduced 27 data management products from October 2013 to October 2014 and updates to 160 others. At the SAS Global Forum 2015, SAS announced several new products that were specialized for different industries, as well as new training software. The company has invested in the development of artificial general intelligence, or "strong AI", with the goal of advancing deep learning and natural language processing to the point of achieving cognitive computing. In 2019, SAS announced that it would be investing $1 billion into the development of advanced artificial intelligence, deep learning, natural language processing and machine learning. It announced an additional $1 billion investment into these areas in 2023, particularly for industries such as finance, insurance, government, health care and energy. In September 2023, the company announced its expansion of research into the applications of generative AI in analytics, data management and modeling.

Дата выпуска

SAS выпустила множество релизов с 1972 года. Начиная с релиза 9.3, SAS/STAT имеет собственную нумерацию релизов. +ReleaseDateComment72 января 197276 июля 197679.5 апреля 198182.4 января 19834.06 марта 19845.03 января 19856.01 июля 1986PC DOS6.03 марта 19886.06 марта 19906.07 апреля 19916.08 марта 19936.09 октября 19936.10 октября 19946.11 октября 19956.12 ноября 19967.0 октября 19988.0 ноября 19998.1 июля 20008.2 марта 20019.0 октября 20029.1 декабря 20039.1.3 августа 20049.2 марта 2008STAT 9.29.2M2 апрель 2010STAT 9.229.3 июль 2011STAT 9.39.3M2 август 2012STAT 12.19.4 июль 2013STAT 12.39.4M1 декабрь 2013STAT 13.19.4M2 август 2014STAT 13.29.4M3 июль 2015STAT 14.19.4M4 ноябрь 2016STAT 14.29.4M5 сентябрь 2017STAT 14.39.4M6 ноябрь 2018STAT 15.19.4M7 август 2020STAT 15.29.4M8 январь 2023STAT 15.3

Программные продукты

В 2011 году крупнейшим набором продуктов SAS была линейка решений для клиентской аналитики. Многочисленные модули SAS для веб-аналитики, социальных сетей и маркетинговой аналитики могут использоваться для профилирования клиентов и потенциальных клиентов, прогнозирования их поведения, управления и оптимизации коммуникаций. SAS также предоставляет SAS Fraud Framework. Основная функциональность системы заключается в мониторинге транзакций в различных приложениях, сетях и партнерских организациях с использованием аналитики для выявления аномалий, указывающих на мошенничество. Это программное обеспечение использует искусственный интеллект для мониторинга доходов и активов. Платформа SAS Asset and Liability Management использует генеративный ИИ и машинное обучение для мониторинга рисков и моделирования стратегий управления рисками. SAS Governance, Risk and Compliance Manager предоставляет возможности моделирования рисков, анализа сценариев и другие функции для управления и визуализации рисков, соответствия нормативным требованиям и корпоративной политики. Также существует набор продуктов SAS Enterprise Risk Management, предназначенный главным образом для банков и организаций финансового сектора. Продукты SAS для мониторинга и управления работой ИТ-систем в совокупности называются SAS IT Management Solutions. SAS собирает данные о производительности и использовании из различных ИТ-активов, а затем создает отчеты и аналитические материалы. Продукты SAS Performance Management консолидируют и предоставляют графическое представление ключевых показателей эффективности (KPI) на уровне сотрудников, отделов и организации. Пакет продуктов SAS Supply Chain Intelligence предлагается для решения задач в области управления цепочками поставок, таких как прогнозирование спроса на продукцию, управление дистрибуцией и запасами, а также оптимизация ценообразования. Существует также набор программного обеспечения "SAS for Sustainability Management" для прогнозирования экологических, социальных и экономических последствий и выявления причинно-следственных связей между операциями и их влиянием на окружающую среду или экосистему. SAS располагает различными аналитическими инструментами, связанными с управлением рисками. Платформа SAS Asset and Liability Management использует генеративный ИИ и машинное обучение для мониторинга рисков и моделирования стратегий управления рисками. SAS предлагает продукты для конкретных отраслей, таких как государственный сектор, розничная торговля, телекоммуникации, аэрокосмическая промышленность, оптимизация маркетинга и высокопроизводительные вычисления. Компания также имеет набор аналитических продуктов, связанных с здравоохранением и биологическими науками.

As of 2011, SAS's largest set of products was its line for customer intelligence. Numerous SAS modules for web, social media and marketing analytics may be used to profile customers and prospects, predict their behaviors and manage and optimize communications. SAS also provides the SAS Fraud Framework. The framework's primary functionality is to monitor transactions across different applications, networks and partners and use analytics to identify anomalies that are indicative of fraud. This software uses artificial intelligence to monitor income and assets. The SAS Asset and Liability Management platform utilizes generative AI and machine learning to monitor risk and model risk management strategies. SAS Governance, Risk and Compliance Manager provides risk modeling, scenario analysis, and other functions in order to manage and visualize risk, compliance and corporate policies. There is also a SAS Enterprise Risk Management product set designed primarily for banks and financial services organizations. SAS products for monitoring and managing the operations of IT systems are collectively referred to as SAS IT Management Solutions. SAS collects data from various IT assets on performance and utilization, then creates reports and analyses. SAS's Performance Management products consolidate and provide graphical displays for key performance indicators (KPIs) at the employee, department and organizational level. The SAS Supply Chain Intelligence product suite is offered for supply chain needs, such as forecasting product demand, managing distribution and inventory and optimizing pricing. There is also a "SAS for Sustainability Management" set of software to forecast environmental, social and economic effects and identify causal relationships between operations and their impact on the environment or ecosystem. SAS has various analytical tools related to risk management. The SAS Asset and Liability Management platform utilizes generative AI and machine learning to monitor risk and model risk management strategies. SAS has products for specific industries, such as government, retail, telecommunications, aerospace, marketing optimization, and high performance computing. The company has a suite of analytical products related to health care and life sciences.

SAS Университетское издание

В мае 2014 года компания SAS объявила о запуске SAS University Edition. Это предложение можно было бесплатно загрузить для некоммерческого использования. В 2022 году SAS University Edition была заменена двумя полностью веб-ориентированными версиями: SAS OnDemand for Academics и SAS Viya for Learners.

Сравнение с другими продуктами

В статье 2005 года для журнала "Журнал брака и семьи", сравнивающей статистические пакеты SAS и его конкурентов Stata и SPSS, Алан К. Акок отметил, что программы SAS предоставляют "исключительно широкий спектр задач анализа и управления данными", но их сложно освоить и использовать. Сравнение, проведенное в 2014 году Калифорнийским университетом в Лос-Анджелесе, показало схожие результаты. Конкуренты, такие как Revolution Analytics и Alpine Data Labs, рекламируют свои продукты как значительно более дешевые, чем SAS. В сравнении 2011 года Дуг Хеншен из InformationWeek обнаружил, что первоначальные затраты на все три пакета сопоставимы, хотя он признал, что эти затраты не являются оптимальной основой для сравнения. Бизнес-модель SAS делает меньший упор на первоначальные платежи за программы, сосредотачиваясь вместо этого на доходах от годовой подписки.

SAS Viya

В 2016 году была представлена платформа SAS Viya – платформа искусственного интеллекта, машинного обучения, аналитики и управления данными с новой архитектурой, оптимизированной для работы с программным обеспечением SAS в публичных облаках. Viya также повысила совместимость с программным обеспечением с открытым исходным кодом, позволяя создавать модели в таких инструментах, как R, Python и Jupyter, а затем выполнять их на движке Cloud Analytics Services (CAS) от SAS. В 2020 году в Viya 4 была проведена дальнейшая архитектурная модернизация, в результате которой программное обеспечение было контейнеризовано. SAS продает Viya вместе с SAS 9.4 и не позиционирует ее как замену SAS 9.4. В 2023 году два новых модуля программного обеспечения как услуги (SaaS) для SAS Viya были выпущены в режиме частного предварительного просмотра: Workbench для создания моделей искусственного интеллекта и App Factory для создания приложений искусственного интеллекта. Оба модуля поддерживают несколько языков программирования и, как ожидается, станут общедоступными в 2024 году. В 2023 году SAS Viya также стала доступна на торговой площадке Microsoft Azure Marketplace по модели оплаты по мере использования. В 2023 году компания представила SAS Health – единую модель данных в области здравоохранения, построенную на платформе SAS Viya.

Усыновление

Согласно IDC, SAS занимает лидирующую долю рынка в сфере "продвинутой аналитики", составляя 35,4% по состоянию на 2013 год. Компания занимает пятое место по доле рынка программного обеспечения для бизнес-аналитики (BI) с показателем 6,9% и является крупнейшим независимым поставщиком. SAS конкурирует на рынке BI с SAP BusinessObjects, IBM Cognos, SPSS Modeler, Oracle Hyperion и Microsoft Power BI. SAS была признана лидером в квадранте Gartner для инструментов интеграции данных, а также для бизнес-аналитики и аналитических платформ. Исследование, опубликованное в 2011 году в журнале BMC Health Services Research, показало, что SAS использовался в 42,6% случаев анализа данных в исследованиях в области здравоохранения, на основе выборки из 1139 статей, отобранных из трех журналов.

Образование

Аналитическое программное обеспечение SAS используется в сфере образования для измерения и визуализации успеваемости учащихся и отслеживания динамики их развития. Ряд штатов, в том числе Вирджиния, Северная Каролина, Миссисипи, Миссури и Северная Дакота, применяют это программное обеспечение для оценки и анализа пробелов в знаниях и восстановления учебного процесса у учащихся.

Энергетика и промышленность

Аналитическое программное обеспечение SAS широко используется в нефтяной и газовой промышленности, а также в глобальном производстве.

Наука окружающей среды

SAS и Международный институт прикладного системного анализа запустили приложение, которое собирает изображения, связанные с обезлесением, для обучения алгоритмов искусственного интеллекта, способных выявлять антропогенное воздействие на окружающую среду. Центр прибрежных решений Университета Флориды сотрудничает с SAS в разработке исследований, учебных программ и аналитических инструментов, связанных с экологическими проблемами, влияющими на прибрежные сообщества. В 2023 году Центр изучения Галапагосских островов при Университете Северной Каролины сотрудничал с SAS для создания модели, позволяющей отслеживать состояние здоровья и пути миграции таких видов, как морские черепахи и акулы-молоты, а также состояние популяции фитопланктона.

Финансы и страхование

Программное обеспечение SAS для управления рисками и предотвращения мошенничества широко используется государственными организациями и частными предприятиями. Программное обеспечение компании для выявления и предотвращения мошенничества используется налоговыми органами различных стран, включая Соединенные Штаты, Соединенное Королевство, Ирландию, Новую Зеландию, Нидерланды и Канаду. В 2023 году министр финансов Мальты объявил о начале использования Мальтой программного обеспечения SAS для обнаружения уклонения от уплаты налогов.

Здравоохранение и биологические науки

SAS разрабатывает методы анализа данных и машинного обучения, которые широко применяются в здравоохранении, медицинских исследованиях и биологических науках. SAS сотрудничает с Центрами по контролю и профилактике заболеваний и Институтом Черной собаки в рамках инициатив в области общественного здравоохранения. SAS является партнером клиники Кливленда с 1982 года. Во время пандемии COVID-19 клиника использовала прогностические модели, разработанные SAS, для прогнозирования таких показателей, как количество пациентов, доступность медицинского оборудования и коечный фонд в различных сценариях. В 2021 году SAS присоединилась к инициативе по ускоренной разработке противовирусных препаратов (READDI) при UNC Chapel Hill. В 2023 году правительство штата Техас заключило контракт с SAS на создание централизованной платформы визуализации для прогнозирования и отслеживания будущих вспышек гриппа.