31
Copyright © SAS Institute Inc. All rights reserved. Обзор платформы SAS Viya SAS Viya

Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

  • Upload
    others

  • View
    51

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Обзор платформы SAS ViyaSAS Viya

Page 2: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Big Data & Machine Learning

Почему это популярно

сейчас?

ДанныеВычислительные

мощности Алгоритмы

+ + +Обработка данных

любого размера или сложности

Использование современных

вычислительных технологий

Обширная библиотека современных и надёжных

методов машинного обучения

ПреимуществаSAS

в машинном обучении

Page 3: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Драйверы цифровой

трансформации

ПОТРЕБНОСТИЦЕЛИ БИЗНЕС-ДРАЙВЕРЫ

Снижение затрат

Увеличение выручки

Развитие отношений с клиентами

Развитие кадровогопотенциала

Повышение эффективности продаж

Снижение операционных рисков

Повышение эффективности бизнес-процессов

Снижение совокупнойстоимостивладения ИТ

Проверка большегокол-ва бизнес-гипотез

Построение большего кол-ва моделей

Решение новыхнепрофильных задач

Моделирование на большом объеме данных

Управление жизненным циклом моделей

Увеличение скоростивыхода на рынок(time-to-market)

Page 4: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

САС ВАЙЯ

SAS Viya

Вийя

Виуа

Уайя

Вуя Вия

Виа

Вауа

Page 5: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Par

alle

l & S

eria

l, P

ub

/ S

ub

, W

eb S

ervi

ces,

MQ

s

Источники данных

Microservices

UAA

QueryGen

Folders

CAS Mgmt

Data Source Mgmt

AnalyticsGUIs

etc…

BIGUIs

EnvMgr

ModelMgmt

Log

Audit

UAAUAA

Data Mgmt GUIs

In-Memory Runtime Engine

In-Database

In-Hadoop

In-Stream

Ре

шен

ия

Пр

огр

амм

ны

еИ

нте

рф

ейсы

Аналитика

Управление данными

Безопасность и противодействие мошенничеству

Бизнес-визуализацияУправление

рисками

!

Клиентская аналитика

Cloud Analytics Services (CAS)

SAS Viya

Page 6: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

SAS Viya – Новая открытая архитектураРазные интерфейсы для разных пользователей

Интерактивные графические интерфейсы

Программный интерфейс

SAS Viya

Веб-вызовы

REST API

Page 7: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

SAS Viya и Open Source

SAS Scripting Wrapper for Analytics TransferAPI пакет из Python или R в CAS

Позволяет пользователям загружать данные в память

Интеграция SAS Analyticsв Python / R код

SWAT

Позволяет выполнять CAS действия по преобразованию, агрегации, моделированию и скорингу данных

Поддержка Jupyter Notebook

Page 8: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Участники процесса анализа данных

SAS Visual

Analytics

Исследование данных

Бизнес-аналитики

SASData

Preparation

Управлениеданными

Инженеры данных

SAS Visual Data Mining & Machine Learning

Data Scientist-ы

Машинное обучение

SAS Visual

Statistics

Статистики и аналитики

Прогнозная аналитика

Page 9: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Платформа SAS ViyaЖизненный цикл аналитики и технологии

Исследование

Данные

Внедрение

Подготовка данных Визуализация

Машинное обучение

Прогнози-рование

Отчетность

Управлениемоделями

Управлениерешениями

Текстовая аналитика

Оптимизация

Page 10: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Доступ к разным источникам данных

• Создание новых признаков

• Объединение нескольких источников данных

• Подготовка данных бизнес-пользователями

• Управление качеством данных и профилирование

• Совместная работа

Подготовка данныхSAS Data Studio + SAS Data Preparation

Page 11: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Матрица корреляций

• Облако слов

• Гистограммы

• Гео-карты

• Box-plot

• Тепло-карта

Визуальный анализ данныхSAS Visual Analytics

+ более 40 видов визуализаций

Page 12: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Кластеризация k-средних

• Линейная регрессия

• Логистическая регрессия

• Непараметрическая логистическая регрессия

• Обобщенная линейная модель

• Обобщенная аддитивная модель

• Деревья решений

Описательная аналитикаSAS Visual Statistics

+ более 15 алгоритмов в программном интерфейсе

Page 13: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Случайный лес

• Нейронные сети

• Градиентный бустинг

• Машина опорных векторов

• Факторизационные машины

Машинное обучение для бизнес-аналитикаSAS Visual Data Mining and Machine Learning

+ более 25 алгоритмов в программном интерфейсе

Page 14: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Диаграммы процесса анализа данных

• Графический интерфейс + Встраивание SAS кода

• Асинхронное выполнение узлов

• Диаграммы из Visual Analytics

• Набор готовых шаблонов диаграмм

• Создание пользовательских шаблонов

Конвейеры анализа данныхSAS Model Studio

Page 15: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Табличное сравнение моделей

• Интерактивная оценка качества моделей

• Графики с показателями качества для разных выборок

• Публикация скорингового кода в CAS, в базу данных*

* Для публикации в СУБД необходима лицензия In-Database Technologies

Сравнение и внедрение моделейSAS Model Studio

Page 16: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Лингвистическая предобработка текста

• Автоматическое выделение тематик

• Выделение объектов из текста

• Категоризация

• Выделение фактов из текста

Текстовая аналитикаSAS Visual Text Analytics

Page 17: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

• Построение моделей временных рядов семейства ARIMA(X), UCM, IDM, ESM

• Архитектура построения проектов (pipeline)

• Сценарный анализ

Прогнозирование временных рядов и показателейSAS Visual Forecasting

Page 18: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

SAS Visual Data Mining and Machine LearningАлгоритмы

В их числе:Frequency / Crosstab

Data Transpose Variable Cardinality Analysis

Variable BinningVariable Summary

Sampling and PartitioningMissing Value Imputation

Variable Selection Model Assessment

DS2 & FedSQL

В их числе:Decision Trees & Design Matrix

General Additive ModelsGeneralized Linear Models

K-means and K-modes ClusteringLinear & Logistic Regression

Nonlinear Regression Ordinary Least Squares Regression

Partial Least Squares RegressionPearson Correlation

Principal Component Analysis

В их числе:Boolean Rules

Factorization MachinesGradient Boosting & K Nearest Neighbor

Image Processing & Market Basket Analysis Moving Windows PCA

Network Analytics/Community DetectionNeural Networks / Deep Learning

Random Forest & Robust PCASupport Vector Data Description

Методов обработки данных

более

25Статистических

алгоритмов

более

15Алгоритмов

машинного обучения

более

25

Page 19: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Автонастройка гиперпараметровмоделей машинного обучения

Автонастройка SAS использует передовые методы оптимизации

Создание более точных моделей быстрее

по сравнению с ручным перебором

Борьба с переобучением модели

за счет ограничения сложности модели

Повышение предсказуемости модели

на независимом наборе данных

Байесовская оптимизация (суррогатная модель гауссовского процесса, кригинг)

Генетический алгоритм Случайный перебор методом простой случайной выборки

Случайный перебор методом латинского гиперкубаПолный перебор

Page 20: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

SAS Model Manager & SAS Decision ManagerОсновные возможности

ДанныеSAS Data

Preparation

SAS Model

Manager

SAS Decision Manager

• Централизованное файловое хранилищелюбых моделей

• Перестроение моделей из Model Studio

• Публикация моделей в CAS, Hadoop, Teradata

• Мониторинг качества моделей

• Разработка схем принятия решений на основе бизнес-правил и аналитических моделей

• Публикация построенных решений в СУБД (Hadoop или Teradata) и в CAS для пакетной обработки

SAS Model studio

SAS VA & VS &

VDMML

Ad-hoc исследование

Аналитический проект

Page 21: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Единая платформа SAS Viya – единый интерфейс

Page 22: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Business Analyst

SAS Data Scientist

Open Source Data Scientist

Единаяинтегрированная

платформадля разных

пользователей

SAS Statistician

IT & Application Management

SAS Viya

Page 23: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Осуществите цифровую трансформацию вместе с SAS!

SAS Viya

Page 24: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

От изображений к даннымИнструменты SAS Viya для обработки изображений

Изображение RGB –распределение

(преобразование изобр. в таблицу)

Аугментации

Horizontal Fliplighten Rotate Left

Выбор алгоритма моделирования

Шаблоны

Custom

Классификация

Распознавание объектов (object detection)

Сравнение изображения с коллекцией (matchimages)

Поиск ключевых особенностей(keypoints)

Построение модели

Результаты модели.

Интерпретация

Page 25: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Глубокое обучениеНейронные сети

- Перцептрон

- Сеть прямого распространения; Radial Basis сеть

- Машина опорных векторов

- Глубокая нейронная сеть

- Сверточнаянейронная сеть

- Машина опорных векторов

- Машина опорных векторов

http://www.asimovinstitute.org/neural-network-zoo/

Page 26: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Анализ поведения водителей за рулем с использованием глубокого обучения

Page 27: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Безопасное вождение (С0)

Печатает на телефоне (С1)

Разговаривает по телефону (С2)

Разговаривает с пассажирами (С9)

Page 28: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Классификация Object detection Keypoints

Viya CV Model Zoo

Page 29: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Анализ результатов применения модели

Руки на руле.

Телефон в правой руке.

Безопасное вождение

Печатает на телефоне

https://arxiv.org/pdf/1311.2901.pdf

Page 30: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

В руке телефонРазговаривает по телефону.

Повернута голова.Разговаривает с пассажиром.

Анализ результатов применения модели

https://arxiv.org/pdf/1311.2901.pdf

Page 31: Обзор платформы SAS Viya...SAS Viya –Новая открытая архитектура Разные интерфейсы для разных пользователей

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Осуществите цифровую трансформацию вместе с SAS!

SAS Viya