Аналіз даних в SQL Server засобами Python

Abstract

Розглянуто можливості інструментальних засобів аналізу даних. Викладено способи зберігання даних, які адаптовані до ефективного виконання запитів аналізу даних, а також мовні засоби, що представлені в компоненті Microsoft SQL Server як Machine Learning Services (in-database). Проведено порівняння операційних баз даних (OLTP-систем) і сховищ даних, які орієнтовані на аналіз даних (OLAP-систем). Наведено приклади обох систем, а також розглянуто систему їхньої взаємодії (ETL-система). Описано інструментальні засоби аналізу даних, які в найпростіших випадках застосовуються до OLAP-кубів. Подано мовні засоби виконання аналізу даних в більш складних випадках. Проведено порівняння мов R і Python, з якого випливає, що мова Python дозволяє будувати завершені програми обробки даних, а бібліотеки в ній майже такі самі, як і в мові R. Показано, що, з огляду на велику популярність мовних засобів аналізу даних в останні випуски SQL Server включено компонент SQL Server R Services, в результаті чого нові можливості в SQL Server дозволили обійти обмеження, яке полягає в тому, що всі дані повинні зберігатися в пам'яті. Описано основні переваги компонента Machine Learning Services, а також особливості його установки. Продемонстровано на конкретних прикладах можливості виконання розрахунків і графічного подання результатів мовою Python у середовищі SQL Server для проведення аналізу даних. Рассмотрены возможности инструментальных средств анализа данных. Изложены способы хранения данных, адаптированные к эффективному выполнению запросов анализа данных, а также языковые средства, представленные в компоненте Microsoft SQL Server как Machine Learning Services (in-database). Проведено сравнение операционных баз данных (OLTP-систем) и хранилищ данных, которые ориентированы на анализ данных (OLAP-систем). Даны примеры обеих систем, а также рассмотрена система их взаимодействия (ETL-система). Описаны инструментальные средства анализа данных, которые в простейших случаях применяются к OLAP-кубам. Представлены языковые средства выполнения анализа данных в более сложных случаях. Проведено сравнение языков R и Python, из которого следует, что язык Python позволяет строить завершенные приложения обработки данных, а библиотеки в нем почти такие же, как и в языке R. Показано, что, учитывая большую популярность языковых средств анализа данных в последние выпуски SQL Server включены компонент SQL Server R Services, в результате чего новые возможности в SQL Server позволили обойти ограничения, которое заключается в том, что все данные должны храниться в памяти. Описаны основные преимущества компонента Machine Learning Services, а также особенности его установки. Продемонстрированы на конкретных примерах возможности выполнения расчетов и графического представления результатов на языке Python в среде SQL Server для проведения анализа данных. The possibilities of data analysis tools are considered. Methods of data storage adapted to the effective execution of data analysis requests are described, as well as the language tools presented in the Microsoft SQL Server component as Machine Learning Services (in-database). Comparison of operational databases (OLTP-systems) and data warehouses, which are focused on data analysis (OLAP-systems) are compared. Examples of both systems are given, and the system of their interaction (ETL-system) is considered. Describes data analysis tools, which in the simplest cases are applied to OLAP-cube. Presented are the language tools for performing data analysis in more complex cases. Comparison of the R and Python languages is performed, from which it follows that the Python language allows you to build complete data processing applications, and the libraries in it are almost the same as in the R language. It is shown that, given the great popularity of language analysis tools in the latest issues of SQL Server included the SQL Server R Services component, resulting in new features in SQL Server that circumvented the restriction that all data must be stored in memory. Describes the main advantages of the Machine Learning Services component, as well as the features of its installation. Demonstrated on specific examples of the possibility of performing calculations and graphical representation of results in Python in a SQL Server environment for data analysis.