Исходный код вики Анализ и визуализация данных в Corpwiki (XWiki) с применением языка R
Скрыть последних авторов
| author | version | line-number | content |
|---|---|---|---|
 |
13.1 | 1 | (% style="text-align:center" %) |
| 2 | [[image:CorpwikiR.png||height="450" width="800"]] | ||
| 3 | |||
| |
1.3 | 4 | == Что такое язык программирования R == |
| |
1.1 | 5 | |
| |
1.5 | 6 | **R - язык программирования, созданный специально для статистического анализа данных**. Его разработали на факультете статистики Оклендского университета. |
| |
1.1 | 7 | |
| |
1.3 | 8 | **Особенности языка R**: |
| 9 | |||
| |
1.5 | 10 | * **Интерпретируемый**. Программа на языке R сразу готова к исполнению — её не нужно собирать в исполняемый файл с помощью компилятора. |
| 11 | * **Простой по синтаксису**. R в своей основе не содержит сложных конструкций и запутанных функций. Даже типов данных у него всего четыре: символьные, числовые, логические и комплексные. | ||
| 12 | * **Рабочая среда**. В R встроены готовые методы статистического анализа и инструменты для визуализации. | ||
| |
1.3 | 13 | |
| |
1.5 | 14 | **Сфера применения языка R**: математики, биологи, генетики и другие учёные, которым нужно проводить статистические исследования и строить модели. Также R востребован среди аналитиков данных и специалистов по Data Science. |
| |
1.3 | 15 | |
| |
1.5 | 16 | **Распространение**: язык и среда доступны под лицензией GNU GPL. Распространяются в виде исходных кодов, а также откомпилированных приложений под ряд операционных систем. |
| |
1.3 | 17 | |
| 18 | == Какая польза от использования языка R в бизнесе == | ||
| 19 | |||
| |
1.12 | 20 | С точки зрения бизнеса разработку приложений для анализа данных на языке R можно считать почти идеальным решением: |
| |
1.11 | 21 | |
| |
1.12 | 22 | 1. Отсутствуют какие-либо финансовые барьеры для начала использования: |
| 23 | 1*. Не надо никаких первоначальный вложений в лицензии. | ||
| 24 | 1*. Нет никаких лицензионных ограничений и проблем потенциального расширения. | ||
| 25 | 1*. Нет никаких ежегодных платежей за поддержку лицензий. | ||
| 26 | 1*. Все прекрасно работает на linux, нет необходимости в приобретении дополнительных ОС. | ||
| 27 | 1. Если ваши внешние системы выдают необходимую информацию, то этого уже достаточно для начала проекта. **Сопутствующие проекты по доработке не требуются**, все можно будет сделать на уровне аналитики. | ||
| 28 | 1. Уже есть доказанная практика применения R в бизнесе практически во всех вертикалях. | ||
| 29 | 1. Не надо планировать глобальный проект, достаточно начать с частных проблемных мест. | ||
| 30 | 1*. Проекты получаются компактными и быстрыми, результаты легко переводятся в деньги (заработанные или сэкономленные). | ||
| 31 | 1*. Полученные результаты позволяют взглянуть на существующие задачи под иным углом зрения, обнаружить реальные проблемы и расставить акценты в более правильном виде. | ||
| 32 | |||
| |
1.5 | 33 | == Что умеют приложения на R == |
| 34 | |||
| |
1.17 | 35 | * Импорт данных из различных источников.** txt\csv**, **xls **(Excel), web scrapping, RDBMS. |
| |
1.5 | 36 | * Обработка данных: фильтрация, группировка, агрегирование, добавление и вычисление. |
| 37 | * Временной анализ (как правило, 80% данных сопровождаются временными метками). | ||
| |
1.13 | 38 | * Расширенная обработка (элементы высшей математики, включая элементы машинного обучения): Наиболее популярен поиск аномалий, различные классификаторы, рекомендации и прогнозирование и Process mining. |
| |
1.6 | 39 | * Визуализация данных различными способами. |
| 40 | * Интеграция с внешними информационными системами для экспорта рассчитанных данных. | ||
| 41 | * Экспорт в форматы, удобные для восприятия человеком, такие как: **pdf**, **html**, **xls**, **doc**, **ppt**. | ||
| 42 | * Web-base рабочее место для аналитика\рядового пользователя. | ||
| 43 | |||
| |
1.5 | 44 | Приведенный функционал доступен в рамках экосистемы R без особой необходимости инсталляции каких-либо дополнительных сторонних компонент. |
| 45 | |||
| |
1.3 | 46 | == Как работает интеграция между Corpwiki (XWiki) и приложениями на языке R == |
| 47 | |||
| |
1.17 | 48 | Мы в Corpwiki разработали подход позволяющий использовать всю мощь приложений написанных на языке R в XWiki. |
| 49 | |||
| 50 | Это позволяет не только обогатить содержание баз знаний (корпоративных вики) визуально привлекательной инфографикой но и реализовать много интересных с точки зрения бизнеса решений. | ||
| 51 | |||
| 52 | Схематично процесс взаимодействия выглядит следующим образом: | ||
| 53 | |||
| 54 | [[image:Внешние данные.png||height="848" width="1200"]] | ||
| 55 | |||
| 56 | На страницу XWiki встраивается небольшой кусочек кода. | ||
| 57 | |||
| 58 | При обращении пользователя к такой странице, она запрашивает данные у сервиса обработки. | ||
| 59 | |||
| 60 | Данный сервис устанавливается "рядом" с XWiki и если например, ваша база знаний расположена на ваших серверах, то вы сможете также разместить данный сервис у себя. | ||
| 61 | |||
| 62 | Безопасность корпоративных данных гарантирована. | ||
| 63 | |||
| 64 | Сервис обращается уже к XWiki откуда "забирает" данные для формирования отчетов или графики. | ||
| 65 | |||
| 66 | Такие данные могут забираться "в сыром" виде. | ||
| 67 | |||
| 68 | Вся обработка данных (фильтрация, группировка, вычисления, обогащение) происходят на стороне сервиса. | ||
| 69 | |||
| 70 | После того как данные готовы для отображения, система возвращает их в XWiki и пользователь видит готовый результат. | ||
| 71 | |||
| 72 | Для пользователя все выглядит так как будто он просто открыл страницу. | ||
| 73 | |||
| 74 | Созданная инфографика является интерактивной. | ||
| 75 | |||
| |
1.18 | 76 | Другими словами есть возможность добавлять элементы управления на такие страницы и пользователи в режиме реального времени могут изменять настройки отображения. |
| |
1.17 | 77 | |
| |
6.2 | 78 | === Внешние данные === |
| |
1.18 | 79 | |
| 80 | Как можно увидеть на схеме, данные могут быть получены не только из объектов данных XWiki но и из любых внешних источников данных. | ||
| 81 | |||
| 82 | Это могут быть корпоративные приложения, базы данных, файлы Excel и тому подобное. | ||
| 83 | |||
| 84 | Данные из разных систем можно объединять и использовать для формирования отчетности и инфографики. | ||
| 85 | |||
| 86 | Таким образом вы сможете превратить вашу базу знаний в витрину данных или BI систему. | ||
| 87 | |||
| 88 | Посмотрите в разделе примеров какие возможности дает для отображения данных данный подход. | ||
| 89 | |||
| |
1.3 | 90 | == Примеры результатов работы приложений на языке R == |
| 91 | |||
| |
12.1 | 92 | {{gallery height="600px" width="100%"}} |
| |
6.2 | 93 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR1.png |
| 94 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR2.png | ||
| 95 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR3.png | ||
| 96 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR4.png | ||
| |
12.1 | 97 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR5.png |
| 98 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR6.png | ||
| 99 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR7.png | ||
| 100 | image:Stati.Integratsii.Integratsiia-Corpwiki-XWiki-i-prilozhenii-na-iazyke-R.WebHome@XWikiR8.png | ||
| |
6.2 | 101 | {{/gallery}} |
| |
1.3 | 102 | |
| |
1.1 | 103 | ---- |
| 104 | |||
| 105 | {{cl-plate-help/}} |