В дополнение к своим волнам, Forrester добавил интресные данные об использовании BI платформ и запросах от клиентов по BI платформам:

Так же понравились три ключевых моменты от Forrester:

• Уже нет противоборства / противоречий между “лучшими в своем классе” и “комплексными” решениями. Комплексное решение, вполне может быть лучшим в своем классе.
• Функциональность самой BI платформы уже не является определяющей при выборе. У большинства поставщиков она “сравнима”. И все большую актуальность приобретают другие факторы – партнеры, интеграция с другими системами и все остальное.
• В реальности не бывает одной BI платформы в более менее крупной организации. Forrester выделил 3 – Основная BI платформа, предназначенная для развертывания в рамках всей компании; Встроенный BI в ERP / CRM; Самостоятельная аналитика.

Использовалась следующая структура данных:

В нее были загружены тестовые данные (не дубли, но автоматическая генерация) следующего объема:

• Факт (табличка F_Cost) – 43 миллиона записей
• Остальные таблички по мелочи – тысячи записей

Все это было повторено в MS SQL 2012 и в Sybase IQ 15.4 на следующем железе (в виртуалках конечно же):

• Оперативная память – 20Gb
• СУБД ограничены 6Gb
• 4 процессора – 3,47 ГГц

Вот какие результаты были получены:

При этом ни в MS SQL, ни в Sybase IQ не проводилось никакой оптимизации. Никакие индексы не создавались и т.д. Т.е. полностью дефолтная конфигурация. Связано это было в первую очередь с тем, что человек, проводивший тестирование (о да, это был не я) не имел достаточного опыта ни в MS SQL, ни в IQ.

Потом ради интереса попросил создать колоночный индекс в MS SQL по таблице фактов. Результат получился не совсем тот, что я ожидал:

• Если запрос похож на полное сканирование, то индекс ничего не дает.
• Если запрос затрагивает меньше 20% записей таблицы фактов, то ускорение принципиальное – в разы.
• Если запрос затрагивает больше 20% записей, то выполнения даже увеличивается.

Вот как то так. Будут вопросы – готов рассказать подробнее.

PS: Апдейт – ошибся в количестве записей Их было 42 миллиона, а не миллиарда.

Несколько удивило, что IBM впереди Oracle. И к своему стыду про всех “новых” игроков я практически ничего не слышал… Надо будет посмотреть на досуге.

Так что рекомендую к изучению.

Magic Quadrant for Business Intelligence and Analytics Platforms

Magic Quadrant for Data Warehouse Database Management Systems

В лидерах IBM, Microsoft, SAP, SAS, Tibco Software, и MicroStrategy. По большому счету ничего удивительного. Посмотрим как аналитики оценят следующую версию Excel…

Мысль одна – Oracle молодцы!

Microsoft Project Server 2010 is a landmark release for Microsoft, and for PPM prospective users and existing Project Server customers, because it is in this release in which Microsoft includes SharePoint 2010 as a the foundation for workflow, document management and collaboration. Adding SharePoint 2010 is a game-changing move for Microsoft. It underscores the software vendor’s focus of SharePoint as the cornerstone of its Enterprise Project Management (EPM) solution, which includes, among other things, the use of Office applications, including Project Professional, as well as other Microsoft components, productivity applications and software. Project Server 2010 also includes enhanced project creation features that do not require the use of Project Professional. Service Pack 1 (SP1) for the 2010 release of Project Server is due for public availability and consumption at the end of June 2011. From a license fee perspective, Microsoft Project Server 2010 can be one of the more cost-effective on-premises and/or hosted PPM systems. Microsoft relies heavily on its partner network to manage implementations and consulting services for Project Server 2010. The inclusion of SharePoint 2010 as part of Project Server 2010, more seamless integration with the portfolio management capabilities of the product, the cost-competitive pricing, and advancements in native project creation capabilities independent from Project Professional earn Microsoft a Strong Positive rating.

Предыдущую версию смотрим вот тут — Отчет Forrester о платформах для корпоративных хранилищ данных за Q1 2009.

Основные моменты:

• Все кроме Vertica попали в Лидеры. Как так может быть и в чем смысл таких “лидеров” не понимаю. Единственное – желание никого не обидеть.
• Sybase, SAP и Netezza – существенный прогресс.
• MS — без изменений.
• Terradata и Oracle практически сравнялись между собой.
• IBM подсдал позиции.

Кому интересно почитайте оригинал если не читали до этого аналитических обзоров Forrester…

• IDC Marketscape Excerpt IT Project and Portfolio Management 2010 (CA)
• IDC MarketScape Excerpt — EXCERPT IDC MarketScape Excerpt- IT (MS)

Основные графики и что на них:

• По горизонтали – Strategies – Стратегическое видение вендора (3-5 лет)
• По вертикале – Capabilities – Текущие возможности решения
• Размер круга (вендора) – рыночная доля
• +, – и = – изменение позиции вендора. 

Корпоративное управление проектами и портфелями ИТ проектов (IT Project Portfolio Management)

Управление ИТ проектами и портфелями как услуга — SaaS / On-Demand IT Project Portfolio Management

Управление финансами, услугами и активами в ИТ — Financial management and/or IT Service and IT Asset Management

Управление жизненным циклом приложений — Application life-cycle management tools

Я думаю по картинкам и так все понятно, но все-таки:

• Во всех срезах MS существенно улучшил свои позиции за последнее время.
• В PPM И ALM у MS очень сильные позиции
• В ITFM / ITSM срезе MS есть над чем поработать, хотя доля рынка достаточно большая.
• Ну и с SaaS у MS полный провал на текущий момент. В ближайшее время на этом поле должны произойти достаточно большие изменения, так что будем ждать.

Ну и явный лидер – CA. Одна проблема – компания теряет свои позиции.

Хвалят MS за сбалансированное соотношение цена / возможности. Ругают за привязку к Винде, отсутствие метоуровня (gaps in its unified, common metadata model) и проблемы с федеративным доступом к гетерогенным источникам данных (federated data access to heterogeneous sources). В общем все как всегда.

Предыдущая волна есть вот тут — Обзоры аналитиков – а есть ли толк?

• Magic Quadrant for Business Intelligence Platforms, 2011
• Magic Quadrant for Data Warehouse Database Management Systems, 2011

Предыдущие версии квадратов можно посмотреть вот тут — Очередные квадраты Gartner по BI и Хранилищам за 2010 год.

Начну с BI:

Что самое интересное на мой взгляд:

1. В отчет попало гораздо больше игроков, чем год назад (20 вместо 15 год назад). Так что несмотря на всю “консолидацию” рынка конкуренция не ослабевает и постоянно появляются новые игроки, которые занимают заметную долю рынка.
2. Ощутимый прогресс MS. Теперь MS лидер по оси “способности к реализации” и занимает 3/4 место по “полноте видения”.
3. QlikTech со своим QlikView попал в квадрант Лидеров! На мой взгляд большой успех для компании и вполне заслуженная оценка. Конкурировать с ними станет только сложнее, но оно и интереснее.

За что в этот раз ругают MS:

• Отсутствие единого продукта / решения. BI от MS это связка 3 продуктов – Office + SharePoint + SQL Server
• Большая ориентация на разработчиков, чем на конечных бизнес-пользователей.
• Отсутствие готовых решений
• Больший цикл развития решений из-за взаимосвязанности продуктов
• Большая зависимость / ориентация на “все от MS”.
• Отсутствие единой семантической модели.

Рекомендую в этот раз почитать весь доклад. В отличии от предыдущих нашел для себя много интересного (Может в прошлом году плохо читал?)

Продолжим DW:

Самое интересное:

1. MS выпал из квадранта лидеров. Причина простая – аналитики Gartner не включили в свое исследование SQL Server 2008 R2 PDW. А это существенно ограничивает возможности MS на больших ( > 20 Тб) хранилищах.
2. Greenplum, после покупки его ECM, попал в Лидеры.
3. Все остальное более менее без изменений / предсказуемо. Хотя такой прогресс SyBase выглядит очень странно.

Для MS этот отчет опять оказался смазанным как и предыдущий. Так что опять ждем следующего года. Уже будет реальный опыт внедрения PDW плюс SQL Server “11” должен привнести достаточно много улучшений.

Презентацию пока не обновил, но в этом году приоритеты выглядят так:

Основные изменения:

• Облака на первом месте

Лежит полностью в глобальном тренде. С одной стороны все вендоры стали очень активно раскручивать эту тему, с другой стороны – реально позволяет упростить жизнь ИТ директора и в некоторых случаях даже существенно сократить затраты.

• Полный провал Web 2.0

Так и не понял что Gartner под этим понимает. Скорей всего не это -  Веб 2.0

• Взлет на 4 место “Управления ИТ”

Для меня довольно странно. Хотя может и понятно, с учетом того что 66% бюджетов уходит на поддержание текущей операционной деятельности.

• BI все еще на 5 месте

Без комментариев

Общее замечание – не совсем понимаю выбор Gartner’ом списка технологий. По хорошему в Облака можно включить и BI и Collaboration и т.д.

А как вам такие приоритеты? Релевантно для России?

Вот что предсказывает Gartner:

• К 2013 году 33% BI функционала будет использоваться с мобильных устройств (handheld devices)

Полностью согласен. Основной упор конечно же будет делаться на планшетные ПК. Скорость их распространения и поддержка основных BI игроков на мой взгляд не оставляют сомнений в этом прогнозе.

• К 2014 году 30% аналитических приложений будут использовать In-Memory подходы для повышения масштабирования и скорости. 30% BI приложений будут использовать возможности прогнозирования и предсказаний.

In-Memory последние 2 года является одной из самых модных и востребованных тем в BI. С выходом SQL Server “11” MS начинает внедрять In-Memory не только в клиентских инструментах (PowerPivot), но и в серверных сценариях. Так что в 30% верб легко. В 30% “предсказаний и прогнозирования” верю немного меньше, ибо не совсем понятно что Gartner под этим понимает плюс эта тема все-таки не технологическая и достаточно сложна для внедрения…

• К 2014 году 40% затрат на BI будут доставаться интеграторам, а не поставщикам ПО.

И верю и не верю… По опыту на софт и железо все еще уходит очень большая часть типового BI-проекта. С другой стороны, очевидна тенденция к снижению стоимости ПО в BI-проектах. Буду ждать.

• К 2013 году 15% BI проектов будут совмещать функционал аналитики (BI), совместной работы (collaboration ) и социальных сетей (social software).

Это уже по сути так (правда не в размере 15% пока). Так что тут тоже нет сомнений.

Осталось подождать 3-4 года и проверить что из этого сбудется…

Вышло длинное вступление. А все это было вот к этой аналитической статье на CNews — Рынок СУБД для хранилищ данных: банки консервативны в выборе. Прочитал ее только пару дней назад и даже не понял как на такое реагировать. Приведу две ключевые диаграммы:

Первая картинка вроде как еще не вызывает очень много вопросов, а вот по поводу второй их возникает очень много:

1. Совсем не верю в полное засилье MS в 2000-2003 года. С учетом давней любви россиян к Oracle (с учетом того, что его использование не означает приобретение необходимых лицензий), не верю что 3 года не было ни одного проекта на Oracle.
2. И так же совсем не верится в полное отсутствие новых проектов по хранилищам в банках на базе MS за последние 3 года (2008-2010).

Единственной причиной такой неоднозначной аналитики может быть разве что вот эта фраза:

Исследование Intersoft Lab опирается на данные о "публичных" проектах, информация о которых была опубликована в открытых источниках. При проведении анализа не учитывались "заказная разработка", а также внутренние проекты, выполняемые силами ИT-специалистов банка. В фокусе внимания — внедрения исключительно "коммерческих" хранилищ, т.е. проекты, в которых использованы тиражные решения компаний-разработчиков.

Сложно сказать насколько “тиражные” решения распространены в банковском секторе, но у меня есть большие сомнения что они покрывают 80-90% рынка. А если это так, то называть обзор “Рынок СУБД для хранилищ данных” как минимум немного не корректно.

Ну и не могу не прокомментировать вот этот момент в статье:

С изменением требований к производительности СУБД для хранилищ данных, российские разработчики, накопившие наибольший опыт в подготовке управленческой и регулятивной банковской отчетности, сумели вывести на рынок решения, функционирующие на другой, более предпочтительной СУБД — Oracle.

Т.е. аналитики Intersoft Lab явно говорят, что с точки зрения ключевого фактора для банковского сектора – производительности (С чем уже можно поспорить. На мой взгляд практически никто из тех кто покупает софт не рассматривает производительность как отдельный полностью независимый фактор) Oracle является более предпочитаемым решением и поэтому все на него перешли. Для простоты смотрим только вот эти результаты -  TPC-H — Top Ten Performance Results. Видим что где-то впереди Oracle, где-то MS, где-то IBM и т.д. Т.е. говорить что один из вендоров однозначно предпочтительнее по производительности так же не совсем корректно.

Итого – обзор мне совсем не понравился, зачем CNews и Intersoft Lab публикует такие неоднозначные материалы так же не понятно, и хотелось бы почитать такой же обзор но в более развернутом виде, чтобы он не вызывал таких вопросов.

Весь мировой BI рынок в 2009 году оценивается IDC в $8 миллиардов. В эту стоимость включены только лицензии и контракты на поддержку, т.е. эта цифра без стоимости самого внедрения.

По тому же исследованию EMEA-рынок (Европа, Средний восток и Африка) весит $3,1 миллиарда. По моим ощущениям Россия в нем максимум занимает 10%. Итого оценка сверху – $310 миллионов (M) для российского рынка. Эта цифра нужна скорее для самопроверки, чтобы не на фантазировать в дальнейшем слишком много.

Теперь попробуем оценить его объем снизу.

Для начала попробуем прикинуть, сколько MS зарабатывает в России на BI. При этом будем учитывать лицензии, проданные только под BI проекты, а не абстрактно “весь SQL Server”. Для расчета стоимости лицензий будем использовать Microsoft License Advisor (считаем по Опену для коммерческих организаций с учетом SA). Итак, делаем следующие предположения:

1. В России 10 партнеров, занимающихся внедрением MS BI на “промышленном” уровне.
2. Промышленный уровень – 5-10 BI проектов в год.
3. Один проект состоит из следующих лицензий:

1. SQL Server  – 2 штуки
2. SharePoint – 1 штука
3. Office – 50 штук.

Получаем 91К на лицензии на 1 проекте (детали в табличке внизу):

Теперь дело за малым – 91К * 10 * (5-10 проектов) = 4550К-9100К. Или переходя к миллионам получаем долю MS на российском BI рынке в диапазоне $4,5М – 9,1М.

Теперь попробуем оценить относительную долю MS в России.

1. IDC дает 8,8% на мировом рынке.
2. CNews дает оценку в 20%.

Я бы дал 25%, но для правдивости остановимся на оценки CNews.

Таким образом весь BI рынок в России оцениваем в $22,5-45,5 М. Эта оценка соответствует 0,7-1,5% от рынке EMEA, что на мой взгляд очень похоже на правду.

Что скажите, коллеги? Согласны с такими выкладками? Каковы ваши оценки?

Что нового:

1. Четкая тройка лидеров – IBM, Microsoft и Oracle. Разница между ними практически нулевая.
2. MS лидер по “возможности к реализации”
3. Oracle лидер по “полноте вижина”.
4. EMC существенно сдал.

У MS все теже слабые стороны – миграция, большие внедрения и не всегда достаточный функционал из коробки.

Magic Quadrant for Sales Force Automation

The Forrester Wave™: CRM Suites Customer Service Solutions, Q3, 2010 (July 2010)

Но не это главное! Наш CRM Product Marketing Manager Юра Колеров язался за ум и завел себе блог — Microsoft Dynamics CRM в России! Мне кажется будет очень интересно читать Юру, так что все кто связан с CRM (не обязательно Microsoft) – подписывайтесь!

Сам квадрат:

Что изменилось за год:

• Количество и состав лидеров за год не изменился
• Все вендоры стали еще ближе друг к другу по оценкам Gartner. В прошлый раз были явные группы – Oracle + MS и все остальные, а теперь их нет. Разве что Oracle немного подотстал.

Вот что по MS пишут:

Сильные стороны:

• Построен на базе SPS 2010 со всеми вытекающими плюсами
• Объединяет управление портфелями и проектами
• Существенно расширен функционал —

Слабые стороны:

• SaaS версия только через сертифицированных хостинговых партнеров.
• Малое количество преднастроенных отчетов
• Незавершенность “бюджетирования” из коробки

Слабые стороны меня совсем не убедили. Не верю во внедрение EPM из коробки или силами 1-го человека.

• Рынок достиг 8 миллиардов у.е.
• Вырос на 2,5% на фоне падения на 0,9% всего ИТ рынка

Вот таксономия IDC – что они считают BI Tools:

Исторический рост рынка:

Ну и основные цифры по игрокам:

MS и IBM традиционно в лидерах по темпам роста. Еще немного, и MS догонит Oracle. Я думаю это цель на 2010 год.

За подробностями идем к первоисточнику по ссылке в самом начале.

На что стоит обратить внимание:

• IBM молодцы! Продолжают очень активно расти.
• У SAP если и не падение, то однозначно стагнация.
• MS уверенно на 5-м месте (очень интересно глянуть на данные только по BI-платформам). При этом второй по темпам роста игрок.

На кардинальное изменение ситуации в следующем году не рассчитываю.

Погрешности у авторов достаточно большие, но картинку понять можно.

Magic Quadrant for Business Intelligence Platforms, 2010

Предыдущие (2008 и 2009 годы) смотрим вот тут — Лидеры BI-платформ. Версия Gartner 2009.

Кардинальных изменений в новой версии не заметил, но почитать все-равно интересно. Хотя практически все повторяется из года в год

Ждем следующего уже с реальной оценкой Gartner’ом новых продуктов от MS. Основное это конечно же PoverPivot.

Magic Quadrant for Data Warehouse Database Management Systems, 2010

Предыдущие смотрим вот тут — Magic Quadrant for Data Warehouse Database Management Systems – 2006 vs 2007 vs 2008. За 2009 не вижу, но не уверен что он был.

Существенных изменений опять таки нет. Так что и тут ждем следующей версии с оценкой SQL Server 2008 R2 Parallel Data Warehouse. Очень интересно насколько ребята хорошо интегрировали DATAllegro.

Самое важное изменение на мой взгляд – впервые за последние 5 лет, BI не попал на первое место! Объяснение очень простое:

Business expectations are shifting from a focus on greater cost-based efficiencies, to achieving better results based on enterprise and IT productivity. These productivity gains will come from collaborative and innovative solutions that take advantage of the new “lighter-weight” services-based and social media technologies, including virtualization, cloud computing and Web 2.0 social computing. This transition can be seen in the top 10 technology priorities for CIOs in 2010 where business intelligence, the No. 1 technology the past five years, dropped to the No. 5 priority.

…

Moreover, the technologies that CIOs are prioritizing in 2010 are technologies that can be implemented quickly and without significant upfront expense, instead of investing millions of dollars to get millions in benefits, with these technologies, up front investments are measured in thousands of dollars to get those same benefits.

Попросту – приоритет теперь на тех технологиях, от которых можно получить быстрые результаты и большую отдачу не вкладывая в них много первоначальных инвестиций.

Верно ли это для России? На мой взгляд нет. Уровень развития BI у нас на мой взгляд самый начальный, поэтому получить быстрые результаты от внедрения BI в наших условиях вполне возможно. Знаю очень много проектов, что делали первую итерацию за 1-2 месяца (от 0 до первого рабочего и полезного решения). PS: Возникли трудности с переводом 2006 года. Если кто может подсказать – буду благодарен. На слайде красным выделено.