Техноблог Войцеховского Максима » Производительность

MS SQL vs Sybase IQ

Максим Войцеховский — Thu, 19 Dec 2013 14:10:37 +0000

В прошлый раз когда болел, обещал выложить сравнение MS SQL и Sybase IQ. Пришлось ждать очередной болезни, прежде чем дошли руки. Итак результаты.

Использовалась следующая структура данных:

В нее были загружены тестовые данные (не дубли, но автоматическая генерация) следующего объема:

Факт (табличка F_Cost) – 43 миллиона записей
Остальные таблички по мелочи – тысячи записей

Все это было повторено в MS SQL 2012 и в Sybase IQ 15.4 на следующем железе (в виртуалках конечно же):

Оперативная память – 20Gb
СУБД ограничены 6Gb
4 процессора – 3,47 ГГц

Вот какие результаты были получены:

При этом ни в MS SQL, ни в Sybase IQ не проводилось никакой оптимизации. Никакие индексы не создавались и т.д. Т.е. полностью дефолтная конфигурация. Связано это было в первую очередь с тем, что человек, проводивший тестирование (о да, это был не я) не имел достаточного опыта ни в MS SQL, ни в IQ.

Потом ради интереса попросил создать колоночный индекс в MS SQL по таблице фактов. Результат получился не совсем тот, что я ожидал:

Если запрос похож на полное сканирование, то индекс ничего не дает.
Если запрос затрагивает меньше 20% записей таблицы фактов, то ускорение принципиальное – в разы.
Если запрос затрагивает больше 20% записей, то выполнения даже увеличивается.

Вот как то так. Будут вопросы – готов рассказать подробнее.

PS: Апдейт – ошибся в количестве записей Их было 42 миллиона, а не миллиарда.

Тесты и рекомендации по планированию производительности SPS 2010

Максим Войцеховский — Tue, 14 Sep 2010 18:49:44 +0000

Коллеги, вы только посмотрите на этот развал:

AccessServicesCapacityPlanningDoc.docx
BCSCapacityPlanningDoc.docx
DesigningLargeListsMaximizingListPerformance.docx
ExcelServicesCapacityPlanningDoc.docx
InfoPath2010CapacityPlanningDoc.docx
LargeScaleDocRepositoryCapacityPlanningDoc.docx
MySitesSocialComputingCapacityPlanningDoc.docx
OfficeWebAppsCapacityPlanningDoc.docx
SearchforSPServer2010CapacityPlanningDoc.docx
SharePointServerCachesPerformance.docx
VisioServicesCapacityPlanningDoc.docx
WASCapacityPlanningDoc.docx
WCMCapacityPlanningDoc.docx
WebAnalyticsCapacityPlanningDoc.docx
WorkflowCapacityPlanningDoc.docx

И все это доступно вот тут — SharePoint Server 2010 performance and capacity test results and recommendations. Читать и использовать обязательно!

Еще раз о производительности Office 2010

Максим Войцеховский — Tue, 31 Aug 2010 08:07:50 +0000

Я уже пару раз писал про Office 2010 и подход к миграции на него — Office 2010 – стоит ли ждать SP1?. Сегодня посмотрел отличный доклад с последнего TechEd — Microsoft Office 2010: Under the Hood Investments for Hardware and Performance. Очень рекомендую всем тем, у кого есть сомнения относительно производительности нового Office, его работы на слабом оборудовании и т.д. Очень много сравнений и живых демонстраций.

TPC-H–новый результат SQL Server 2008 R2

Максим Войцеховский — Mon, 28 Jun 2010 23:11:21 +0000

Практически два года назад в ноябре 2008 года мы с моим хорошим другом Романом Клином сошлись в холиваре на тему выбора СУБД для корпоративного хранилища. Забавно, но тогда актальным для нас был объем в 1 Тб данных.

А сегодня разбирая почту увидел новость, что SQL Server 2008 R2 на новом железе HP поставил мировой рекорд соотношения цена/производительность в TPC-H в некластерном варианте на 3 Тб. Как быстро растут объемы дпанных…

Немного более подробно о самом тесте и его результатах:

Информацию по результатам тестирования читаем вот тут:

В некластерном варианте на текущий момент быстрее только Sun SPARC + Oracle Database 11g Release 2. При этом он быстрее на 15,76% и одна операция дороже на 653%! Каждый сам решает нужна ли такая дополнительная производительность за такие деньги…

Среди всех результатов (кластерных и не кластерных) был показан 3-й результат. Впереди ребята на EXASOL с фантастичиским результатом и по производительности и по соотношению цена/производительность и Sun с Oracle из некластерного варианта. К EXASOL вроде даже как и драйвера есть, так что единственная особенность наверное только в том, что найти специалистов будет практически не реально..

Очень интересно посмотреть на результаты тестов SQL Server 2008 R2 Parallel Data Warehouse. С учетом того, что это будет MPP реализация SQL Server, результаты на больших объемах должны быть очень хорошими как и соотношение цена/производительность. Выпустить в мире обещают вроде как до конца года, так что по весне наверное появяться первые тесты.

Ну а там не так далеко и SQL Server “11”, который скорее всего тоже принесет много интересного с точки зрения производительности.

Сайзинг для MOSS 2007

Максим Войцеховский — Fri, 09 Jan 2009 06:00:00 +0000

На сайте HP наткнулся на хорошую подборку документов и инструментов для сайзинга MOSS 2007 — Microsoft Office SharePoint Server 2007 — Solutions Components List.

К сожалению, как всегда практически все ссылки мертвые Но вот две живые:

Надеюсь может быть полезно.

Сайзинг для SQL Server

Максим Войцеховский — Tue, 06 Jan 2009 20:55:43 +0000

В продолжение поста Microsoft SQL Server и “большие” задачи хочу поделиться полезными инструментами и документами от HP для сайзинга BI решений на оборудовании HP.

Калькуляторы:

Референсные конфигурации:

Документы:

Так же попробуйте заглянуть вот сюда — Microsoft SQL Server — Solutions Components List, но к сожалению большинство ссылок не работает сейчас почему то. А очень жаль, ибо есть вот такой вот документ например — Best practices for deploying Microsoft Office PerformancePoint solutions on HP servers.

Кто-то может поделиться тулами и документами от других вендоров?

PS: При этом конечно же надо понимать, что все эти инструменты и документы дают лишь информацию для размышления и не могут “влоб” использоваться при проектировании продакшен контуров.

PPS: Можно попробовать просто поискать по сайту HP названия соответствующих документов. Что-то может найтись…

Microsoft SQL Server и “большие” задачи

Максим Войцеховский — Mon, 17 Nov 2008 21:35:17 +0000

Был тут у меня не так давно “священный” спор со старым другом про использование MS SQL в “больших” проектах. Кому интересно могут почитать — «Инновационная экспансия: Oracle Techforum 2008″.

По его результатам хочется пару документов в мемориз занести:

К стати о споре – в итоге согласились, что слава Oracle как самой производительной БД это больше стереотип чем реальный факт на текущий момент.

PS: В священные войны не вступаю

Производительность SQL Server 2008 в виртуальной среде Hyper-V

Максим Войцеховский — Mon, 10 Nov 2008 13:00:00 +0000

Пока писал предыдущий пост (Производительность MOSS в виртуальной среде Hyper-V) нашел аналогичное исследование по SQL Server 2008 на замечательном сайте о котором тоже уже писал (Документы по MS SQL на русском на sqlcat.com) — Running SQL Server 2008 in a Hyper-V Environment — Best Practices and Performance Recommendations. Всем настоятельно рекомендую ознакомиться!

Для затравки только один график:

По моим подсчетам (если ничего не перепутал в подсчете процентов) у меня для backup / restore получились такие максимальные значения по падению производительности:

Backup – 25%
Restore – 45%

Тут даже не буду комментировать много это или мало, так как тест охватывает достаточно много различных операций и результаты для них существенно отличаются. За подробностями – читаем документ.

Производительность MOSS в виртуальной среде Hyper-V

Максим Войцеховский — Mon, 10 Nov 2008 06:00:00 +0000

Непосредственно виртуализацией я не занимаюсь, но как говорится “если ты не занимаешься виртуализацией, виртуализация займется тобой”. Очень часто партнеры и заказчики спрашивают “Насколько использование виртуальной среды отразиться на производительности той или иной системы?”. Сегодня нашел частичный ответ на этот вопрос для MOSS 2007. Документ называется — Performance and capacity requirements for Hyper-V.

На мой взгляд самый интересный и показательный тест в нем это 5-й — Comparative analysis: Medium farm with images on same host. В нем ребята сначала развернули MOSS на двух физических серверах, а потом “объединили” их на двух виртуальных на одном физическом (он ровно в два раза мощнее по памяти и процессору). Получилось вот что:

Здесь нас больше всего интересует “Medium – Hyper-v on 1 host” vs “Medium Physical”. В первом случае разница составляет – 16%, во втором – 12%. Вам решать большая ли эта плата за все те бонусы, что дает виртуализация На мой взгляд – совсем не большая.

PS: Подробности обязательно читать в самом документе!

Большие проекты на MOSS 2007? Легко!

Максим Войцеховский — Sat, 12 Jul 2008 21:09:00 +0000

Очень часто возникают вопросы “А можно ли сделать большой проект на MOSS 2007?”. Под большим проектом как правило имеют ввиду именно большой объем хранилища (и по количеству документов, и по их размеру). Для каждого конечно свое определение “большого” хранилища, но как правило партнеры называют цифры начиная от 100 Гб.

Как правило при ответе на такие вопросы я отсылаю всех на соответствующую страницу TechNet — Plan for performance and capacity (Office SharePoint Server). Очень много полезной информации (и рекомендации по архитектуре решений, и примеры нагрузочного тестирования, и тесты на реакцию системы в зависимости от каналов связи).

Но сегодня мне бы хотелось обратить ваше внимание на относительно новый документ, что появился в данном разделе — Case Study: Using Microsoft Office SharePoint Server to implement a large-scale content storage scenario with rapid search availability.

Ребята из Microsoft Consulting Services, KnowledgeLake и Fujitsu Computers на базе Microsoft Partner Solutions Center в Рэдмонте провели очень детальное моделирование распределенной системы на базе MOSS с действительно большим хранилищем. В итоге и появился этот документ (90 страниц между прочим) с детальным описанием логической архитектуры, физической архитектуры и результатов тестирования.

Всем кто внедряет “большие” проекты на MOSS читать обязательно.

Кроме того, за последнюю неделю меня дважды спросили от требованиях MOSS к каналам связи. Ответ как всегда есть на TechNet, но приведу здесь нужные документы:

В первом из них есть очень интересная картинка:

Ответ напрашивается сам собой – канал должен быть не меньше 512К. Что в наше время представляется вполне скромным требованием. За подробностями тестирования прошу в исходный документ.

И на последок еще одно исследование — Deploying F5 Networks BIG-IP Local Traffic Manager with WebAccelerator for Microsoft Office SharePoint Server 2007. Решение от HP позволяющее существенно повысить скорость реакции территориально -распределенных решений (имею ввиду решения, когда происходит централизация серверов в одном ЦОДе) в том числе на базе MOSS. Так же может быть интересно при разработке архитектуры сложных решений на базе MOSS.

White paper: Case Study of High Availability for SharePoint using Database Mirroring

Максим Войцеховский — Mon, 12 May 2008 17:55:00 +0000

Просто привожу ссылку. Документ пробежал одним глазом — понравилось. Вроде есть пошаговые инструкции как делать.

White paper: Case Study of High Availability for SharePoint using Database Mirroring

This paper highlights the lessons learned from a test configuration of Microsoft Office SharePoint Server 2007 across two data centers that included database mirroring. The mirroring solution this paper describes is based on the architecture described in the following white paper: White paper: Using database mirroring with Office SharePoint Server.

White paper: PerformancePoint Planning Server Performance Tuning

Максим Войцеховский — Wed, 16 Apr 2008 08:51:00 +0000

Без особых комментариев — White paper: Performance tuning for PerformancePoint Planning Server.

This white paper is for analysts and IT professionals who want guidance about PerformancePoint Planning Server scalability capabilities and the number of users that can be served. Considerations for hardware planning and software tuning are also covered.

Читать всем, кто разворачивает или планирует разворачивать PPS 2007. Есть и тесты, и параметры железа, и немного рекомендаций (к сожалению правда немного ) по тюнингу.

Развертывание MOSS 2007 в глобальных конфигурациях

Максим Войцеховский — Mon, 25 Feb 2008 17:37:00 +0000

Очень часто возникают вопросы по использованию MOSS в распределенных конфигурациях. Например при автоматизации больших территориально-распределенных организаций.

На официальном блоге продуктовой группы SharePoint вышел замечательный пост — Deploying Microsoft Office SharePoint Server 2007 geographically.

Всем кто занимается "большими и тяжелыми" решениями на MOSS 2007 читать обязательно!

Приведу только список новых документов по теме:

Plan to deploy Office SharePoint Server globally

Supported global solutions for Office SharePoint Server

Extending Office SharePoint Server global solutions with Office Outlook 2007 and Office Groove software

Design global information architecture and governance

Plan for global enterprise search

Plan for bandwidth requirements

Optimizing Office SharePoint Server for WAN environments

Optimizing custom Web parts for the WAN

Deploying Microsoft Office SharePoint Server Geographically

Global Knowledge Management with Microsoft Office SharePoint Server

Производительность PPS 2007

Максим Войцеховский — Sat, 26 Jan 2008 17:04:00 +0000

Часто спрашивают — а сколько пользователей потянет PPS? А какие рекомендованные требования по железу и развертыванию системы?

Вопросы вполне понятные. Продукт новый и еще не накоплен достаточный объем публичных материалов по его производительности.

Соответственно, всем советую начать вот с этого замечательного документа — White paper: Performance tuning and capacity planning for PerformancePoint Monitoring Server.

Да, это только Мониторинг. По Планированию (читай бюджетированию) такого же пока не нашел. Но для начала информации в нем хватит.

И конечно не забывайте следить за обновлениями на сайте PPS TechNet.

Производительность SharePoint

Максим Войцеховский — Sat, 26 Jan 2008 17:00:00 +0000

Все началось с того, что мне сказали "А мы тут видели информацию, что у MOSS есть проблемы с работой с библиотеками документов, содержащих более XXX документов. Это правда?"

Я честно говоря такой информацией не располагал и потому решил посмотреть, что у нас есть в плане планирование мощностей и производительности MOSS 2007 (performance and capacity planning).

Всем, кому интересны эти вопросы, стоит начинать вот с этого раздела на TechNet — Plan for performance and capacity (Office SharePoint Server).

Особенно рекомендую вот эти статьи:

Plan for software boundaries (Office SharePoint Server) — очень хороший старт. Есть результаты тестов и разборы конкретных ситуаций.
White paper: Working with large lists in Office SharePoint Server 2007 — а это и есть ответ на вопрос по спискам / библиотекам / папкам (контейнерам в общем) и документам в них. Все по серьезному. Графики, нагрузочное тестирование и т.д. Вывод — не создавайте контейнеры с более чем 2000 элементами. Разбивайте такие контейнеры на подпапки. Одно ограничение — в библиотеке с подпапками всего может быть 5 000 000 элементов.
White paper: Performance recommendations for storage planning and monitoring — все мы знаем, что SQL Server важная часть любой системы. В этом документе можно найти рекомендации по оптимальному планированию подсистемы хранения данных для MOSS 2007