Оптимизация базы данных

 • Просмотры: 3734
fi
filosof
Поблагодарили: 4 раза
Сообщения: 354
Зарегистрирован: 05 май 2010, 20:55
Сообщение

Оптимизация базы данных

24 июл 2013, 02:07

стало напрягать последнее время прожорливость мускула.
выявил наиболле большие таблицы в базе
phpbb_posts.MYD
483315732
phpbb_search_wordmatch.MYI
442915840
phpbb_tracker_files.MYD
206998044
phpbb_log.MYD
114584924
phpbb_search_wordmatch.MYD
97008512
phpbb_log.MYI
68408320
phpbb_search_wordlist.MYI
54187008
phpbb_tracker_cron.MYD
51626856
phpbb_search_wordlist.MYD
37190596
phpbb_tracker_files.MYI
27261952
phpbb_topics.MYI
22470656
phpbb_tracker_rtrack.MYD
17620396
phpbb_topics.MYD
11055004
phpbb_attachments.MYD
phpbb_tracker_rtrack.MYI
5351424
phpbb_attachments.MYI
5223424
phpbb_poll_options.MYD
4035400
общий вес базы 1.6 гб и сам сайт еще больше 1ГБ
это при 400 юзерах и 40000 раздач.
на битриксе использую иннодб,так гораздо быстрее и меньше места.
Есть какие варианты?
co
coder
Откуда: Украина, Запорожье
Благодарил (а): 22 раза
Поблагодарили: 7 раз
Сообщения: 697
Зарегистрирован: 18 мар 2013, 13:44
Сообщение

Оптимизация базы данных

24 июл 2013, 09:54

А к чему здесь битрикс ?)

Gzip пробовали включать?
Аватара пользователя
PPK
Администратор
Благодарил (а): 82 раза
Поблагодарили: 1619 раз
Сообщения: 10275
Зарегистрирован: 21 мар 2009, 17:13
Сообщение

Оптимизация базы данных

24 июл 2013, 10:06

coder писал(а):Gzip пробовали включать?

gzip просто "сжимает страницу" при передаче её в браузер, к размеру бд никак не относится.
co
coder
Откуда: Украина, Запорожье
Благодарил (а): 22 раза
Поблагодарили: 7 раз
Сообщения: 697
Зарегистрирован: 18 мар 2013, 13:44
Сообщение

Оптимизация базы данных

24 июл 2013, 10:14

PPK писал(а):gzip просто "сжимает страницу" при передаче её в браузер, к размеру бд никак не относится.
Значит неверно думал, спасибо за правильный ответ.
Аватара пользователя
PPK
Администратор
Благодарил (а): 82 раза
Поблагодарили: 1619 раз
Сообщения: 10275
Зарегистрирован: 21 мар 2009, 17:13
Сообщение

Оптимизация базы данных

24 июл 2013, 10:21

phpbb_posts.MYD

таблица с текстами сообщений

phpbb_tracker_files.MYD

таблица списков файлов в торренте

phpbb_log.MYD

таблица логов форума (можно/нужно очищать в адм. разделе)

phpbb_search_wordmatch.MYD

таблица индекса для поиска, содержит пару id сообщения/id слова

phpbb_tracker_cron.MYD

таблица заданий крона трекера, должна быть пустая/маленькая, если нет - не настроены опции по её очистке в адм. разделе

phpbb_search_wordlist.MYD

таблица индексов слов в сообщениях

phpbb_tracker_rtrack.MYD

таблица внешних анонс url

phpbb_topics.MYD

таблица с темами форума

phpbb_attachments.MYD

таблица с вложениями форума

phpbb_poll_options.MYD

таблица с ответами на опросы
ba
bagouser
Благодарил (а): 2 раза
Сообщения: 22
Зарегистрирован: 27 апр 2010, 23:08
Сообщение

Оптимизация базы данных

25 июл 2013, 23:29

filosof писал(а):стало напрягать последнее время прожорливость мускула.
выявил наиболле большие таблицы в базе
phpbb_posts.MYD
483315732
phpbb_search_wordmatch.MYI
442915840
phpbb_tracker_files.MYD
206998044
phpbb_log.MYD
114584924
phpbb_search_wordmatch.MYD
97008512
phpbb_log.MYI
68408320
phpbb_search_wordlist.MYI
54187008
phpbb_tracker_cron.MYD
51626856
phpbb_search_wordlist.MYD
37190596
phpbb_tracker_files.MYI
27261952
phpbb_topics.MYI
22470656
phpbb_tracker_rtrack.MYD
17620396
phpbb_topics.MYD
11055004
phpbb_attachments.MYD
phpbb_tracker_rtrack.MYI
5351424
phpbb_attachments.MYI
5223424
phpbb_poll_options.MYD
4035400
общий вес базы 1.6 гб и сам сайт еще больше 1ГБ
это при 400 юзерах и 40000 раздач.
на битриксе использую иннодб,так гораздо быстрее и меньше места.
Есть какие варианты?
Если Вас заинтересовала настройка Mysql и английский для Вас не проблема, можете для начала посмотреть презентацию Петра Зайцева.
http://www.percona.com/files/presentati ... ration.pdf
По функциям таблиц Вам уже написали. Уделите, еще внимание шаблону (использование запросов), но это уже не моя стезя.
По поводу InnoDB:
Если Вы выложите тесты использования его в сравнение с MyISAM, в рамках Вашего проекта. Будем Вам признательны.
Последний раз редактировалось bagouser 25 июл 2013, 23:43, всего редактировалось 1 раз.
fi
filosof
Поблагодарили: 4 раза
Сообщения: 354
Зарегистрирован: 05 май 2010, 20:55
Сообщение

Оптимизация базы данных

26 июл 2013, 17:16

За ссылку спасибо.
по поводу
bagouser писал(а):Если Вы выложите тесты использования его в сравнение с MyISAM, в рамках Вашего проекта. Будем Вам признательны.
в рамках моего проекта не могу,сайты живые и рабочие,мучить таблицы нет желания.
доступ на закрытые форумы битрикс тоже не могу дать.
Я (моя компания)являюсь официальным сертифицированным партнером компании битрикс,и достаточно плотно работаю последний год с этой системой.Если вам интересен битрикс,то Вы можете скачать и установить демоверсию с окружением и поэкспериментировать с оптимизацией.http://www.1c-bitrix.ru/download/cms.php
для примера:после настройки сервера последний сайт выдавал 29 попугаев,после оптимизации базы 44. (скриншот http://dfiles.ru/files/6zuaz5hgp )
О преимуществе иннодб достаточно много информации в гугле.Конкретно о битриксе можете почитать в документации,курс для хостеров http://dev.1c-bitrix.ru/learning/course ... 32&INDEX=Y и курс для разработчиков.
п.с а по большому счету,прежде всего стоит задуматься о самом движке.Именно поэтому я вчера установил Xenforo и буду в скором времени в него конвертировать работающий форум на phpbb3 .
В случае же с нашим движком - вариантов выбора нет,только phpbb3...по крайней мере пока PPK не решит иначе.

Добавлено спустя 8 минут 29 секунд:
вот скриншот "только что" http://dfiles.ru/files/slp9aknjq
Аватара пользователя
zip
Благодарил (а): 372 раза
Поблагодарили: 80 раз
Сообщения: 865
Зарегистрирован: 04 янв 2010, 09:11
Сообщение

Оптимизация базы данных

26 июл 2013, 18:01

у меня база тоже весила пол гига, я ее оптимизировал с помощью sypex и она стала весить у меня 30 мб
Национальный Татарский BitТоррент-Трекер
fi
filosof
Поблагодарили: 4 раза
Сообщения: 354
Зарегистрирован: 05 май 2010, 20:55
Сообщение

Оптимизация базы данных

26 июл 2013, 19:00

я так понял, что бекап стал столько весить?
ba
bagouser
Благодарил (а): 2 раза
Сообщения: 22
Зарегистрирован: 27 апр 2010, 23:08
Сообщение

Оптимизация базы данных

26 июл 2013, 22:49

filosof писал(а):За ссылку спасибо.
по поводу
bagouser писал(а):Если Вы выложите тесты использования его в сравнение с MyISAM, в рамках Вашего проекта. Будем Вам признательны.
в рамках моего проекта не могу,сайты живые и рабочие,мучить таблицы нет желания.
доступ на закрытые форумы битрикс тоже не могу дать.
Я (моя компания)являюсь официальным сертифицированным партнером компании битрикс,и достаточно плотно работаю последний год с этой системой.Если вам интересен битрикс,то Вы можете скачать и установить демоверсию с окружением и поэкспериментировать с оптимизацией.http://www.1c-bitrix.ru/download/cms.php
для примера:после настройки сервера последний сайт выдавал 29 попугаев,после оптимизации базы 44. (скриншот http://dfiles.ru/files/6zuaz5hgp )
О преимуществе иннодб достаточно много информации в гугле.Конкретно о битриксе можете почитать в документации,курс для хостеров http://dev.1c-bitrix.ru/learning/course ... 32&INDEX=Y и курс для разработчиков.
п.с а по большому счету,прежде всего стоит задуматься о самом движке.Именно поэтому я вчера установил Xenforo и буду в скором времени в него конвертировать работающий форум на phpbb3 .
В случае же с нашим движком - вариантов выбора нет,только phpbb3...по крайней мере пока PPK не решит иначе.

Добавлено спустя 8 минут 29 секунд:
вот скриншот "только что" http://dfiles.ru/files/slp9aknjq
Искренне Вас понимаю, тем более на ab ни siege не заменят живого народа. А тестировать на боевых серверах занятие не благодарное.
Большой минус был, что поддержка полнотекстового поиска появилась в данном движке только с версии MySQL 5.6.4. Текущие LTS дистрибутивы содержат версию ветки 5.5. Тем более если верить вики, то проблемы c MyISAM начинаются на базах свыше 2-3гигабайт ( MyISAM ). Но по сути выборка из базы порядка 5 гигабайт с таблицами свыше 1Гб идут довольно шустро. Хотя LA по мере увеличения базы растет. Возможно на тестовом сервере попробую перевести на другой движек хранения, с целью проверки. Плюс еще наметилась тенденция переходов дистрибутивов Linux на MariaDB ( http://habrahabr.ru/sandbox/65466/ ), а там немного по другому допиленная версия InnoDB XtraDB
# ls -s | grep .MYD | sort -rn
1 524 296 phpbb_posts.MYD
1 275 068 phpbb_tracker_files.MYD
842 420 phpbb_tracker_snatched.MYD
226 164 phpbb_tracker_guests.MYD
127 468 phpbb_topics.MYD
43 008 phpbb_attachments.MYD
35 252 phpbb_tracker_torrents.MYD
32 676 phpbb_poll_options.MYD
23 464 phpbb_tracker_downloads.MYD
По поводу Xenforo: Пробовали его тестировать на ранней стадии, увы не все тогда работало как надо (были проблемы с переносом данных с Vbulletin), поэтому остались на Vbulletin. Хотя на нем еще держит и купленная лицензия. Но глядя на 5-ю ветку воблы (http://www.vbulletin.com/forum/forum/vb ... ure-status ), возникают вопросы о повторной попытке миграции, и покупке лицензии. Ибо возможно слишком много ключевых разработчиков ушло в Xenforo, и развитие Vbulletin не идет достаточно быстро.
По битрексу: увы не приходилось близко сталкиваться по роду деятельности. Поэтому могу только спросить Вас. Как Вы сами оцениваете этот движек для создания скажем форума или игрового портала?

Вернуться в «Вопросы, ответы и примеры решений»