Мастерская интернет-разработчика » Операционные системы http://adw0rd.ru Блог Михаила Андреева (aka adw0rd) Wed, 18 Jan 2012 13:52:48 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 FreeBSD. Обновление таймзоны по повелению президента http://adw0rd.ru/2011/freebsd-msk-timezone/ http://adw0rd.ru/2011/freebsd-msk-timezone/#comments Tue, 08 Nov 2011 20:49:02 +0000 adw0rd http://adw0rd.ru/?p=6477

8 февраля 2011 года президент России Дмитрий Медведев дал поручение правительству об отмене перевода стрелок: после перехода на летнее время 27 марта 2011 года Россия должна жить только по летнему времени, которое опережает поясное (принятое декретом 1919 года) на 1 или 2 часа в зависимости от региона. В соответствии с этим поручением был подготовлен «Закон об исчислении времени», который Государственная дума приняла 20 мая. 3 июня 2011 года президент подписал Закон, и он вступил в силу с 5 августа 2011 года

Летнее время

FreeBSD 8.1 как и многий другой софт не подчинился новому закону Дмитрия Анатольевича, так что будем исправлять ситуацию.

Поставим zoneinfo, оттуда будем брать новую таймзону

$ cd /usr/ports
$ portsnap fetch update
$ cd misc/zoneinfo
$ make install clean

Проверим работает ли нужная нам таймзона и текущее время:

$ zdump /usr/share/zoneinfo/Europe/Moscow
/usr/share/zoneinfo/Europe/Moscow  Wed Nov  9 00:16:29 2011 MSK
$ date
Wed Nov  8 23:16:40 MSK 2011

Как видим расходится, так что установим новую хорошую таймзону:

$ cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime
$ date
Wed Nov  9 00:16:56 MSK 2011


Не забудьте перезагрузить «mysqld»:

/usr/local/etc/rc.d/mysql-server restart

Не взлетел PHP?

Если PHP не взлетел, то используйте pecl-timezonedb:

cd /usr/ports/misc/pecl-timezonedb
make install clean

и убедитесь что «timezonedb.so» добавился в «/usr/local/etc/php/extensions.ini»:

...
extension=timezonedb.so

Синхронизация

Просинхронизируйте ваше время:

ntpdate -v -b europe.pool.ntp.org

Можете настроить «rc.conf» для постоянной синхронизации времени:

ntpdate_enable="YES"
ntpdate_hosts="europe.pool.ntp.org"

Так же можете почитать man page ntpdate и посмотреть какие ещё есть параметры конфигурации для «rc.conf»:

$ grep -r ntpdate /etc/defaults/rc.conf
ntpdate_enable="NO"             # Run ntpdate to sync time on boot (or NO).
ntpdate_program="/usr/sbin/ntpdate"     # path to ntpdate, if you want a different one.
ntpdate_flags="-b"              # Flags to ntpdate (if enabled).
ntpdate_config="/etc/ntp.conf"  # ntpdate(8) configuration file
ntpdate_hosts=""                # Whitespace-separated list of ntpdate(8) servers.
]]> http://adw0rd.ru/2011/freebsd-msk-timezone/feed/ 6 Xubuntu. Проблемы с авторизацией после апгрейда с 11.04 на 11.10 http://adw0rd.ru/2011/xubuntu-1104-1110/ http://adw0rd.ru/2011/xubuntu-1104-1110/#comments Tue, 25 Oct 2011 18:11:55 +0000 adw0rd http://adw0rd.ru/?p=6461

Обновил я на той неделе свою Xubuntu с 11.04 на 11.10, как и опасался оно не взлетело с первого раза.
Симптомы были следующие: gdm стартовал успешно, но авторизоваться под своим пользователем не получалось, вылетало на авторизацию вновь (gdm), при этом новые учетные записи авторизовывало успешно.
Посравнивал свои конфигурационные файлы с другой учетной записью, ничего криминального не нашёл, кроме того что в моём домашнем каталоге были файлы не от моего пользователя.

Решение проблемы

Переключаемся в один из терминалов (например tty1) с помощью Ctrl+Alt+F1 и вводим следующее:

sudo chown -R <username>:<usergroup> /home/<username>
sudo shutdown -r now

Это решило мои проблемы.

]]> http://adw0rd.ru/2011/xubuntu-1104-1110/feed/ 0 SSH. Авторизация через ключ http://adw0rd.ru/2011/ssh-auth-key/ http://adw0rd.ru/2011/ssh-auth-key/#comments Tue, 02 Aug 2011 17:26:59 +0000 adw0rd http://adw0rd.ru/?p=6386

Если вам надоело вводить логин и пароль при подключении по SSH, либо ваше приложение не поддерживает ввод логина и пароля для SSH, а соединиться всётаки надо, то вам просто необходимо использовать авторизацию по ключам!

Для этого надо настроить на стороне клиента и сервера ключи, для клиента будет приватный, а на сервере будет храниться публичный ключ.

Настройка на стороне клиента

Создайте и/или отредактируйте файл «~/.ssh/config»:

Host example
    User username
    Hostname example.com
    Port 22
    IdentityFile ~/.ssh/username_example

Где,

  • «Host example» — название хоста, которое вы будете указывать при подключении по SSH (Пример: «ssh example»);
  • «User username» — имя вашего пользователя на сервере;
  • «Hostname example.com» — имя хоста вашего сервера (в отличии от Host это действительно имя сервера, а не просто имя для соединения);
  • «Port 22» — SSH порт;
  • «IdentityFile ~/.ssh/username_example» — файл с публичным ключом.

Генерация ключей и передача их на сервер

Далее, сгенерируем ключи.
После чего сразу же перешлём публичный ключ на сервер, а приватный переименуем в «~/.ssh/username_example»:

ssh-keygen
scp ~/.ssh/id_rsa.pub username@example.com:~/.ssh/authorized_keys
mv ~/.ssh/id_rsa ~/.ssh/username_example
chmod -R 600 ~/.ssh
chmod 700 ~/.ssh

Теперь должно подключаться по ключу:

ssh example

Если нет, то пишите камменты :)

Утилита ssh-copy-id

Также есть более быстрый (меньше телодвижений) и правильный (он добавляет ключ в «~/.ssh/authorized_keys» на сервере, а не замещает как «scp») способ передавать публичный ключ на сервер, это утилита ssh-copy-id.

То есть вместо:

ssh-keygen
scp ~/.ssh/id_rsa.pub username@example.com:~/.ssh/authorized_keys

надо использовать так:

ssh-keygen
ssh-copy-id -i username@example.com

Ну вот и всё, смотрите также:
WordPress. Обновление движка и плагинов через ssh
Первые меры безопасности во FreeBSD
FreeBSD. Без парольный доступ по SSH с использованием шифрованных ключей
FreeBSD. DenyHosts защитит вас от брутфорса SSH

]]> http://adw0rd.ru/2011/ssh-auth-key/feed/ 8 Андрей Аксенов: “Как готовить Sphinx” / мастер-класс, Киев, 18-ое июня http://adw0rd.ru/2011/sphinx-master-class/ http://adw0rd.ru/2011/sphinx-master-class/#comments Wed, 01 Jun 2011 19:28:24 +0000 adw0rd http://adw0rd.ru/?p=6322
В субботу, 18-го июня в Киеве пройдет мастер-класс создателя движка полнотекстового поиска Sphinx Андрея Аксенова ”Как готовить Sphinx”.

Мастер-класс будет интересен разработчикам, руководителям и владельцам проектов, которые сталкиваются с проблемой поиска при высоких нагрузках.

Sphinx используют такие монстры, как CraigsList, DailyMotion, Meetup, HupPages, HabraHabr и еще десятки высоконагруженных сайтов такие как Кинсбург. Андрей Аксенов выступал на многочисленных конференциях в России: “DevPoint 1-2″, “РИТ”, “DevConf 2011″, “HighLoad ++”. Организатор конференции пользователей Sphinx в Москве. Автор нашумевшего доклада “Как прекратить писать”.

Дополнительная информация и подробный план мастер-класса можно посмотреть на сайте http://www.smartme.com.ua/sphinx-workshop/

]]> http://adw0rd.ru/2011/sphinx-master-class/feed/ 7 FreeBSD. Установка MySQL 5.5.9 и SphinxSE http://adw0rd.ru/2011/mysql55-sphinxse/ http://adw0rd.ru/2011/mysql55-sphinxse/#comments Tue, 01 Mar 2011 21:31:41 +0000 adw0rd http://adw0rd.ru/?p=6290 Захотелось поставить на новый сервер MySQL 5.5, но в документации по установке SphinxSE этой версии MySQL нету. Погуглив и попробовав разные варианты я составил небольшую статью...

Сборка плагина

Тут все просто, сливаем из портов сорцы MySQL, сливаем патч, сливаем sphinx из транка и собираем все вместе.

cd /usr/ports/database/mysql55-server
make fetch
cp /usr/ports/distfiles/mysql-5.5.9.tgz /tmp
cd /tmp
svn co http://sphinxsearch.googlecode.com/svn/trunk sphinx-trunk
fetch http://www.coreseek.cn/uploads/csft/patch/Sphinx_1.11-dev_sphinxse_mysql-5.5.8.diff
tar -xzf mysql-5.5.9.tar.gz
cd sphinx-trunk
patch -p0 < ../Sphinx_1.11-dev_sphinxse_mysql-5.5.8.diff
cp -R mysqlse ../mysql-5.5.9/storage/sphinx
cd ../mysql-5.5.9
cmake . -DCMAKE_BUILD_TYPE=Release -DWITH_SPHINX_STORAGE_ENGINE=1
make
cp storage/sphinx/ha_sphinx.so /usr/local/lib/mysql/plugin/ha_sphinx.so

Так как у меня уже был поставлен MySQL 5.5 из портов, то я не запускал make install, поэтому его тут и не привел. И вам советую поставить из портов.

Установка плагина

Заходим в mysql-клиент:

INSTALL PLUGIN sphinx SONAME "ha_sphinx.so";
SHOW ENGINES;

По мотивам http://sphinxsearch.com/forum/view.html?id=6862#32268

]]> http://adw0rd.ru/2011/mysql55-sphinxse/feed/ 6 Nginx. Использование PHP в режиме FastCGI с помощью spawn-fcgi http://adw0rd.ru/2010/nginx-spawn-fcgi/ http://adw0rd.ru/2010/nginx-spawn-fcgi/#comments Thu, 25 Nov 2010 01:54:08 +0000 adw0rd http://adw0rd.ru/?p=4875 php-fastcgi

В прошлой статье о FastCGi — Nginx. Использование PHP в режиме FastCGI с помощью php-fpm я рассказал как использовать php-fpm спаунер (надо сказать, что с тех времен все сильно поменялось, например вышел php 5.3.3 и php-fpm стал входить в дистрибутив php, а так же поменялся формат конфига php-fpm). Сегодня расскажу как использовать spawn-fcgi, некогда входивший в дистрибутив lighttpd, а ныне являющийся отдельным проектом.

Установка

Перед установкой спаунера убедимся, что PHP собран с поддержкой CGi:

[X] CGI        Build CGI version

Далее заходим в порты и устанавливаем spawn-fcgi:

cd /usr/ports/www/spawn-fcgi
make install clean

Настройка

Отредактируйте «nginx.conf» и добавьте upstream:

upstream spawn-fcgi {
    server unix:/tmp/spawn-fcgi.sock;
}

Откройте на редактирование файл «/etc/rc.conf» и укажите необходимые настройки:

# При запуске системы загружать spawn-fcgi
spawn_fcgi_enable="YES"

# Пользователь от которой работать будет php-cgi
spawn_fcgi_username="www"

# Группа
spawn_fcgi_groupname="www"

# Путь до unix-сокета, именно его мы используем
spawn_fcgi_bindsocket="/tmp/spawn-fcgi.sock"

# Количество запущенных php-cgi процессов
spawn_fcgi_children="5"

# Кол-во запросов, после которых перезагружается процесс (для предотвращения утечек памяти)
spawn_fcgi_max_requests="1000"

Полный перечень допустимых настроек можно посмотреть в «/usr/local/etc/rc.d/spawn-fcgi», вот некоторые из них, о которых я не упоминал выше:

# Путь до php-cgi приложения
spawn_fcgi_app="/usr/local/bin/php-cgi"

# Дополнительные аргументы для php-cgi (их можно узнать командой "php-cgi -h")
spawn_fcgi_app_args=""

# Вы можете указать путь до песочницы
spawn_fcgi_chroot_dir=""

# IP адрес, который будет слушать демон
spawn_fcgi_bindaddr="127.0.0.1"

# Соответственно порт
spawn_fcgi_bindport="9000"

# Путь до PID файла
spawn_fcgi_pidfile="/var/run/spawn-fcgi.pid"

# Права на файл unix-сокета
spawn_fcgi_bindsocket_mode="0777"

Запуск

Запускаем spawn-fcgi и перезагружаем nginx:

/usr/local/etc/rc.d/spawn-fcgi start
nginx -s reload

Используемая версия spawn-fcgi — 1.6.3

]]> http://adw0rd.ru/2010/nginx-spawn-fcgi/feed/ 36 FreeBSD. XHProf для анализа производительности PHP http://adw0rd.ru/2010/freebsd-xhprof-php/ http://adw0rd.ru/2010/freebsd-xhprof-php/#comments Wed, 24 Nov 2010 23:00:20 +0000 adw0rd http://adw0rd.ru/?p=5510

Решил я воспользоваться утилитой для профилирования производительности веб-приложения XHProf от Facebook. И она мне так понравилась, что я решил написать про неё небольшой пост.

Утилита проводит анализ работы сайта, выводит информацию о использование каждой функции на пути работы приложения (например, загрузки определенной страницы сайта), а именно: количество вызовов определенной функции, затраченное время, кол-во потребляемой памяти и ресурсов процессора.

Профилирование — сбор характеристик работы программы, таких как время выполнения отдельных фрагментов (обычно подпрограмм), число верно предсказанных условных переходов, число кэш промахов и т. д. Инструмент, используемый для анализа работы, называют профилировщиком. Обычно выполняется совместно с оптимизацией программы.

Профилирование в Wikipedia

Данные выводятся в виде таблицы:

Так же она может отрисовать граф с помощью GraphViz, но для этого он должен быть предварительно собран в системе (об этом ниже):

XHProf представляет собой pecl-расширение для PHP, написана она на си, поэтому достигается высокая с ее стороны производительность и ее можно использовать на продакшен сервере для анализа реальных данных.

Установка

Я собирал расширение из сорцов, для этого заходим на страницу расширения и качаем необходимую нам версию, у меня это xhprof-0.9.2:

cd /tmp
fetch http://pecl.php.net/get/xhprof-0.9.2.tgz
tar -xzf xhprof-0.9.2.tgz
cd xhprof-0.9.2/extension/
phpize
./configure --with-php-config=/usr/local/bin/php-config
make && make install

Пропишите расширение в php.ini или в php/extensions.ini:

extension=xhprof.so

Вы можете поставить расширение XHProf из портов (/usr/ports/devel/pecl-xhprof/).
В мае, когда я практически написал эту статью, его ещё там небыло.

Укажите в php.ini каталог, который будет играть роль хранилища ваших данных:

[xhprof]                                                  
xhprof.output_dir=/usr/local/xhprof/out

Ну и создать его тоже надо, естественно:

mkdir -p /usr/local/xhprof/out

XHProf UI

Теперь настроим веб-интерфейс XHProf, для этого скопируем сорцы в свой каталог:

mkdir /usr/local/xhprof/
cp -R /tmp/xhprof-0.9.2/ /usr/local/xhprof/

И пропишем новый хост в nginx:

server {
    listen 80;
    server_name xhprof.test;
    charset utf8;
    root /usr/local/xhprof/xhprof_html;
    index index.php;

    location ~ \.php$ {
        fastcgi_pass php-fpm;
        fastcgi_index index.php;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }
}

Перезагружаем nginx:

nginx -s reload

А в локальном файле hosts завяжем домен:

123.45.67.89 xhprof.test

Где «123.45.67.89» — ip машины на которой стоит XHProf, то есть где мы его только что устанавливали.

Собираем Graphviz

Для построение визуализации соберем Graphviz (крайне рекомендую это сделать, будет намного нагляднее).

cd /usr/ports/graphics/graphviz
make install clean

Собираем Ctype

Вам так же может понадобится Ctype

cd /usr/ports/textproc/php5-ctype
make install clean

Настройка

Теперь настроим XHProf так, чтобы он профилировал только когда у нас установлена специальная кука. Для это создадим два файла «/usr/local/xhprof/header.php» и «/usr/local/xhprof/footer.php», со следующим содержимым:

1. Отредактируйте «/usr/local/xhprof/header.php»:

<?php
if(isset($_COOKIE['xhprof'])){
    if (extension_loaded('xhprof')) {
        $utils_path = "/usr/local/xhprof/xhprof_lib/utils/";
        include_once $utils_path.'xhprof_lib.php';
        include_once $utils_path.'xhprof_runs.php';
        xhprof_enable(XHPROF_FLAGS_CPU + XHPROF_FLAGS_MEMORY);
    }
}

Он срабатывает только если установлена кука «xhprof», подключает необходимые библиотеки и устанавливает необходимые флаги (об этом чуть ниже).

2. Отредактируйте «/usr/local/xhprof/footer.php»:

<?php
if(isset($_COOKIE['xhprof'])){
    if (extension_loaded('xhprof')) {
        $profiler_namespace = 'myapp'; // namespace for your application
        $xhprof_data = xhprof_disable();
        $xhprof_runs = new XHProfRuns_Default();
        $run_id = $xhprof_runs->save_run($xhprof_data, $profiler_namespace);

        // url to the XHProf UI libraries (change the host name and path)
        $profiler_url = sprintf('http://xhprof.test/index.php?run=%s&source=%s', $run_id, $profiler_namespace);
        echo '<a href="'.$profiler_url.'">Profiler output</a>';
    }
}

Он срабатывает только если установлена кука «xhprof», устанавливает неймспейс и сохраняет собранные показатели. После чего отрисовывает ссылку на веб-интерфейс XHProf для последующего анализа.

Теперь добавим в конец две строки в php.ini, для того чтобы эти два скрипта стартовали в начале и конце соответственно:

auto_prepend_file = /usr/local/xhprof/header.php
auto_append_file = /usr/local/xhprof/footer.php

Более подробная документация по XHProf: http://mirror.facebook.net/facebook/xhprof/doc.html

Проблема с dot

Утилита dot это тот самый Graphviz и с ним бывает проблема, что-то типа того:

Error: either we can not find profile data for run_id 4ced888563969 or the threshold 0.01 is too small or you do not have 'dot' image generation utility installed.

Сначала зайдите в «/usr/local/xhprof/xhprof_lib/utils/callgraph_utils.php» и найдите функцию «xhprof_generate_image_by_dot» (примерно 96 строка). Отредактируйте массив $descriptorspec, указав путь до файла лога:

  $descriptorspec = array(
       // stdin is a pipe that the child will read from
       0 => array("pipe", "r"),
       // stdout is a pipe that the child will write to
       1 => array("pipe", "w"),
       // stderr is a file to write to
       //2 => array("file", "/dev/null", "a")
       // Путь до файла лога
       2 => array("file", "/var/log/xhprof.log", "a+")
       );

Ну и теперь запускайте и смотрите лог, если у вас там:

dot: not found

То просто укажите полный путь до dot:

$cmd = " /usr/local/bin/dot -T".$type;

Это примерно 107 строка того же файла «/usr/local/xhprof/xhprof_lib/utils/callgraph_utils.php».

Ссылки

Посты, от которых я узнал о XHProf:

Советую почитать:

]]> http://adw0rd.ru/2010/freebsd-xhprof-php/feed/ 6 Nginx. Кеширование с помощью fastcgi_cache http://adw0rd.ru/2010/nginx-fastcgi-cache/ http://adw0rd.ru/2010/nginx-fastcgi-cache/#comments Sat, 20 Nov 2010 01:10:58 +0000 adw0rd http://adw0rd.ru/?p=5750

Устал я от того что мой блог долго грузится, но менять движок с WordPress на что-либо другое пока нет времени, а переезд на новый более мощный сервер всё время затягивается и решил прикрутить кеширование на стороне Nginx. Так как блог работает на fastcgi, то буду использовать fastcgi_cache, если вы используете связку Nginx+Apache, то вам следует использовать proxy_cache, как я понял там отличий особых нет.

Некоторые блоки мне всетаки надо оставить вне кеша, поэтому буду использовать ssi.

Настройка

У меня много хостов на одном сервере, но мне надо настроить кеш только для одного хоста. Определим кеш для моего блога в nginx.conf, секция http:

fastcgi_cache_path /var/cache/nginx/adw0rd
    levels=1:2
    keys_zone=adw0rd:16m
    max_size=256m
    inactive=1d;


Где,

fastcgi_cache_path  — путь до каталога кеша, создайте его заблаговременно.
levels= — разделять файлы кеша на сабкаталоги заданного уровня, то есть «1:2» — это так:

/0/ab/b7f54b2df7773722d382f4809d650ab0

либо так, если не указывать LEVEL, то есть levels оставить пустым (levels=):

/b7f54b2df7773722d382f4809d650ab0

max_size — максимальный размер кеша.
incative — время жизни кеша.

Настройка виртуального хоста

Я разделяю конфиги на основной (nginx.conf) и на хосты (adw0rd.conf, pyha.conf, etc). Сейчас мы разберемся с adw0rd.conf:

server {
    # Порт который слушаем
    listen 80;
    # Имя хоста
    server_name adw0rd.ru;
    # Путь до htdocs (document_root)
    root /path/to/www;

    # включаем использование ssi
    ssi on;

    location / {
        # Если такой файл не существует физически, то переходить на крайний аргумент, то есть @wordpress
        try_files $uri @wordpress;
    }

    # обработчик для wordpress
    location @wordpress {

        # Проксируем на php-fpm
        fastcgi_pass php-fpm;
        include fastcgi_params;
        fastcgi_param SCRIPT_FILENAME $document_root/index.php;
        fastcgi_param SCRIPT_NAME /index.php;

        # Настройки кеширования
        fastcgi_temp_path /tmp/nginx 1 2; # Каталог для хранение временных файлов
        fastcgi_cache adw0rd; # Имя зоны кеша
        fastcgi_cache_key "$request_method|$host|$request_uri"; # Из этих данных строится хеш
        fastcgi_hide_header "Set-Cookie"; # Не передавать клиенту заголовки кук
        fastcgi_cache_min_uses 1; # Кол-во запросов, после которых ответ будет закеширован
        fastcgi_cache_valid 10m; # Время жизни кеша
        fastcgi_cache_use_stale error timeout invalid_header http_500; # Случаи при которых будет использоватся старый кеш

    }

    # обработчик для динамических данных на странице, ниже я покажу как юзать это
    location ~ ^/ssi/ {
        fastcgi_pass php-fpm;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;        
    }

    # Обработчик *.php файлов, например "wp-comments-post.php"
    location ~ \.php$ {

        # если файл физически не существует, то переходим в @wordpress
        try_files $uri @wordpress;

        # иначе обрабатываем запрос
        fastcgi_pass php-fpm;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }
}

Обо всех директивах можете прочитать в оф. доке Директивы модуля ngx_http_fastcgi_module.

Тестирование

Перезагружаем Nginx:

nginx -s reload

Для тестирования кеша я встроил в шаблон html-комментарий, который формирую так:

<!-- cache: <?php echo time() ?> -->

И теперь вижу в сорце странице закешировалась страница или нет.

Вставка динамических блоков при помощи SSI

Отредактируйте шаблон своей страницы и вставьте нечто подобное:

<!-- uncached_data: <!--# include virtual="/ssi/uncached.php" wait="no" --> -->

Теперь приведите файл «/ssi/uncached.php» к следующему виду:

<?php
echo time();

Так как у нас есть обработчик действующий для /ssi/* и он не отдает кешированные данные, то у нас будет подгружатся динамика, все просто! :)

Дополнение

Раздел добавлен 8 августа 2011 г., чтобы дополнить эту статью недостоющими материалами. В основном причиной была статья Прозрачное кэширование в nginx для всех и каждого, спасибо авторам.

Директива fastcgi_ignore_headers для игнорирования инструкци от FastCGI-сервера

Директива fastcgi_ignore_headers запрещает обработку некоторых строк заголовка из ответа FastCGI-сервера.
В директиве можно указать строки «X-Accel-Redirect», «X-Accel-Expires», «Expires» и «Cache-Control».

fastcgi_ignore_headers Expires Cache-Control;

То есть указываем Nginx кэшировать страницы в любом случае, независимо от заголовков кэширования выставленных FasCGI-сервером.

Директивы fastcgi_cache_bypass и fastcgi_no_cache

Директива задаёт условия, при которых ответ не будет браться из кэша.
Если значение хотя бы одной из строк переменных не пустое и не равно «0», то ответ не берётся из кэша:

fastcgi_cache_bypass $cookie_session $cookie_nocache;

Директива задаёт условия, при которых ответ не будет сохраняться в кэш.
Если значение хотя бы одной из строк переменных не пустое и не равно «0», то ответ не будет сохранён:

fastcgi_no_cache $cookie_session $cookie_nocache;

Управление кеширование через заголовок X-Accel-Expires

Будем управлять кеширование из PHP:

<?php
header("X-Accel-Expires: $seconds"); // ставим на $seconds секунд
header("X-Accel-Expires: 0"); // или отключаем кеширование для определенной страницы

Принудительное обновление кэша

Обновим наш bypass, добавим еще одну переменную для заголовка «X-Update»:

fastcgi_cache_bypass $cookie_session $http_x_update;

Ну а теперь обновим кеш:

curl -s -o /dev/null -H "X-Update: 1" example.com

Как и рекомендуют авторы статьи необходимо изменить «$http_x_update» и «X-Update» на что-то своё, чтобы скрипткидесы не баловались.

Полезные материалы

Вот небольшой список статей, который вам могут пригодится:

]]> http://adw0rd.ru/2010/nginx-fastcgi-cache/feed/ 11 Mercurial. Автоматическое обновление проекта при помощи хуков http://adw0rd.ru/2010/mercurial-hooks/ http://adw0rd.ru/2010/mercurial-hooks/#comments Wed, 27 Oct 2010 12:44:30 +0000 adw0rd http://adw0rd.ru/?p=6085

После того как мы переехали с Subversion на Mercurial, нам осталось перевести svn'овские хуки для «деплоя» проекта. Для продакшена мы будем делать update головы бранча «EXAMPLE», то есть самого главного бранча.

Напоминаю, путь до hg репозитория — «/var/hg», имя проекта — «EXAMPLE», а имя вашего пользователя — «USER1».

Подготовка проекта и настройки

В предыдущей статье вы должны были настроить Mercurial и инициализировать проект. Так как у нас каталог проекта «/home/USER1/projects/EXAMPLE» и плодить две рабочие копии на одном сервере не хочется, то:

  • переместим репозиторий в каталог наших рабочих проектов
  • назначим символическую ссылку в «/var/hg/repos» на каталог рабочего проекта
mv /var/hg/repos/EXAMPLE /home/USER1/projects/EXAMPLE
ln -s /home/USER1/projects/EXAMPLE /var/hg/repos/EXAMPLE

Хук changegroup

Теперь создадим каталог для хуков, создадим сам хук и отредактируем конфиг:

mkdir /home/USER1/projects/EXAMPLE/.hg/hooks
touch /home/USER1/projects/EXAMPLE/.hg/hooks/changegrouphook
chmod +x /home/USER1/projects/EXAMPLE/.hg/hooks/changegrouphook
emacs /home/USER1/projects/EXAMPLE/.hg/hgrc

Приведем конфиг к такогому виду:

[hooks]
changegroup = /home/USER1/projects/EXAMPLE/.hg/hooks/changegrouphook

Хук «changegroup» активируется, когда вызываются команды push/pull/unbundle, и только единожды, в отличии от хука «commit», который вызывается на каждый «changeset».

Приведите содержимое файла хука «changegrouphook» к виду:

cd /home/USER1/projects/EXAMPLE && /usr/local/bin/hg update EXAMPLE

Более подробно о хуках можете почитать на странице оф. документации и на странице книги Bryan O'Sullivan «Mercurial: The Definitive Guide».

]]> http://adw0rd.ru/2010/mercurial-hooks/feed/ 8 FreeBSD. Переезжаем с Subversion на Mercurial +Trac http://adw0rd.ru/2010/mercurial-freebsd/ http://adw0rd.ru/2010/mercurial-freebsd/#comments Mon, 25 Oct 2010 08:27:03 +0000 adw0rd http://adw0rd.ru/?p=6013

На днях все-таки переехали с vasa_c'ом на Mercurial. Возникли трудности с перемещением ревизий из Subversion в Mercurial, а также с настройкой Trac.

Работать будем от имени и группы — www.
Путь до файлов с данными svn — «/var/svn», до hg — «/var/hg», для trac — «/var/trac».
Имя проекта для примера — «EXAMPLE».
Запускать hg serve будем на порту 8010.

Установка и настройка Mercurial

Установим сам Mercurial:

cd /usr/ports/devel/mercurial
make install clean

Создаем каталог для хранения данных Mercurial и репозиториев:

mkdir -p /var/hg/repos/EXAMPLE
chown -R www:www /var/hg

Проинициализируем проект:

cd /var/hg/repos/EXAMPLE
hg init

Отредактируйте файл «/var/hg/repos/EXAMPLE/.hg/hgrc»:

[web]
# стиль gitweb
style = gitweb
# при пушенге не использовать SSL
push_ssl = false
# разрешить всем пушинг, по поводу авторизации см. ниже
allow_push = *

Копируем http-auth конфиг из «/var/svn»:

cp /var/svn/svn-auth-file /var/hg/hg-auth-file

Либо создайте его сами:

htpasswd -cb /var/hg/hg-auth-file USER1 PASSWORD1
htpasswd -b /var/hg/hg-auth-file USER2 PASSWORD2

Настройки на клиенте

Добавим свое имя для hg и авторизационные данные, отредактируя hgrc:

emacs /home/USER1/.hgrc

Вы так же можете прописать настройки персонально для проекта, например в «/home/USER1/projects/EXAMPLE/.hg/hgrc», где «/home/USER1/projects/EXAMPLE» — ваша рабочая копия проекта EXAMPLE.

Добавим следующее содержимое:

[ui]
username = USER1

[auth]
EXAMPLE.prefix = http://hg.example.com/
EXAMPLE.username = USER1
EXAMPLE.password = PASSWORD1

Более подробно о hgrc можно почитать в статье Configuration files for Mercurial

Настройка hgweb

Вернемся снова на сервер и отредактируем hgweb.config:

emacs /var/hg/repos/hgweb.config

Приведите к виду:

[collections]
# путь который вырезается из строки запроса (http) = путь до файлов репозитория Mercurial
/var/hg/repos = /var/hg/repos

Запуск hg serve

Для запуска вам понадобится скрипт инициализации, который вы можете скачать тут, после чего скопируйте его в каталог «/usr/local/etc/rc.d/»:

cd /usr/local/etc/rc.d/
wget -O hg http://adw0rd.ru/files/hg.txt
chmod +x hg

Теперь создадим pidfile:

mkdir -p /var/run/hgserve/
touch /var/run/hgserve/hgserve.8010
chown -R www:www /var/run/hgserve/

Запускаем:

/usr/local/etc/rc.d/hg start

Для того, чтобы при загрузке системы hgserve сам запускался, вам следует добавить в /etc/rc.conf следующее:

hgserve_enable="YES"

Настройка Nginx

Добавим upstream:

upstream hg {
    server 127.0.0.1:8010;
}

И добавим хост:

server {
    listen 80;
    server_name hg.example.com;
    location / {
        auth_basic "Password, please!";
        auth_basic_user_file /var/hg/hg-auth-file;
        proxy_pass http://hg;
    }
}

Перезагружаем nginx:

nginx -s reload

Импортируем данные из Subversion

Для импортирования данных из Subversion нам понадобится установить hgsvn (если у вас нет Subversion, то пропустите шаги связанные с ним):

cd /usr/ports/devel/hgsvn
make install clean
rehash

Импортируем данные из Subversion, такие как ревизии и ченжлоги к ним:

cd /var/hg/repos
hgimportsvn file:///var/svn/repos/EXAMPLE
cd EXAMPLE
hgpullsvn

Чуть более подробно о hgsvn можно прочитать в статье Converting from Subversion to Mercurial.

Настройка Trac

Будем считать, что Trac у нас уже установлен, настроен и работает, поэтому опишу только изменения.

Для поддержки Mercurial в Trac нам понадобится установить плагин mercurial-plugin:

svn co http://svn.edgewall.org/repos/trac/plugins/0.11/mercurial-plugin mercurial-plugin
cd mercurial-plugin
python setup.py bdist_egg
easy_install dist/TracMercurial-0.11.0.[x]-py2.[x].egg

Открываем конфиг вашего проекта:

emacs /var/trac/EXAMPLE/conf/trac.ini

И приводим соответствующие секции и переменные к такому виду:

[trac]
repository_type = hg
repository_dir = /var/hg/repos/EXAMPLE

[components]
tracext.hg.* = enabled

[hg]
# -- Show revision number in addition to the changeset hash
show_rev = yes
# -- Changeset hash format
node_format = short
# hex:   Show the full SHA1 hash
# short: Show a shortened hash for the changesets

После установки плагина и настройки проекта не забудьте перезагрузить Tracd или другой веб-сервер, через который вы работаете с Trac.

Теперь, если у вас в Timeline появились символы вопросов вместо кириллических комментариев к ревизиям, вам необходимо установить HGENCODING="utf-8":

HGENCODING="utf-8"
export HGENCODING

Посмотреть полностью скрипт инициализации для tracd можно тут (там устанавливается HGENCODING).

Более подробно изучить проблему с битыми символами при выводе сообщения к ченжлогу, вы можете посмотрев исходный код Mercurial, а именно в файле «/usr/local/lib/python2.6/site-packages/mercurial/encoding.py» функция «tolocal».

Рекомендую к прочтению

Несколько статей про Mercurial и Trac:

Mercurial. Автоматическое обновление проекта при помощи хуков
Статьи vasa_c про Mercurial
Установка и настройка Trac на FreeBSD
Перенос Trac на Nginx и tracd

Присылайте ссылки на другие статьи и я их тут опубликую.

]]> http://adw0rd.ru/2010/mercurial-freebsd/feed/ 12