Мастерская интернет-разработчика » Программирование

Python и Git. Автоматическая проверка кода требованиям спецификации

adw0rd — Sat, 31 Mar 2012 20:30:16 +0000

Многие команды делают Code Review, другие больше сосредотачиваются над Design Review, а многие не делают и вовсе, но статья не о том зачем это нужно, а о том, как частично автоматизировать процесс Code Review. Для своих проектов я решил съэкономить немного времени и человеческих ресурсов, и использовать автоматизированную проверку кода проекта на соответствие PEP 8, а также качества кода (pyflakes) и качество сообщений в Git. Полноценный Code Review при этом делать всёравно нужно, но уже в меньших объемах, а иногда и вовсе можно им пренебречь.

Итак, для работы нам понадобится установить pep8, pyflakes, а также отредактировать на рабочих станциях разработчиков хуки для Git: «pre-commit» и «commit-msg».

Серверные хуки специально не используются, так как уже будет произведен коммит и разработчику придется откатываться и т.д., что совсем не экономит время разработчика.

Установка

Установим зависимости:

sudo apt-get install pyflakes pep8

Установим хуки:

cd ~/work
git clone git://gist.github.com/2184955.git pre-code-review
ln -s /home/<username>/work/pre-code-review/pre-commit.py /home/<username>/work/<project>/.git/hooks/pre-commit
ln -s /home/<username>/work/pre-code-review/commit-msg.py /home/<username>/work/<project>/.git/hooks/commit-msg
chmod +x /home/<username>/work/<project>/.git/hooks/pre-commit
chmod +x /home/<username>/work/<project>/.git/hooks/commit-msg

Код для хука «pre-commit.py» повзаимствован отсюда и впоследствии доработан. В будующем планировалось добавить туда проверку докстрингов (процентное соотношение документации к коду, либо какие-либо другие метрики) и запуск тестов (но это сомнительно, так как скажется на производительности выполнения коммитов).

Для таких тяжелых операций как тесты есть удобный инструмент — Continius Integraton (CI), такие как Hudson, Jenkins (Django Jenkins), CruiseControl и Atlassian Bamboo. Также, рекомендую ознакомится с продуктом для Code Review — Atlassian Crucible.

Примеры

Пример проверки кода:

$ git commit -m "Something I"
*********************************
***** CODE REVIEW IS FAILED *****
*********************************
Check files: <project>/<app>/views.py, <project>/common/context_processors.py, <project>/common/decorators.py,
<project>/settings.py, <project>/<app>/models.py, <project>/urls.py
pep8:
./<project>/urls.py:14:19: E241 multiple spaces after ','
./<project>/<app>/models.py:18:1: E302 expected 2 blank lines, found 1
pyflakes:
./<project>/urls.py:3: 'include' imported but unused
./<project>/urls.py:4: undefined name 'User'

Хук «pre-commit» проверяет только staged изменения (поэтому после каждого фикса вам придется делать git-add), для того чтобы проверять весь индекс сразу нужно использовать «--debug»:

$ .git/hooks/pre-commit --debug

Пример проверки сообщения коммита:

$ git commit -m "Something II"
**********************************
***** CHECK COMMIT IS FAILED *****
**********************************
> check_task_tracking_identificator:
>> Wrong Issue ID! Use format: [{project_id}-{issue_number}], example: [PROJ-1027]

Если добавить к команде git-commit опцию «--no-verify», то вы сможете пропустить проверку хуков.

-n, --no-verify
This option bypasses the pre-commit and commit-msg hooks. See also githooks(5).

Такого вида контроль повышает качества кода на входе в репозиторий, разработчики оставляют меньше граблей в коде и т.д. Вообщем это минимум, который нужен для повышения качества вашего проекта.

Python и Django. Отладка при помощи PuDB

adw0rd — Sat, 24 Mar 2012 15:19:50 +0000

Этим отладчиком я пользуюсь недавно, где-то полгода, может чуть больше. До этого обходился (надо признаться мучался) с pdb, а также print'ами, logger'ом, debug_toolbar'ом и т.д. Главное отличие в том, что у PuDB есть графический интерфейс с подсветкой синтаксиса, панелями для вывода дополнительной информации, интеграцией с IPython, удобными хоткеями и т.д., всё это делает его незаменимым инструмент на каждый день!

Автор: Andreas Klöckner
Страница проекта на PyPI: http://pypi.python.org/pypi/pudb
Исходный код проекта на GitHub или в GitWeb автора
Текущая версия: 2012.1

Отладчик использует urwid для построения графического интерфейса и pygments для подсветки синтаксиса.

Установка и настройка

Всё предельно просто, ставим из PyPI:

pip install pudb

Или из исходников:

git clone git://github.com/inducer/pudb.git
cd pudb && setup.py install
# либо сделайте симлинк в site-packages (я так обычно делаю, использую virtualenv и пакеты из транка)
ln -s ~/pudb/pudb ~/venv/<virtualenv>/lib/python2.7/site-packages/pudb

Запустите PuDB:

$ python
>>> import pudb
>>> pudb.set_trace()

Перед вами предстанет отладчик и попросит вас его настроить, а если не попросит, то можно вызвать настройки самостоятельно — нажмите «Ctrl+p». Там вы сможете выбрать shell (classic или ipython), тему (classic, vim, dark vim, midnight, либо создать тему самому), порядок вывода стека, способ вывода значений переменных контекста (type, str, repr, либо собственная реализация).

Инструкция по применению

Сразу надо заметить, что в интерфейсе сразу все понятно что к чему, а если что-то не понятно, то надо нажать «?» и вы увидите полный «help». Приведу его только часть, в порядке частоты использования:

Основное:

! — вызвать shell, при этом будет доступен весь контекст в котором вы находитесь
o — вывести консоль, но только для просмотра, удобно когда вы вводили что-то в консоле и хотите снова это посмотреть

n — «step over» (перешагнуть), перейти к следующей строке кода
s — «step into», перейти во внутрь объекта, если это возможно, иначе перейти к следующей строке кода
u — подняться на один стек-фрейм вверх
d — опуститься на один стек-фрейм вниз

c — «continue», продолжить (до первого брейкпоинта или до завершения работы программы)
f — завершить текущую функцию
q — выход из отладчика и продолжение работы программы

e — показать трейсбек, при этом вы сначала в шапке отладчика отчётливо увидите что произошол трейсбек
L — показать путь до текущего файла и номер строки, а также goto-line
/ — поиск строки («,» — вперед, «.» — назад)

Работа с брейкпоинтами:

b — установить брейкпоинт
enter — отредактировать брейкопинт (работает в панели брейкпоинтов)
d — удалить брейкпоинт (работает в панели брейкпоинтов)

Работа с панелями:

V — перейти в панель Variables
S — перейти в панель Stack
B — перейти в панель Breakpoints
+/— — расширить/сузить панель в ширину
_/= — минимализировать/максимализировать панель в ширину
[/] — расширить/сузить панель в высоту

Работа с панелью переменных (Variables):

\ — развернуть/свернуть содержимое переменной
t/r/s/c — переключаться между type/repr/str/custom форматом вывода переменной
h — подсветить переменную в панели (также и отключает подсветку)
@ — закрепить переменную в верхней части панели
w — переключится в режим word-wrap для переменных (и обратно также)
n/Insert — добавить в верхнюю панель выражение для слежения (например вы ожидаете появления переменной «test_something», то добавьте её название, когда она будет доступна, тогда появится в верхней панели со значением)
enter — управление переменными в Variables, в том числе и удаление

Интеграция с Django и IPython

До версии PuDB 2012.1 необходимо было сделать следующие манипуляции, если по каким-либо причинам вы используете старую версию PuDB, то вам это должно пригодится. В новой версии ничего делать не надо, всё работает из коробки!

Также с IPython (версии 0.13+) и PuDB до версии 2012.1 были проблемы, но если вы используете IPython 0.10.x (который до сих пор в пакетах Ubuntu как основной), то всё будет хорошо. Вот, к слову, о PuDB+IPython интергации.

Использование

Приведу пару примеров о том как пользоваться PuDB:

# Запуск отладчика для определенного скрипта
python -m pudb.run script.py
python -m pudb.run manage.py runcpdebug
# Далее, устанавливайте брейкпоинты и жмите "c" (Continue),
# как только отладчик дойдёт до брейкпоинта он остановится

В коде можно вызвать так:

# В любом месте вставьте:
import pudb; pudb.set_trace()

Ко всему прочему привожу видеокаст от автора:

PuDB Intro Screencast from Andreas Klöckner on Vimeo.

Реализация установки брейкпоинтов для Emacs

Так как я пользуюсь Emacs, то решил для него сделать функцию и хот-кей для вставки брейкпоинта в PuDB.
Поместите следующий код в свой «~/.emacs»:

(defun pudb-save-breakpoint ()
(interactive)
(setq file (buffer-file-name))
(setq line (substring (what-line) 5))
(setq saved-breakpoints "~/.config/pudb/saved-breakpoints")
(with-temp-buffer
(insert "b " file ":" line "\n")
(when (file-writable-p saved-breakpoints)
(append-to-file (point-min)
(point-max)
saved-breakpoints)))
)
(global-set-key [?\C-x ?\C-_] 'pudb-save-breakpoint)

Идея простая, все брейкпоинты PuDB пишет в свой файл «~/.config/pudb/saved-breakpoints», в формате:

b :
b :

Воспользоваться этим как видите очень просто — надо дописывать брейкпоинты. Также можно реализовать удаление брейкпоинта, очистку (в том числе с неймспейсом по проекту) и т.д., но мне пока и этого достаточно. Если кто знает готовый или хочет сделать полноценный модуль для Emacs+PuDB, то пишите, буду очень рад!

Так как в elisp я особо не силён, то можно сделать python-скрипт, в который elisp будет передавать аргументы, а скрипт будет уже делать все манипуляции с файлом брейкпоинтов.

Также, рекомендую ознакомиться со списком отладчиков для python: PythonDebuggers — PythonInfo Wiki.

Обрабатываем LESS «на лету» с помощью Nginx и Node.js

adw0rd — Sun, 04 Mar 2012 12:30:09 +0000

Сегодня начал использовать twitter-bootstrap и решил процессить less не на клиентской стороне, а средствами сервера, просто по приколу. Сразу же вспомнил про статью на хабре Серверный процессинг LESS файлов «на лету» своими руками и решил реализовать то, что там написано.

Принцип работы заключается в том, что все обращения к файлам «*.less» будут проксироваться через Nginx и преобразовываться на лету (можно и nginx-кеш прикрутить, если надо) в css средствами node.js.

Установка

Для начала нам надо установить nginx и node.js:

sudo apt-get install nginx nodejs

Скачиваем отсюда последнюю версию less.js и устанавливаем:

cd ~
wget -O adw0rd-less.js.tar.gz https://github.com/adw0rd/less.js/tarball/master
tar -xzf adw0rd-less.js.tar.gz
cd adw0rd-less.js-*

# Проверяем less
make test

Настройка

Добавим в «/etc/hosts» хост «example.loc»:

127.0.0.1 example.loc

Отконфигурируем Nginx

Добавим в «/etc/nginx/nginx.conf» апстрим «lessserv»:

upstream lessserv {
server localhost:1337;
}

Отредакируем ваш server-конфиг для «example.loc» — «/etc/nginx/sites-available/example.conf»:

server {
listen 80;
server_name example.loc;
root /path/to/example;

location ~* \.less$ {
proxy_pass http://lessserv;
}
}

После чего не забываем добавить в sites-enabled и зарелоадить Nginx:

ln -s /etc/nginx/sites-available/example.conf /etc/nginx/sites-enabled/example.conf
sudo nginx -s reload

Теперь перейдем к node.js

В файле «bin/lessserv» вы можете указать нужный вам listen_host и listen_port, по умолчанию:

var listen_port = 1337,
listen_host = "127.0.0.1";

Запускаем lessserv, который и будет проксировать наши less-файлы:

cd ~/adw0rd-less.js-*
node bin/lessserv --path=/path/to/example

Проверяем по ссылке: http://example.loc/bootstrap/less/bootstrap.less, если отдается готовый css-файл, то все у вас получилось!

Ествественно, в каталоге «/path/to/example» должен присутствовать распакованный каталог bootstrap.

Далее в html подключать можно так:

P.S. Вообщем статья это «толстый Like» статьи с хабра, хотя более подробная в плане настроек, пофикшены инструкции (proxy_pass, вместо proxy_path), а также немного улучшен «less.js» на GitHub'е :)

jQuery. Написал плагин jquery-cleverfocus

adw0rd — Thu, 01 Mar 2012 15:47:37 +0000

Зарелизил сегодня плагин для jQuery, который при вводе на сайте текста пользователем «в никуда» перехватывает это и по истечению лимита введенных символов выбрасывает собранные данные в нужный нам инпут и ставит на него фокус.

Плагин совместим с версией jQuery 1.7.1, так как тестировался только на нём.

А зачем вообще это?

Случай #1
Пользователь приходит на сайт, видит форму поиска, набирает искомое слово (при этом он чаще всего смотрит в клавиатуру), подняв голову он понимает что набирал текст «в никуда», сильно бесится, ставит фокус, вводит несколько символов, проверяет что у него получается набирать текст «куда надо» и со спокойной душой продолжает набирать искомое слово.

Тут вы скажете «Эй! надо ставить фокус после загрузки DOM!», ан нет, это тоже плохое решение, разберем второй кейс.

Случай #2
Пользователь приходит на сайт, ему не интересна форма поиска, он хочет поскроллить/полистать (Left/Right, Up/Down, PgUp/PgDown, Home/End и т.д.) страницу с помощью клавиатуры (пользователей, которые пользуются ноутбуками без использования мыши достаточно много), а так как у нас стоит фокус в форме поиска, то он снова обламывается.

Для решения этих вот двух кейсов и был создан плагин jquery-cleverfocus.

Пример использования

Допустим у вам есть форма поиска с id="search_input":

То для неё следует использовать плагин так:

$("#search_input").cleverfocus({
keypress_limit: 3
});

В поставку входит functional_test.html, на котором вы можете проверить плагин, также в целях демонстрации я разместил плагин на demo.adw0rd.ru/jquery-cleverfocus/functional_test.html

Почему он так называется?

Сначала, я дал ему имя «jquery-autofocus», но потом поискал в гугле это название и нашёл плагин с таким же названием, которой призван эмулировать атрибут autofocus из HTML5 в HTML меньших версий.

Потом я решил назвать его «jquery-smartfocus», но и тут поджидало меня разочарование, так как есть и такой плагин.

В итоге, назвал его по «человечному» — cleverfocus.

Python. Работаем с xls через xlwt/xlrd и python-uno

adw0rd — Tue, 28 Feb 2012 13:50:09 +0000

Понадобилось без потери данных и функциональности модифицировать xls документы, то есть мы имеем несколько листов в документе, на одном из листов есть фильтры, списки и прочие компоненты современного екселя.

Первое что приходит на ум — это старый-добрый Python Excel (xlwt/xlrd), попробуем реализовать модификацию ячейки с помощью этого инструмента, а потом перейдем к PyUNO.

Python Excel: xlwt, xlrd, xlutils

Более подробно об этих пакетах можно почитать на странице Python Excel.
Для начала установим их:

sudo pip install xlwt xlrd xlutils

А теперь пример кода:

import xlwt, xlrd
from xlutils.copy import copy as xlcopy

source_filename = "/tmp/example.xls"
destination_filename = "/tmp/example_new.xls"

read_book = xlrd.open_workbook(source_filename, on_demand=True) # Открываем исходный документ
read_sheet = read_book.get_sheet(0) # Читаем из первого листа
write_book = xlcopy(read_book) # Копируем таблицу в память, в неё мы ниже будем записывать
write_sheet = write_book.get_sheet(0) # Будем записывать в первый лист
write_sheet.write(0, 0, read_sheet.cell_value(0, 0) + 42) # Прибавим к значению из ячейки "A1" число 42
write_book.save(destination_filename) # Сохраняем таблицу

Простейший пример использования испортит нам документ, в котором есть формулы, фильтры и прочие компоненты таблицы, поэтому это решение нам не подходит.

PyUNO

Теперь попробуем python-uno, его мы тоже установим, в добавок нам необходимо установить libreoffice, так как именно в libreoffice мы и будем производить изменения:

sudo apt-get install python-uno libreoffice

Пакеты python-uno и libreoffice можно установить на разные хосты, так как первый будет клиентом для второго.

Теперь запустим libreoffice на локальном хосте:

libreoffice --accept="socket,host=localhost,port=2002;urp;StarOffice.ServiceManager"

Пример кода по модификации одной ячейки через PyUNO:

import uno

source_filename = "/tmp/example.xls"
destination_filename = "/tmp/example_new.xls"

def get_document(filename):
"""Небольшая обертка для корретного открытия документа"""
local = uno.getComponentContext()
resolver = local.ServiceManager.createInstanceWithContext("com.sun.star.bridge.UnoUrlResolver", local)
context = resolver.resolve("uno:socket,host=localhost,port=2002;urp;StarOffice.ComponentContext")
desktop = context.ServiceManager.createInstanceWithContext("com.sun.star.frame.Desktop", context)
document = desktop.loadComponentFromURL(uno.systemPathToFileUrl(filename), "_blank", 0, tuple())
return document

document = get_document(source_filename) # Окроем исходный документ
sheet = document.getSheets().getByIndex(0) # Получем первый лист
cell = sheet.getCellByPosition(0, 0) # Получим необходимую нам ячейку
cell.setString(int(cell.getString()) + 42) # И запишем в неё новый результат

# Сохраняем документ
document.storeToURL(uno.systemPathToFileUrl(destination_filename), ())

Код далек от идеала, но для презентации возможностей это самое то.

Результат был достигнут — все компоненты в таблице остались не тронутыми, поменялась лишь ячейка, которую мы меняли.
Вообщем python-uno идеально подходит для автоматизации работы с офисными документами без потерь!

Django. Зарелизил расширение django-multi-sessions

adw0rd — Mon, 27 Feb 2012 16:13:06 +0000

Данное расширение предоставляет интерфейсы для работы с несколькими сессионными бекендами. В основном предназначено для переноса сессий с одного механизма на другой, при этом не останавливая работу с сессиями, это так называемый «прозрачный перенос».

Текущая версия: 0.0.3

Установить его можно так:

pip install django-multi-sessions

Или скачайте тарболл, распакуйте и выполните:

python setup.py install

Настройки

Надо в settings.py объявить «multi_sessions.session» как SESSION_ENGINE и заполнить SESSION_MULTISESSIONS_POOL, как в примере:

SESSION_ENGINE = "multi_sessions.session"
SESSION_MULTISESSIONS_POOL = (
{
"backend": "redis_sessions.session",
"modes": ["read", "write", "delete"]
},
{
"backend": "django.contrib.sessions.backends.db",
"modes": ["read", "delete"]
},
)

В этом примере redis-backend используется как приоритетное хранилище (чтение, сохранение/создание, удаление) данных, а database-backend используется только для чтения и удаления сессий, так как мы с него переходим на redis, то не имеет смысла в него сохранять данные.

Исходники

Исходные коды можно получить на гитхабе!

Доступ к Wikipedia на время действия экрана SOPA

adw0rd — Wed, 18 Jan 2012 13:43:32 +0000

По просьбе моего друга решил запостить этот пост, вдруг кому пригодится!

Википедия сегодня, 18 Января 2011 года, протестует против SOPA и закрыла доступ к контенту.

Но при желании можно все равно этот контент посмотреть. Википедия никуда не убрала контент, она просто добавила на каждую страничку новый div, который и содержит слой с информацией про протест против SOPA. А также добавила стиль display=none к слоям с контентом.

Все это дело легко отключается следующим скриптом (я написал его за 1-2 минуты), который выполняется из консоли Chrome или Firefox:

var jq = document.createElement('script');
jq.src = "https://ajax.googleapis.com/ajax/libs/jquery/1.6.2/jquery.min.js";
document.getElementsByTagName('head')[0].appendChild(jq);
$('#mw-sopaOverlay').remove();
$('#content').show();

Все элементарно: первые три строчки подключают jquery, 4-я строчка удаляет слой SOPA, 5-я строчка показывает слой с контентом.

Можно этот скрипт повесить на Greaemonkey, и тогда автоматически вся википедия будет нормально показываться, как и прежде.

И да, я поддерживаю их протест против SOPA. Просто иногда нужно срочно получить информацию, даже если она скрыта.

Автор: Ivan, 18 января 2012 16:18.
Оригинал: http://jdevnotes.blogspot.com/2012/01/wikipedia-sopa.html

Андрей Аксенов: “Как готовить Sphinx” / мастер-класс, Киев, 18-ое июня

adw0rd — Wed, 01 Jun 2011 19:28:24 +0000

В субботу, 18-го июня в Киеве пройдет мастер-класс создателя движка полнотекстового поиска Sphinx Андрея Аксенова ”Как готовить Sphinx”.

Мастер-класс будет интересен разработчикам, руководителям и владельцам проектов, которые сталкиваются с проблемой поиска при высоких нагрузках.

Sphinx используют такие монстры, как CraigsList, DailyMotion, Meetup, HupPages, HabraHabr и еще десятки высоконагруженных сайтов такие как Кинсбург. Андрей Аксенов выступал на многочисленных конференциях в России: “DevPoint 1-2″, “РИТ”, “DevConf 2011″, “HighLoad ++”. Организатор конференции пользователей Sphinx в Москве. Автор нашумевшего доклада “Как прекратить писать”.

Дополнительная информация и подробный план мастер-класса можно посмотреть на сайте http://www.smartme.com.ua/sphinx-workshop/

FreeBSD. XHProf для анализа производительности PHP

adw0rd — Wed, 24 Nov 2010 23:00:20 +0000

Решил я воспользоваться утилитой для профилирования производительности веб-приложения XHProf от Facebook. И она мне так понравилась, что я решил написать про неё небольшой пост.

Утилита проводит анализ работы сайта, выводит информацию о использование каждой функции на пути работы приложения (например, загрузки определенной страницы сайта), а именно: количество вызовов определенной функции, затраченное время, кол-во потребляемой памяти и ресурсов процессора.

Профилирование — сбор характеристик работы программы, таких как время выполнения отдельных фрагментов (обычно подпрограмм), число верно предсказанных условных переходов, число кэш промахов и т. д. Инструмент, используемый для анализа работы, называют профилировщиком. Обычно выполняется совместно с оптимизацией программы.

Профилирование в Wikipedia

Данные выводятся в виде таблицы:

Так же она может отрисовать граф с помощью GraphViz, но для этого он должен быть предварительно собран в системе (об этом ниже):

XHProf представляет собой pecl-расширение для PHP, написана она на си, поэтому достигается высокая с ее стороны производительность и ее можно использовать на продакшен сервере для анализа реальных данных.

Установка

Я собирал расширение из сорцов, для этого заходим на страницу расширения и качаем необходимую нам версию, у меня это xhprof-0.9.2:

cd /tmp
fetch http://pecl.php.net/get/xhprof-0.9.2.tgz
tar -xzf xhprof-0.9.2.tgz
cd xhprof-0.9.2/extension/
phpize
./configure --with-php-config=/usr/local/bin/php-config
make && make install

Пропишите расширение в php.ini или в php/extensions.ini:

extension=xhprof.so

Вы можете поставить расширение XHProf из портов (/usr/ports/devel/pecl-xhprof/).
В мае, когда я практически написал эту статью, его ещё там небыло.

Укажите в php.ini каталог, который будет играть роль хранилища ваших данных:

[xhprof]
xhprof.output_dir=/usr/local/xhprof/out

Ну и создать его тоже надо, естественно:

mkdir -p /usr/local/xhprof/out

XHProf UI

Теперь настроим веб-интерфейс XHProf, для этого скопируем сорцы в свой каталог:

mkdir /usr/local/xhprof/
cp -R /tmp/xhprof-0.9.2/ /usr/local/xhprof/

И пропишем новый хост в nginx:

server {
listen 80;
server_name xhprof.test;
charset utf8;
root /usr/local/xhprof/xhprof_html;
index index.php;

location ~ \.php$ {
fastcgi_pass php-fpm;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
}

Перезагружаем nginx:

nginx -s reload

А в локальном файле hosts завяжем домен:

123.45.67.89 xhprof.test

Где «123.45.67.89» — ip машины на которой стоит XHProf, то есть где мы его только что устанавливали.

Собираем Graphviz

Для построение визуализации соберем Graphviz (крайне рекомендую это сделать, будет намного нагляднее).

cd /usr/ports/graphics/graphviz
make install clean

Собираем Ctype

Вам так же может понадобится Ctype

cd /usr/ports/textproc/php5-ctype
make install clean

Настройка

Теперь настроим XHProf так, чтобы он профилировал только когда у нас установлена специальная кука. Для это создадим два файла «/usr/local/xhprof/header.php» и «/usr/local/xhprof/footer.php», со следующим содержимым:

1. Отредактируйте «/usr/local/xhprof/header.php»:

if(isset($_COOKIE['xhprof'])){
if (extension_loaded('xhprof')) {
$utils_path = "/usr/local/xhprof/xhprof_lib/utils/";
include_once $utils_path.'xhprof_lib.php';
include_once $utils_path.'xhprof_runs.php';
xhprof_enable(XHPROF_FLAGS_CPU + XHPROF_FLAGS_MEMORY);
}
}

Он срабатывает только если установлена кука «xhprof», подключает необходимые библиотеки и устанавливает необходимые флаги (об этом чуть ниже).

2. Отредактируйте «/usr/local/xhprof/footer.php»:

if(isset($_COOKIE['xhprof'])){
if (extension_loaded('xhprof')) {
$profiler_namespace = 'myapp'; // namespace for your application
$xhprof_data = xhprof_disable();
$xhprof_runs = new XHProfRuns_Default();
$run_id = $xhprof_runs->save_run($xhprof_data, $profiler_namespace);

// url to the XHProf UI libraries (change the host name and path)
$profiler_url = sprintf('http://xhprof.test/index.php?run=%s&source=%s', $run_id, $profiler_namespace);
echo '.$profiler_url.'">Profiler output';
}
}

Он срабатывает только если установлена кука «xhprof», устанавливает неймспейс и сохраняет собранные показатели. После чего отрисовывает ссылку на веб-интерфейс XHProf для последующего анализа.

Теперь добавим в конец две строки в php.ini, для того чтобы эти два скрипта стартовали в начале и конце соответственно:

auto_prepend_file = /usr/local/xhprof/header.php
auto_append_file = /usr/local/xhprof/footer.php

Более подробная документация по XHProf: http://mirror.facebook.net/facebook/xhprof/doc.html

Проблема с dot

Утилита dot это тот самый Graphviz и с ним бывает проблема, что-то типа того:

Error: either we can not find profile data for run_id 4ced888563969 or the threshold 0.01 is too small or you do not have 'dot' image generation utility installed.

Сначала зайдите в «/usr/local/xhprof/xhprof_lib/utils/callgraph_utils.php» и найдите функцию «xhprof_generate_image_by_dot» (примерно 96 строка). Отредактируйте массив $descriptorspec, указав путь до файла лога:

$descriptorspec = array(
// stdin is a pipe that the child will read from
0 => array("pipe", "r"),
// stdout is a pipe that the child will write to
1 => array("pipe", "w"),
// stderr is a file to write to
//2 => array("file", "/dev/null", "a")
// Путь до файла лога
2 => array("file", "/var/log/xhprof.log", "a+")
);

Ну и теперь запускайте и смотрите лог, если у вас там:

dot: not found

То просто укажите полный путь до dot:

$cmd = " /usr/local/bin/dot -T".$type;

Это примерно 107 строка того же файла «/usr/local/xhprof/xhprof_lib/utils/callgraph_utils.php».

Ссылки

Посты, от которых я узнал о XHProf:

Советую почитать:

Django. Первое приложение

adw0rd — Wed, 26 May 2010 17:09:03 +0000

Захотелось мне поведать как использовать связь ManyToMany, начал я значит писать пост, но так как я хотел его детализировать то он слишком разросся... И я решил сначала написать пост о том, как создавать первый проект и приложение на Django, чтобы потом ссылаться сюда.

— начинал я этот пост писать еще в том году, да все руки не доходили его закончить, спасибо vasa_c за терпение

Устанавливаем Django

Заходим на страницу загрузки официального сайта, скачиваем Django 1.1.1 (или выше). Далее, как и в инструкции:

cd /tmp
wget -O Django-1.1.1.tar.gz http://www.djangoproject.com/download/1.1.1/tarball/
tar -xzvf Django-1.1.1.tar.gz
cd Django-1.1.1
sudo python setup.py install

Все, джанго установлен!

Так как мы будем работать с MySQL, то вам надо установить библиотеку py-mysqldb, представляющая собой интерфейс к MySQL.

Для Ubuntu:

apt-get install python-mysqldb

Для FreeBSD

cd /usr/ports/databases/py-MySQLdb
make install clean

А для Windows можно скачать тут.

Создаем наш первый проект

Допустим, что имя проекта у нас будет «myproject»:

cd /www
django-admin.py startproject myproject

Теперь создайте себе новую БД «myproject»:

CREATE DATABASE `myproject` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

И отредактируйте «/www/myproject/settings.py», заменив только соответствующие части:

# ~*~ coding: utf-8 ~*~

...
# Настройки БД
DATABASE_ENGINE = 'mysql' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'oracle'.
DATABASE_NAME = 'myproject' # Or path to database file if using sqlite3.
DATABASE_USER = 'username' # Not used with sqlite3.
DATABASE_PASSWORD = 'password' # Not used with sqlite3.
DATABASE_HOST = '' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '' # Set to empty string for default. Not used with sqlite3.

...
# Путь до каталога, где лежат наши медиа файлы (css, js, images)
MEDIA_ROOT = '/www/myproject/static/'

...
# URL медиа файлов (css, js, images)
MEDIA_URL = '/'

...
# URL медиа файлов админки (css, js, images, etc)
ADMIN_MEDIA_PREFIX = '/admin-media/'

...
# Путь до каталога с шаблонами
TEMPLATE_DIRS = (
"/www/myproject/blog/templates",
)

...
# Установленные приложения в нашем проекте
INSTALLED_APPS = (
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
'django.contrib.admin',
'myproject.blog',
)
# в конец добавлено две строки, первая подключает джанговскую админку,
# а второе наше приложение, которое мы ниже опишем

Для чего я ставлю в начале строки «#~*~ coding: utf-8 ~*~» читайте тут.

Создаем наше первое приложение

После того, как вы создали проект, надо создать приложение, если у вас проект состоит из одного приложения — можете его назвать «main».

Создаем приложение «blog»:

cd /www/myproject
python manage.py startapp blog

Файл модели

Теперь перейдем к разработке модели нашего приложения, отредактируем «/www/myproject/blog/models.py».
У нас будет пока одна сущность, это Посты в Блоге:

# ~*~ coding: utf-8 ~*~

# импортируем класс модели
from django.db import models
# и админки
from django.contrib import admin

'''
Blog posts
'''
class Post(models.Model):
# название поста
title = models.CharField(max_length=100)
# содержимое поста
text = models.TextField()

# функция необходима для того, чтобы при выводе объекта Post
# как строки выводился вместо этого его title
def __unicode__(self):
return self.title;

'''
Класс для админки, тут будут дополнительные атрибуты необходимые для админки
'''
class PostAdmin(admin.ModelAdmin):
# в таблице списка постов выводить только колонку title, если вы добавите еще одно имя поля, то и оно выведется
list_display = ('title',)

# связываем эту модель с моделью PostAdmin
admin.site.register(Post, PostAdmin)

Вы можете все что связано с админкой вынести в admins.py и импортировать его, чтобы избавится от лишнего кода

После создания файла моделей, вам необходимо запустить синхронизацию с БД, для того чтобы создались структуры данных:

cd /www/myproject
python manage.py syncdb

Для более детального изучения команд manage.py введите:

python manage.py help

Если вас интересует конкретная комманда, например syncdb, то:

python manage.py help syncdb

Вы так же можете создавать свои команды, но об этом поговорим не в этот раз.

syncdb создаст таблицы в вашей БД, а также при первой инициализации попросит создать рутовую учетную запись для вашего проекта в django (это будет админский аккаунт):

Creating table auth_permission
Creating table auth_group_permissions
Creating table auth_group
Creating table auth_user_user_permissions
Creating table auth_user_groups
Creating table auth_user
Creating table auth_message
Creating table django_content_type
Creating table django_session
Creating table django_site
Creating table django_admin_log
Creating table blog_post

You just installed Django's auth system, which means you don't have any superusers defined.
Would you like to create one now? (yes/no): yes
Username (Leave blank to use 'root'):
E-mail address: mail@example.com
Password:
Password (again):
Superuser created successfully.
Installing index for auth.Permission model
Installing index for auth.Message model
Installing index for admin.LogEntry model

Когда вы создадите новый класс модели вам будет необходимо вновь запустить syncdb.
Если вы внесли изменения в уже синхронизированное приложение, а именно в его модель, то syncdb НЕ внесет их в вашу БД, для этого используйте sqlall и другие sql* комманды:

python manage.py sqlall название_приложения (например: blog)

Или попробуйте расширение для Django Django Evolution (для этого необходимо его установить в вашу систему и добавить в INSTALLED_APPS — «django_evolution»).

Файл урлов

Для навигации по вашему проекту вам нужен роутер (URL диспетчер).
Отредактируем «/www/myproject/urls.py»:

# ~*~ coding: utf-8 ~*~

# импортируем админку
from django.contrib import admin

# Makes the patterns() function available
from django.conf.urls.defaults import *

# импортируем наши вьюхи (см. ниже описание файла вьюх)
from myproject.blog.views import main_page, get_post

# Above we used admin.autodiscover() to automatically load the INSTALLED_APPS admin.py modules
admin.autodiscover()

urlpatterns = patterns('',
# Если ничего не введено, то отдаем управление mainpage вьюхе
(r'^$', main_page),
# Если передан id поста, то отдаем управление get_post вьюхе
(r'^post/([0-9]{1,5})', get_post),
# Если введен /admin/, то идем в админку
(r'^admin/', include(admin.site.urls)),
)

Вы конечно можете отредактировать локальный для приложения «blog» — urls.py («/www/myproject/blog/urls.py»), но тогда вам надо будет импортировать «/www/myproject/blog/urls.py» в корневом «urls.py». Либо вы можете его определить в settings.py (ROOT_URLCONF).

Файл вьюхи

Ту роль, которую играет «Controller» в MVC, в Django играет роль View. Почему это так читайте тут.
Отредактируем «/www/myproject/blog/views.py»:

# ~*~ coding: utf-8 ~*~

# функция генерирующая 404 страницу
from django.http import Http404

# функция отрисовки страницы, принимающая путь до шаблона и данные помещенные в шаблон
from django.shortcuts import render_to_response

# наша модель
from myproject.blog.models import Post

def main_page (request):
# Получаем список постов
posts = Post.objects.all()
# отрисовываем
return render_to_response('list.html', {"posts": posts})

def get_post (request, post_id):
try:
# выбираем конкретный пост, pk - primary key
post = Post.objects.get(pk=post_id)
except Post.DoesNotExist:
# если такого поста нет, то генерируем 404
raise Http404

# отрисовываем
return render_to_response('single.html', {"title": post.title, "text": post.text})

Вывод в шаблоне

В Django очень мощный и гибкий шаблонизатор, у него даже есть аналог на PHP — Twig, что говорит о его удобстве (был бы неудобным — не копировали бы), хотя Twig по слухам сильно хуже.
Однако, есть более крутой шаблонизатор для Django — Jinja2, с более высокой производительностью и более гибкими возможностями. Описывать Jinja я не буду, ведь не это цель сего поста, поэтому делюсь только ссылочками:

С более полными возможностями Django Template вы можете познакомится на официальной странице.

В Django Template поддерживается наследование, поэтому мы напишем общий шаблон и будем его использовать base.html:

<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8" />
<title>{% block title %}Default{% endblock %} / MyProject</title>
</head>
<body>
{% block content %}
{% endblock %}
</body>
</html>

Шаблон вывода списка постов list.html:

{% extends "base.html" %}

{% block title %}List!{% endblock %}

{% block content %}
<ul style="list-style-type:none">
{% for post in posts %}
<li style="padding-left:10px;{% if forloop.counter0|divisibleby:"4" %}background-color:#E1F3C9{% endif %}">
<a href="/post/{{ post.id }}/">{{ post.title }}</a>
<p>{{ post.text }}</p>
</li>
{% endfor %}
</ul>
</div>
{% endblock %}

Шаблон вывода одной записи single.html:

{% extends "base.html" %}

{% block title %}{{ title }}{% endblock %}

{% block content %}
<h1>{{ title }}</h1>

<div>
{{ text }}
</div>
{% endblock %}

Nginx

Теперь настроим Nginx для того, чтобы запуская «manage.py runserver» нам не прописывать порт в URL и чтобы использовать нормальное имя хоста, хотя вы может вполне без это обойтись.
Но я очень рекомендую использовать Nginx.

server {
listen 80;
server_name myproject.loc;

location ^~ /admin-media {
alias /usr/local/lib/python2.6/dist-packages/django/contrib/admin/media;
}

location /static/ {
root /www/myproject/static/;
}

location ~* \.(jpg|jpeg|gif|png|ico|css|zip|js|swf)$ {
root /www/myproject/static/;
expires 7d;
}

location / {
proxy_pass http://127.0.0.1:8001/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

Добавить в «/etc/hosts» ваш хост:

127.0.0.1 myproject.loc

И перезагрузить Nginx:

# в новых версиях nginx можно послать сигнал
nginx -s reload

# или для ubuntu/debian через скрипт инициализации
service nginx restart
/etc/init.d/nginx restart

# или для freebsd
/usr/local/etc/rc.d/nginx restart

Запускаем веб-сервер проекта на 8001 порту, так как мы туда будем проксировать из Nginx:

cd /www/myproject
python manage.py runserver 8001

Теперь зайдите в админку (http://myproject.loc/admin/), введите вашу «root» учетку, которую создавали при syncdb.

Вы можете скачать архив с исходниками проекта тут

Вот мы и познакомились с первым приложение на Django, как я и обещал в начале этого поста следующая статья будет о ManyToMany, где мы подключим к нашему «Блогу» возможность создавать и выводить теги, а также расскажу более полно о возможностях моделях и ORM, View и о URL диспетере.

P.S. Пост дописывал в торопях, если найдете любые ошибки — обязательно отпишитесь в комментарии, спасибо!

Мастерская интернет-разработчика » Программирование

Python и Git. Автоматическая проверка кода требованиям спецификации

Установка

Примеры

Python и Django. Отладка при помощи PuDB

Установка и настройка

Инструкция по применению

Основное:

Работа с брейкпоинтами:

Работа с панелями:

Работа с панелью переменных (Variables):

Интеграция с Django и IPython

Использование

Реализация установки брейкпоинтов для Emacs

Обрабатываем LESS «на лету» с помощью Nginx и Node.js

Установка

Настройка

Отконфигурируем Nginx

Теперь перейдем к node.js

jQuery. Написал плагин jquery-cleverfocus

А зачем вообще это?

Пример использования

Почему он так называется?

Python. Работаем с xls через xlwt/xlrd и python-uno

Python Excel: xlwt, xlrd, xlutils

PyUNO

Рекомендую почитать

Django. Зарелизил расширение django-multi-sessions

Настройки

Исходники

Доступ к Wikipedia на время действия экрана SOPA

Андрей Аксенов: “Как готовить Sphinx” / мастер-класс, Киев, 18-ое июня

FreeBSD. XHProf для анализа производительности PHP

Установка

XHProf UI

Собираем Graphviz

Собираем Ctype

Настройка

Проблема с dot

Ссылки

Django. Первое приложение

Устанавливаем Django

Для Ubuntu:

Для FreeBSD

Создаем наш первый проект

Создаем наше первое приложение

Файл модели

Файл урлов

Файл вьюхи

Вывод в шаблоне

Nginx