Мастерская интернет-разработчика » Программирование

Django. Первое приложение

adw0rd — Wed, 26 May 2010 17:09:03 +0000

Захотелось мне поведать как использовать связь ManyToMany, начал я значит писать пост, но так как я хотел его детализировать то он слишком разросся... И я решил сначала написать пост о том, как создавать первый проект и приложение на Django, чтобы потом ссылаться сюда.

— начинал я этот пост писать еще в том году, да все руки не доходили его закончить, спасибо vasa_c за терпение

Устанавливаем Django

Заходим на страницу загрузки официального сайта, скачиваем Django 1.1.1 (или выше). Далее, как и в инструкции:

cd /tmp
wget -O Django-1.1.1.tar.gz http://www.djangoproject.com/download/1.1.1/tarball/
tar -xzvf Django-1.1.1.tar.gz
cd Django-1.1.1
sudo python setup.py install

Все, джанго установлен!

Так как мы будем работать с MySQL, то вам надо установить библиотеку py-mysqldb, представляющая собой интерфейс к MySQL.

Для Ubuntu:

apt-get install python-mysqldb

Для FreeBSD

cd /usr/ports/databases/py-MySQLdb
make install clean

А для Windows можно скачать тут.

Создаем наш первый проект

Допустим, что имя проекта у нас будет «myproject»:

cd /www
django-admin.py startproject myproject

Теперь создайте себе новую БД «myproject»:

CREATE DATABASE `myproject` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

И отредактируйте «/www/myproject/settings.py», заменив только соответствующие части:

# ~*~ coding: utf-8 ~*~

...
# Настройки БД
DATABASE_ENGINE = 'mysql' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'oracle'.
DATABASE_NAME = 'myproject' # Or path to database file if using sqlite3.
DATABASE_USER = 'username' # Not used with sqlite3.
DATABASE_PASSWORD = 'password' # Not used with sqlite3.
DATABASE_HOST = '' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '' # Set to empty string for default. Not used with sqlite3.

...
# Путь до каталога, где лежат наши медиа файлы (css, js, images)
MEDIA_ROOT = '/www/myproject/static/'

...
# URL медиа файлов (css, js, images)
MEDIA_URL = '/'

...
# URL медиа файлов админки (css, js, images, etc)
ADMIN_MEDIA_PREFIX = '/admin-media/'

...
# Путь до каталога с шаблонами
TEMPLATE_DIRS = (
"/www/myproject/blog/templates"
)

...
# Установленные приложения в нашем проекте
INSTALLED_APPS = (
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
'django.contrib.admin',
'myproject.blog',
)
# в конец добавлено две строки, первая подключает джанговскую админку,
# а второе наше приложение, которое мы ниже опишем

Для чего я ставлю в начале строки «#~*~ coding: utf-8 ~*~» читайте тут.

Создаем наше первое приложение

После того, как вы создали проект, надо создать приложение, если у вас проект состоит из одного приложения — можете его назвать «main».

Создаем приложение «blog»:

cd /www/myproject
python manage.py startapp blog

Файл модели

Теперь перейдем к разработке модели нашего приложения, отредактируем «/www/myproject/blog/models.py».
У нас будет пока одна сущность, это Посты в Блоге:

# ~*~ coding: utf-8 ~*~

# импортируем класс модели
from django.db import models
# и админки
from django.contrib import admin

'''
Blog posts
'''
class Post(models.Model):
# название поста
title = models.CharField(max_length=100)
# содержимое поста
text = models.TextField()

'''
Класс для админки, тут будут дополнительные атрибуты необходимые для админки
'''
class PostAdmin(admin.ModelAdmin):
# в таблице списка постов выводить только колонку title, если вы добавите еще одно имя поля, то и оно выведется
list_display = ('title',)

# связываем эту модель с моделью PostAdmin
admin.site.register(Post, PostAdmin)

После создания файла моделей, вам необходимо запустить синхронизацию с БД, для того чтобы создались структуры данных:

cd /www/myproject
python manage.py syncdb

Для более детального изучения команд manage.py введите:

python manage.py help

Если вас интересует конкретная комманда, например syncdb, то:

python manage.py help syncdb

Вы так же можете создавать свои команды, но об этом поговорим не в этот раз.

syncdb создаст таблицы в вашей БД, а также при первой инициализации попросит создать рутовую учетную запись для вашего проекта в django (это будет админский аккаунт):

Creating table auth_permission
Creating table auth_group_permissions
Creating table auth_group
Creating table auth_user_user_permissions
Creating table auth_user_groups
Creating table auth_user
Creating table auth_message
Creating table django_content_type
Creating table django_session
Creating table django_site
Creating table django_admin_log
Creating table blog_post

You just installed Django's auth system, which means you don't have any superusers defined.
Would you like to create one now? (yes/no): yes
Username (Leave blank to use 'root'):
E-mail address: mail@example.com
Password:
Password (again):
Superuser created successfully.
Installing index for auth.Permission model
Installing index for auth.Message model
Installing index for admin.LogEntry model

Когда вы создадите новый класс модели вам будет необходимо вновь запустить syncdb.
Если вы внесли изменения в уже синхронизированное приложение, а именно в его модель, то syncdb НЕ внесет их в вашу БД, для этого используйте sqlall и другие sql* комманды:

python manage.py sqlall название_приложения (например: blog)

Или попробуйте расширение для Django Django Evolution (для этого необходимо его установить в вашу систему и добавить в INSTALLED_APPS — «django_evolution»).

Файл урлов

Для навигации по вашему проекту вам нужен роутер (URL диспетчер).
Отредактируем «/www/myproject/urls.py»:

# ~*~ coding: utf-8 ~*~

# импортируем админку
from django.contrib import admin

# Makes the patterns() function available
from django.conf.urls.defaults import *

# импортируем наши вьюхи (см. ниже описание файла вьюх)
from myproject.blog.views import main_page, get_post

# Above we used admin.autodiscover() to automatically load the INSTALLED_APPS admin.py modules
admin.autodiscover()

urlpatterns = patterns('',
# Если ничего не введено, то отдаем управление mainpage вьюхе
(r'^$', main_page),
# Если передан id поста, то отдаем управление get_post вьюхе
(r'^post/([0-9]{1,5})', get_post),
# Если введен /admin/, то идем в админку
(r'^admin/', include(admin.site.urls)),
)

Вы конечно можете отредактировать локальный для приложения «blog» — urls.py («/www/myproject/blog/urls.py»), но тогда вам надо будет импортировать «/www/myproject/blog/urls.py» в корневом «urls.py». Либо вы можете его определить в settings.py (ROOT_URLCONF).

Файл вьюхи

Ту роль, которую играет «Controller» в MVC, в Django играет роль View. Почему это так читайте тут.
Отредактируем «/www/myproject/blog/views.py»:

# ~*~ coding: utf-8 ~*~

# функция генерирующая 404 страницу
from django.http import Http404

# функция отрисовки страницы, принимающая путь до шаблона и данные помещенные в шаблон
from django.shortcuts import render_to_response

# наша модель
from myproject.blog.models import Post

def main_page (request):
# Получаем список постов
posts = Post.objects.all()
# отрисовываем
return render_to_response('list.html', {"posts": posts})

def get_post (request, post_id):
try:
# выбираем конкретный пост, pk - primary key
post = Post.objects.get(pk=post_id)
except Post.DoesNotExist:
# если такого поста нет, то генерируем 404
raise Http404

# отрисовываем
return render_to_response('single.html', {"title": post.title, "text": post.text})

Вывод в шаблоне

В Django очень мощный и гибкий шаблонизатор, у него даже есть аналог на PHP — Twig, что говорит о его удобстве (был бы неудобным — не копировали бы), хотя Twig по слухам сильно хуже.
Однако, есть более крутой шаблонизатор для Django — Jinja2, с более высокой производительностью и более гибкими возможностями. Описывать Jinja я не буду, ведь не это цель сего поста, поэтому делюсь только ссылочками:

С более полными возможностями Django Template вы можете познакомится на официальной странице.

В Django Template поддерживается наследование, поэтому мы напишем общий шаблон и будем его использовать base.html:

<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8" />
<title>{% block title %}Default{% endblock %} / MyProject</title>
</head>
<body>
{% block content %}
{% endblock %}
</body>
</html>

Шаблон вывода списка постов list.html:

{% extends "base.html" %}

{% block title %}List!{% endblock %}

{% block content %}
<ul style="list-style-type:none">
{% for post in posts %}
<li style="padding-left:10px;{% if forloop.counter0|divisibleby:"4" %}background-color:#E1F3C9{% endif %}">
<a href="/post/{{ post.id }}/">{{ post.title }}</a>
<p>{{ post.text }}</p>
</li>
{% endfor %}
</ul>
</div>
{% endblock %}

Шаблон вывода одной записи single.html:

{% extends "base.html" %}

{% block title %}{{ title }}{% endblock %}

{% block content %}
<h1>{{ title }}</h1>

<div>
{{ text }}
</div>
{% endblock %}

Nginx

Теперь настроим Nginx для того, чтобы запуская «manage.py runserver» нам не прописывать порт в URL и чтобы использовать нормальное имя хоста, хотя вы может вполне без это обойтись.
Но я очень рекомендую использовать Nginx.

server {
listen 80;
server_name myproject.loc;

location ^~ /admin-media {
alias /usr/local/lib/python2.6/dist-packages/django/contrib/admin/media;
}

location /static/ {
root /www/myproject/static/;
}

location ~* \.(jpg|jpeg|gif|png|ico|css|zip|js|swf)$ {
root /www/myproject/static/;
expires 7d;
}

location / {
proxy_pass http://127.0.0.1:8001/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

Добавить в «/etc/hosts» ваш хост:

127.0.0.1 myproject.loc

И перезагрузить Nginx:

# в новых версиях nginx можно послать сигнал
nginx -s reload

# или для ubuntu/debian через скрипт инициализации
service nginx restart
/etc/init.d/nginx restart

# или для freebsd
/usr/local/etc/rc.d/nginx restart

Запускаем веб-сервер проекта на 8001 порту, так как мы туда будем проксировать из Nginx:

cd /www/myproject
python manage.py runserver 8001

Теперь зайдите в админку (http://myproject.loc/admin/), введите вашу «root» учетку, которую создавали при syncdb.

Вы можете скачать архив с исходниками проекта тут

Вот мы и познакомились с первым приложение на Django, как я и обещал в начале этого поста следующая статья будет о ManyToMany, где мы подключим к нашему «Блогу» возможность создавать и выводить теги, а также расскажу более полно о возможностях моделях и ORM, View и о URL диспетере.

P.S. Пост дописывал в торопях, если найдете любые ошибки — обязательно отпишитесь в комментарии, спасибо!

Установка node.js на FreeBSD и использование под Nginx

adw0rd — Tue, 02 Feb 2010 14:55:17 +0000

Случайно нашел сайт nodejs.ru, полистал и добавил в ридер. Давно хотел попробовать node.js, но именно этот сайт стал той самой последней каплей в чаше желания и я решил незамедлительно попробовать node.js в действии.

Установка

Заходим на оф. сайт node.js и копируем ссылку на архив с сорцами.

# cd /tmp
# fetch http://s3.amazonaws.com/four.livejournal/20100120/node-v0.1.26.tar.gz
# tar -xzvf node-v0.1.26.tar.gz
# cd node-v0.1.26
# ./configure --prefix=/usr/local
# make && make install
# rehash

Если у вас не установлен libexecinfo, то:

# cd /usr/ports/devel/libexecinfo
# make install

Использование

Потестим для начала сам node, для этого создайте файлик example.js со следующим содержимым:

var sys = require('sys');
sys.puts('Hello, people!');

И запустите этот файлик:

# node example.js

Если нет ошибок, то можете продолжить и завязать node с nginx. А если есть ошибки — пишите в комментарии, помогу.

Использование с Nginx

Думаю у вас уже стоит Nginx, поэтому привожу сразу конфиг для нашего node.js хоста.
А если Nginx у вас НЕ установлен/настроен, то вам сюда.

...
location /nodejs/ {
proxy_pass http://127.0.0.1:8081/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
...

Далее, создадим скрипт server.js со следующим содержимым:

var sys = require('sys');
var http = require('http');

http.createServer(function (req, res) {
res.sendHeader(200, {'Content-Type': 'text/plain'});
res.sendBody('Hello, people!', 'utf8');
res.finish();
}).listen(8081);

sys.puts('Server running at port 8081');

Ну а теперь запустим сам бекенд и рестартанем nginx:

# node server.js
# /usr/local/etc/rc.d/nginx restart

Если вы запустите с ключом --debug, то вам станет доступен дебагер на tcp-порту 5858

#node --debug server.js

Заходим на http://localhost:8081/ и наблюдаем за результатом!

Резюме

Это вступительная статья, в ней ничего нет сложного. но чтобы опробовать node.js тут достаточно информации.
То, с чем я советую ознакомиться:

Посмотрите реализацию серверного компонента чата на node.js http://github.com/ry/node_chat/blob/master/server.js
Можно еще посмотреть бенчмарки http://four.livejournal.com/1019177.html
И почитать интересную статью Nginx + серверный Javascript

Легкая замена стандартного поиска в SMF на Sphinx

adw0rd — Thu, 30 Jul 2009 12:32:13 +0000

Потребовалась замена на ПыхоФоруме стандартного поиска на Sphinx, а также сделать нормальный поиск по пользователям. Для этого потребовалось установить Sphinx и движок для MySQL — SphinxSE.

Подготавливаем индекс

Пишем Sphinx-source:

source pyha_forum
{
type = mysql
sql_host = localhost
sql_user = pyha
sql_pass =
sql_db = pyha
sql_port = 3306
sql_sock = /tmp/mysql.sock

sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

sql_query = \
select ID_MSG, concat('user:',posterName) as posterName, subject, body \
from smf_messages

sql_query_info = select ID_MSG, posterName, subject, body from smf_messages where ID_MSG = $id
sql_ranged_throttle = 0
}

Поиск по пользователям реализован за счет «concat ('user:',posterName)». И достаточно в поисковую строку ввести «user:adw0rd php», чтобы найти все мои сообщения связанные с php на пыхе.

Пишем Sphinx-index:

index pyha_forum
{
source = pyha_forum
path = /var/sphinxsearch/pyha_forum
docinfo = extern
mlock = 0
morphology = stem_enru
min_word_len = 2
charset_type = utf-8
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
min_infix_len = 2
enable_star = 1
}

Далее, создаем таблицу для Sphinx'a:

CREATE TABLE `sphinx_smf_messages` (
`id` int(11) NOT NULL,
`weight` int(11) NOT NULL,
`query` varchar(3072) NOT NULL,
`group_id` int(11) DEFAULT NULL,
KEY `query` (`query`(1024))
) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/pyha_forum';

Подробнее о SphinxSE: http://adw0rd.ru/2009/mysql-sphinxse/

Меняем код в SMF

В /Source/Search.php (строка ~1377) ищем:

$request = db_query(
"SELECT " . (empty($search_params['topic']) ? 'lsr.ID_TOPIC' : $search_params['topic'] . ' AS ID_TOPIC') . ", lsr.ID_MSG, lsr.relevance, lsr.num_matches
FROM ({$db_prefix}log_search_results AS lsr" . ($search_params['sort'] == 'numReplies' ? ", {$db_prefix}topics AS t" : '') . ")
WHERE ID_SEARCH = " . $_SESSION['search_cache']['ID_SEARCH'] . ($search_params['sort'] == 'numReplies' ? "
AND t.ID_TOPIC = lsr.ID_TOPIC" : '') . "
ORDER BY $search_params[sort] $search_params[sort_dir]
LIMIT " . (int) $_REQUEST['start'] . ", $modSettings[search_results_per_page]", __FILE__, __LINE__);

и заменяем на

$request = db_query(
"SELECT `sm`.`ID_TOPIC`, `ssm`.`id` AS `ID_MSG`, 1000 AS `relevance`, 0 AS `num_matches`
FROM `sphinx_smf_messages` AS `ssm`
LEFT JOIN `smf_messages` AS `sm`
ON `ssm`.`id` = `sm`.`ID_MSG`
WHERE `ssm`.`query` = '".$context['search_params']['search'].";weights=1,2,3'
LIMIT " . (int) $_REQUEST['start'] . ", $modSettings[search_results_per_page]", __FILE__, __LINE__);

Вот и все, без лишних усложнений мы решили задачу! Если кто знаком с сорцами SMF — то понимает на сколько данное решение оказалось легким ;)

UP[2010-Feb-11]: Обновленная версия поиска:

$searchQuery = preg_replace('/[^[a-z][а-я]\s\d_-]+/iu', ' ', $context['search_params']['search']);
$searchQuery = $searchQuery ? $searchQuery : '*';

$request = db_query(
"SELECT `sm`.`ID_TOPIC`, `ssm`.`id` AS `ID_MSG`, 1000 AS `relevance`, 0 AS `num_matches`
FROM `sphinx_smf_messages` AS `ssm`
LEFT JOIN `smf_messages` AS `sm`
ON `ssm`.`id` = `sm`.`ID_MSG`
WHERE `ssm`.`query` = '".$searchQuery.";index=pyha_forum,pyha_forum_delta;weights=30,20,10,5;offset=".intVal($_REQUEST['start']).
";limit={$modSettings['search_results_per_page']};maxmatches=1000;mode=extended;groupby=day:created;sort=extended:@weight desc, created desc'",
__FILE__, __LINE__
);

Если вы в недоумении что за «pyha_forum_delta», то читайте Sphinx. Для чего нужны дельта-индексы и как их готовить?

Sphinx. Установка PHP расширения pecl-sphinx

adw0rd — Sun, 28 Jun 2009 23:35:12 +0000

Как я и обещал в статье «Sphinx. Установка, настройка и использование поискового движка», расскажу как поставить расширение для PHP, дабы не инклудить файл «sphinxapi.php».

Сначала соберем «libsphinxclient»:

# fetch http://www.sphinxsearch.com/downloads/sphinx-0.9.8.1.tar.gz
# tar -xzf sphinx-0.9.8.1.tar.gz
# cd sphinx-0.9.8.1
# chmod -R 777 *
# cd ./api/libsphinxclient/
# ./buildconf.sh
# ./configure && make install

Теперь установим PECL-расширение:

# cd sphinx-0.9.8.1/api/libsphinxclient/
# pecl install sphinx

Когда спросит про «libsphinxclient», просто согласитесь с умолчанием, так как вы в том же каталоге где собирали «libsphinxclient», то он сам подцепится.

После установки, надо прописать модуль в «php.ini» или в «php/extensions.ini»:

# echo "extension=sphinx.so" >> /usr/local/etc/php/extensions.ini
# cat /usr/local/etc/php/extensions.ini

Получится что-то вроде:

extension=mbstring.so
extension=simplexml.so
extension=spl.so
extension=mysql.so
....
extension=sphinx.so

Перезагружаем индейца и в бой! :)

# apachectl restart

Sphinx. Установка, настройка и использование поискового движка

adw0rd — Mon, 15 Jun 2009 01:52:22 +0000

Не так давно, я написал статью «FreeBSD. Установка и настройка Яндекс.Сервер» и пообещал в комментариях рассказать про поисковый движок Sphinx. Это одна из трех запланированных статей про этот замечательный поисковый движок, в следующих статьях расскажу про расширение для PHP и расширение для MySQL.

Операционная система, в которой будем производить установку и настройки — FreeBSD, но так же буду давать советы и для Windows-пользователей.

В качестве примера, будем разрабатывать поиск для моего блога на WordPress. Для самых не терпеливых, вот демонстрация работы поисковика http://demo.adw0rd.ru/sphinxsearch/.

Установка

Установка достаточно простая

# cd /usr/ports/textproc/sphinxsearch
# make config

Выбираем:

«mysql», если вы пользуетесь данной СУБД и хотите работать с данными непосредственно из Sphinx
«iconv» для поддержки разных кодировок

# make install

Вот и все, установка завершена!

Скачать исходники и Windows-версии можно тут: http://sphinxsearch.com/downloads.html.

После скачки Windows-версии, достаточно распаковать архив и указать в системной переменной «Path» полный путь до каталога \sphinx\bin.

Настройка

До начала поиска надо проиндексировать вашу информацию, создадим наш конфигурационный файл и укажем что и как индексировать, а также как отдавать результаты поиска.

Создадим конфигурационный файл для нашего поиска по блогу /home/sphinx/sphinx.conf:

source adw0rd_wp
{
# Параметры подключения к БД
type = mysql
sql_host = localhost
sql_user = user
sql_pass = password
sql_db = database_name
sql_port = 3306

# Установим кодировку для работы с БД
sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

# Запрос выборки данных для индексации
sql_query = SELECT ID as post_id, post_title, post_content FROM wp_posts WHERE post_type = 'post'

# Запрос доп. информации для вывода результата (используется утилитой "search")
sql_query_info = SELECT * FROM wp_posts WHERE ID = $id

# Время простоя (sleep) перед посылкой запросов серверу (предназначен для разгрузки сервера БД)
# Если установите "= 1000", то засыпание будет длится 1 секунду
sql_ranged_throttle = 0
}

index adw0rd_wp
{
# Использовать соответствующий source-блок настроек при индексации
source = adw0rd_wp

# Путь до файлов индекса
path = /home/sphinx/data/adw0rd_wp

# Способ хранения индекса (none, inline, extern)
# Подробнее http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-docinfo
docinfo = extern

# Memory lock (http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-mlock)
mlock = 0

# Использование английского и русского стемминга
morphology = stem_enru

# Минимальная длина индексируемого слова
min_word_len = 2

# Установка используемой кодировки
charset_type = utf-8

# Таблица символов (http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-charset-table)
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F

# Минимальная длина инфикса (префикс в том числе)
min_infix_len = 2

# Использовать оператор усечения "*" (http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-enable-star)
enable_star = 1
}

indexer
{
# Максимальный лимит используемой памяти RAM
mem_limit = 32M
}

searchd
{
# Адрес сервера
address = 127.0.0.1

# Порт
port = 3312

# Лог
log = /home/sphinx/log/searchd.log

# Лог запросов
query_log = /home/sphinx/log/query.log

# Таймаут на соединение с сервером (в секундах). При истечении времени происходит обрыв
read_timeout = 5

# Максимальное кол-во потомков от процесса
max_children = 30

# Путь до pid-файла
pid_file = /home/sphinx/log/searchd.pid

# Максимальное кол-во результатов выдачи
max_matches = 1000
}

Полная документация: http://www.sphinxsearch.com/docs/.

Разберем используемые нами SQL-запросы:

# Запрос выборки данных для индексации
sql_query = SELECT post_title, post_content FROM wp_posts WHERE post_type = 'post'

Тут мы выбираем заголовки и содержимое статей таблицы постов блога, при этом надо указать что типа поста — «post» (это та самая версия поста, которая считается опубликованной и текущей, так как есть еще ревизионные подверсии постов).

# Запрос доп. информации для вывода результата (используется утилитой "search")
sql_query_info = SELECT * FROM `wp_posts` WHERE `ID` = $id

Этот запрос применяется для вывода дополнительных данных результатов поиска используемый утилитой коммандной строки «search».

Индексация

Укажем в качестве конфига созданный нами конфигурационный файл:

# indexer --config /home/sphinx/sphinx.conf --all

Для обновления текущего индекса используйте «--rotate», он добавит к созданному индексу новые данные, а измененные соответственно изменит.

# indexer --config /home/sphinx/sphinx.conf --rotate

P.S. Если индексация не удалась, пишите комментарии к статье, посмотрим что случилось... :)

Использование поиска

Для поиска в консоли есть утилита «search»:

# search –-config /home/sphinx/sphinx.conf искомая комбинация

Запуск поискового сервера

Для работы с поисковым сервером, нам надо его запустить:

# searchd –-config /home/sphinx/sphinx.conf

Далее, мы сможем использовать Sphinx API.

Использование Sphinx API для PHP

Для работы со Sphinx API необходимо подключить файл sphinxapi.php, вы можете найти эту библиотеку в поставке с дистрибутивом. Например для установки из портов FreeBSD — путь «/usr/ports/textproc/sphinxsearch/work/sphinx-0.9.8.1/api/sphinxapi.php», а для Windows — «sphinx\api\sphinxapi.php».

А теперь напишем скрипт для работы с проиндексируемыми данными поисковика, то есть для запросов искомых слов и вывода результатов поиска!

Sphinx search for Wordpress

if(isset($_GET['s']) and strlen($_GET['s']) > 2) {

// Подключаем sphinx-api
require_once ("sphinxapi.php");

// Искомая комбинация
$string = $_GET['s'];

// Создаем объект клиента для Sphinx API
$sphinx = new SphinxClient();

// Подсоединяемся к Sphinx-серверу
$sphinx->SetServer('localhost', 3312);

// Совпадение по любому слову
$sphinx->SetMatchMode(SPH_MATCH_ANY);

// Результаты сортировать по релевантности
$sphinx->SetSortMode(SPH_SORT_RELEVANCE);

// Задаем полям веса (для подсчета релевантности)
$sphinx->SetFieldWeights(array ('post_title' => 20, 'post_content' => 10));

// Результат по запросу (* - использование всех индексов)
$result = $sphinx->Query($string, '*');

// Если есть результаты поиска, то
if ($result && isset($result['matches']))
{

// Соединяемся с БД
mysql_connect('localhost', 'user', 'password');
mysql_select_db('adw0rd_wp');

// Устанавливаем кодировки
mysql_query('SET NAMES utf8');
mysql_query('SET CHARACTER SET utf8');

// Получаем массив ID постов блога
$ids = array_keys($result['matches']);

// Выводим посты отсортированные по релевантности
$id_list = implode(',', $ids);
$sql = '
SELECT `ID`, `post_title`, `post_content`
FROM `wp_posts`
WHERE `ID` IN ('.$id_list.')
ORDER BY FIELD(`ID`, '.$id_list.')';

$resource = mysql_query($sql);

// Выводим результаты поиска
echo '

;

while

(

$result

mysql_fetch_assoc

(

$resource

)

{

echo

.$result['ID'].'">'.$result['post_title'].'

'.mb_substr(htmlspecialchars($result['post_content']), 0, 400).'

';
}
echo '

';
}
}
?>

Документация по Sphinx API для PHP: http://www.sphinxsearch.com/wiki/doku.php?id=php_api_docs

Резюме

За короткое время нам удалось развернуть быстрейший «поисковый сервис своими руками», с возможностями полнотекстового поиска. Демонстрация работы: http://demo.adw0rd.ru/sphinxsearch/.

По всем вопросам, касающемся этой статьи пишите в комментарии.

P.S. Если вам не знакомы слова: «стемминг», «инфикс», «словоформа» и т.д., то существует проект Википедия, в которой можно с легкостью об этом узнать!

Видеосервис своими руками и организация псевдостримминга

adw0rd — Wed, 03 Jun 2009 01:07:02 +0000

Сегодня я расскажу как работают «видеохостинги» и мы разработаем свой «видеосервис» для закачивания видео-файлов, с последующим конвертирование и созданием картинки для превью. Далее организуем показ во флеш-плеере и эмулируем стримминг (для перемотки на не загруженные части видео-файла).

Для всего этого нам понадобиться:

Флеш-плеер для проигрывания видео-файлов — flowplayer
Программа для конвертирования видео-файлов — ffmpeg
Расширение PHP для получения превью-изображения — php-ffmpeg и библиотека для работы с графикой — GD
Эмуляция потокового видео (псевдостримминг) с помощью утилиты yamdi, модуля для nginx — http_flv_module и плагина для flowplayer — flowplayer.pseudostreamming

Серверная ОСь по традиции — FreeBSD.

Установка необходимых нам утилит

ffmpeg

Для того чтобы конвертировать видео, нам необходимо установить утилиту ffmpeg. Есть еще аналогичная утилита — mencoder, тоже очень хорошая, но ffmpeg более популярен, поэтому именно его буду сейчас использовать. Эти утилиты с переменным успехом конкурируют между собой, поэтому также рекомендую посмотреть на mencoder в свободное время.

# cd /usr/ports/multimedia/ffmpeg
# make config

и выбираем LAME (lame MP3 codec)

# make install

Windows сборки ffmpeg: http://ffmpeg.arrozcru.org/builds/

yamdi

Далее, необходимо установить утилиту yamdi, которая вшивает мета-данные в видео-файл. Мета-данные необходимы для индексирования файла, то есть для того, чтобы можно было в еще не скачанном (не буферизированном) файле при перемотке перемещаться по индексам.

# cd /usr/ports/multimedia/yamdi
# make install

nginx

Теперь подошло время для nginx, который будет отдавать индексируемый (с помощью yamdi) видео-файл. На его месте может быть и lighttpd или еще какой-нибудь другой веб-сервер. Но я поддержу отечественного производителя! :)

# cd /usr/ports/www/nginx
# make config

и выбираем HTTP_FLV_MODULE, далее

# make install

Ну или просто при установке укажите опцию «--with-http_flv_module».

nginx-0.7.52. Теперь и под Windows: http://rmcreative.ru/blog/post/nginx-0.7.52-teper-i-pod-windows

Можно конечно использовать в качестве бекенда — PHP, например с помощью такого кода:

$start = (int) @$_GET['position'];
if ($start < 0) die("You fucking idiot");
// open file for reading
$fp = fopen($file, 'r+');
$fsize = filesize($file);
if ($start > 0)
{
// seek to requested position
fseek($fp, $start);
// FLV header for the movie part. Magic. Just trust me.
// Header code is completely taken from flv4php project
$header = "FLV" . pack('C', 1 ) . pack('C', 5 ) . pack('N', 9 ) . pack('N', 9 );
header("Content-Length: " . (strlen($header) + $fsize - $start));
echo $header;
} else {
header("Content-Length: " . $fsize);
}
set_time_limit(0);
while(!feof($fp)) {
print(fread($fp, 1024));
usleep(1000);// limit download speed
}
fclose($fp);

Но мне удобнее использовать для этого модуль nginx'а, да и быстрее будет, имхо.

php5-ffmpeg

Это расширение PHP нам понадобиться для того чтобы получать информацию о видео-файле, а также для получения видео-фрейма для превью. Также необходимо установить библиотеку GD и сам PHP в частности.

# cd /usr/ports/graphics/php5-ffmpeg
# make install

php5-ffmpeg для Windows: http://pyha.ru/forum/attachment/1256/1317.0 и http://pyha.ru/forum/attachment/1257/1317.0

Можно конечно получать информацию путем обращения к

# ffmpeg -i /path/filename.flv

и делать превью

# ffmpeg -i /path/filename.flv -an -ss ВРЕМЯ_ПОЗИЦИИ_В_СЕКУНДАХ -r 1 -vframes 1 -s 320x240 -y -f mjpeg /path/filename.jpg

Но мне нравиться использовать расширение, это удобнее, имхо.

И перегрузите apache или nginx, смотря как вы используете PHP.

Конвертирование видео и получение изображения для превью

Для начала нам надо указать путь до исходного и результирующего файлов, прописать пути до превью-файлов, а также указать минимальную позицию фрейма для создания превью.

// Путь до залитого видео-файла, например временный файл полученный по $_FILES['tmp_file']
$inputPath = $_FILES['tmp_file'];

//Путь до результирующего файла, то есть отконвертированный и прошитый мета-данными видео-файл
$outputPath = "/path/video/filename.flv";

// Указываем минимальную позицию фрейма для захвата превью
$previewFrameMin = '3';

// Путь до превью-файла
$previewPath = "/path/preview/filename.jpg";

// Путь до мини-превью
$previewMiniPath = "/path/preview/filename_mini.jpg";

// Массив для сбора ошибок
$errorInfo = array();

Конвертируем исходный файл во временный, в формате FLV и разрешением 320×240, использую в качестве аудио-кодека mp3lame с частотой 44100, остальные настройки по умолчанию. Временный файл нужен для того, чтобы yamdi смог вшить мета-данные, так как он не может вшить в исходный файл.

/*
* Конвертируем FLV во временный файл ($outputPath . '_temp').
*/
passthru(
'/usr/local/bin/ffmpeg -i ' . escapeshellarg($inputPath) .
' -f flv '.
' -s 320x240 '.
' -acodec libmp3lame '.
' -ar 44100 '.
escapeshellarg($outputPath . '_temp'),
$errorInfo['ffmpeg']
);

Прошиваем в видео-файл мета-данные для индексирования. Утилита yamdi написана на Си и работает очень быстро! А также удаляем временный файл.

/*
* Прошиваем metadata (позиции ключевых фреймов) для перемотки
*/
passthru(
'/usr/local/bin/yamdi -i ' . escapeshellarg($outputPath . '_temp') .
' -o ' . escapeshellarg($outputPath),
$errorInfo['yamdi']);

/*
* Удаление временного файла, он нам уже не нужен...
*/
unlink($outputPath . '_temp');

Теперь получаем информацию о видео-файле и получаем объект фрейма для превью.

/*
* С помощью расширения php5-ffmpeg получаем информацию о видео-файле
*/
$movie = new ffmpeg_movie($outputPath);

/*
* Вычисляем время воспроизведения видеофайла
*/
$duration = $movie->getDuration();

/*
* Вычисляем количество кадров
*/
$frameCount = $movie->getFrameCount();

/*
* Вычисляем позицию фрейма для его захвата
*/
$framePosition = ($frameCount > $previewFrameMin) ? $frameCount / 2 : $previewFrameMin;

/*
* Получаем объект фрейма для превью
*/
$preview = $movie->getFrame($framePosition);

А теперь получим и сохраним наши превьюшки.

/*
* Записываем в файл - Превью (320x240)
*/
imagejpeg ($preview->toGDImage(), $previewPath);

/*
* Записываем в файл - Мини-превью (160x120)
*/

$previewMini = imagecreatetruecolor(160, 120);

$r = imagecopyresized(
$previewMini,
$preview->toGDImage(),
0, 0, 0, 0,
160, 120,
320, 240
);

imagejpeg($previewMini, $previewMiniPath);

Все, файл отконвертирован в FLV и прошит мета-данными, также созданы превью, теперь займемся выводом видео-файла — клиенту.

Плеер и показ видео

Почему flowplayer?

Сначала нам понадобится флеш-плеер, умеющий проигрывать видео в формате FLV и показывать картинки в формате JPEG (для превью).

Из всех аналогов (смотрите ниже, в «Полезные ссылки -> Видео-плееры») мне больше всего понравился flowplayer, он:

Кроссбраузерный и очень гибкий, и удобный в настройке
Бесплатный для некоммерческого использования, а коммерческая версия стоит его возможностей!
Имеет Flash и Javascript API, также поддерживает библиотеку JQuery (там доп. фишки какие-то)
Имеет кучу полезных плагинов
Умеет работать со стриммингом и псевдостриммингом
Легко поменять шаблоны оформления и языковые шаблоны для настройки локализованного интерфейса
Обширная документация, имеет достаточно большое сообщество в собственном форуме, а также оказывает бесплатную поддержку для коммерческой версии
Поддерживает плейлисты и имеет полноэкранный режим
Поддерживаемые форматы: FLV, SWF, MP3, MP4, H.264 video, JPG, PNG
Сырцы открыты!

Остальное описание возможностей на официальном сайте: http://flowplayer.org/

Настройка flowplayer

С плеером мы определились, теперь надо его настроить для показа видео. В дистрибутив плеера входит:

flowplayer-3.1.1.swf — сам плеер
flowplayer.controls-3.1.1.swf — flash-controls
flowplayer-3.1.1.min.js — это так называемый js-api

Для реализации псевдо-стримминга нам не хватает flowplayer.pseudostreaming-3.1.2.swf, который можно скачать и ознакомиться с использованием тут: http://flowplayer.org/plugins/streaming/pseudostreaming.html.

Для работы со всеми видами стриминга есть титуриал: http://flowplayer.org/documentation/configuration/streaming.html

Итак, приступим:

Все опции указанные в настройках можно посмотреть тут: http://flowplayer.org/documentation/configuration/clips.html

Настройка http_flv_module

Теперь настроим nginx на отдачу файла со смещением, для эмуляции стримминга.

location ~ \.flv$ {
flv;
root /path/video;
}

То есть, говорим nginx'у чтобы он для расширения «flv» использовал модуль http_flv_module и указываем в root путь до видео-файлов. Документация по http_flv_module: Директивы модуля ngx_http_flv_module

Ну вот и все, теперь у вас полноценный «видеосервис»!

Полезные ссылки

ffmpeg
Работа с видео на php с помощью php ffmpeg
Продвинутый метод воспроизведения flash-видео на веб-страницах (или эмулируем стрим-видео)
Наносим водяной знак на видео с помощью ffmpeg
Как же работают видеохостинги? Часть первая. Сборка.
Как же работают видеохостинги? Часть вторая. Ffmpeg.

Видео-плееры
Подборка видео-проигрывателей на флэше
Видео и аудио плееры для сайтов
Идеальный видео-плеер
Идеальный видеоплеер. Не утопия

Eclipse плагин subclipse для работы с SVN (Subversion)

adw0rd — Thu, 28 May 2009 22:32:20 +0000

Надоело использовать TortoiseSVN и я решил попробовать попользоваться плагином для Eclipse — subclipse, дабы интегрироваться одним комбайном :)

По этой ссылке расположено официальное руководство и там рассказывается про установку на старые версии Eclipse, а я покажу как поставить на Eclipse 3.4.2 и Subversion 1.5.5.

Установка

Заходим в Help -> Software Updates... -> Available Software, нажимаем по «Add Site...» и вбиваем в «Location» следующее:

http://subclipse.tigris.org/update_1.6.x

Далее отмечаем необходимые пункты:

Устанавливаем и перегружаем Eclipse...

У меня была проблема, пока не включил в установку «Subversion JavaHL Native Library Adapter» — не работал svn-client и Eclipse посылал на все 3 буквы! Так что не забудьте его включить в список установки! «Revision Graph» — можете отключить, если вам ненужен, я так понял это для построения графа ревизий...

Использование

Создаем новую перспективу:
Windows -> Open Perspective -> Other ->SVN Repository Exploring

Заходим в перспективу и создаем новый локейшен:
New -> Repository Location...

Вставляем URL вашего репозитория:

После чего вызываем контекстное меню вашего созданного подключения и выбираем «Checkout», далее вписываем имя проекта, у меня «pyha.loc» (будет создан одноименный каталог):

Жмем по «Next» и указываем «Workspace Location», у меня это c:\WebServer\home и там находятся все веб-проекты:

Нажимаем «Finish» и после чекаута у нас доступен проект в других перспективах, а в «c:\WebServer\home» создан каталог «pyha.loc»!

Для работы с SVN-репозиторием надо вызвать контекстное меню проекта той перспективы, в которой вы работаете (например PDT или Java) и выбрать «Team», а для настройки плагина зайти в Preferences -> Team -> SVN.

Java. Наша первая программа

adw0rd — Wed, 20 May 2009 00:14:06 +0000

Продолжение статьи «Java. Установка среды разработки и Eclipse IDE», в которой мы напишем нашу первую программу на языке Java.

В Java для работы с объектами используются ссылки на объекты. Объекты хранятся в куче (пул памяти общего назначения, по скорости уступает стеку), а данные с примитивным типом хранятся в стеке (область хранения данных в RAM, обращение к данным происходит по указателю стека).

String x = "test";

В x храниться ссылка на объект String со значением «test».

Объекты из кучи удаляются сами, сборщиком мусора, так что делать это явно нет необходимости.

Типы данных

В Java существую так же и примитивные типы данных: boolean, char, byte, short, int, float, long, double и void. Данные этих типов хранятся в стеке. Все числовые значения являются знаковыми!

Остальные типы данных являются классами (String, Character и т.д.) и производные их объекты хранятся в куче.

Класс и члены класса

Имя класса должно начинаться с заглавной буквы. Имена методов и свойств (переменных класса) должны начинаться в нижнем регистре, за исключением конструктора класса, который имеет одинаковое имя с именем класса.

UPD: Все что сказано выше, касается стиля, никто вам не запретит начинать имя класса с прописной буквы...

public class TestClass
{
public static void main(String[] args)
{
testMethod();
}

public static void testMethod ()
{
System.out.print("Date: " + new Date());
}

int x = 1;
double y;
}

public class TestClass2
{
public TestClass2() {
// Конструктор
}
}

Статический метод main запускается первым, это так называемая точка входа программы.

Конструктор никогда ничего не возвращает! Он необходим для инициализации объекта.

Статические члены класса в Java принято вызывать в таком виде:

Class.function() и Class.var

а для нестатических членов класса не доступна возможность обращаться к членам по имени класса, доступна только при обращению к объекту:

Class var = new Class();
Class.method(); // не доступно
var.method(); // доступно

Инкапсуляция

Сокрытие данных осуществляется при помощи трех ключевых слов:

public — член класса доступен для всех
private — доступ к члену имеют только члены класса
protected — доступ имеют как члены класса, так и потомки этого класса (см. наследование)

Пример нашей программы

Так как для работы нам нужно подключать пакеты (библиотеки классов), например для работы с датой, то необходимо использовать ключевое слово import.

import java.util.*;

/**
* Класс вывода текущей даты
* @author adw0rd
*/
public class JavaTest
{

/**
* @param args
* @return Date Stamp
*/
public static void main(String[] args)
{
System.out.print("Date: " + new Date());
}

}

Жмем в Eclipse — Ctrl+F11 (или Run->Run) и запускаем программу, в окне Console выведется текущая дата и время. При сохранении файла, Eclipse откомпилирует его вновь, если в коде нет ошибок.

Так же можно откомпилировать через javac.exe и запустить через java.exe, вам решать, но мне удобнее работать в IDE.

/**
* @author ИмяАвтора (И дополнительная информация, например e-mail)
* @see ИмяКласса (Ссылка на другие классы)
* @version Версия
* @param Входные параметры метода
* @return Описание того, что возвращает метод
*/

На сегодня все, в следующий раз рассмотрим основные и условные операторы, а также циклы в Java.

Java. Установка среды разработки и Eclipse IDE

adw0rd — Wed, 20 May 2009 00:13:09 +0000

Решил изучить Java и заодно написать ряд статей «Java. Изучаем вместе!», может кому пригодится. Изучаю этот замечательный язык по книгам подаренных девушкой на день Святого Валентина.

Я не собираюсь перепечатывать эти книги, по мере надобности буду освещать некоторые аспекты языка и сред разработки.

Итак, преступим! Для работы нам понадобится JDK и среда разработки Eclipse.

Установка JDK

Java Development Kit, сокращенно JDK — бесплатно распространяемый фирмой Sun комплект разработчика приложений на языке Java, включающий в себя компилятор Java (javac), стандартные библиотеки классов Java, примеры, документацию, различные утилиты и исполнительную систему Java (JRE). В состав JDK не входит интегрированная среда разработки на Java (IDE), поэтому разработчик, использующий только JDK, вынужден использовать внешний текстовый редактор и компилировать свои программы, используя утилиты командной строки.

http://ru.wikipedia.org/wiki/JDK

Качаем JDK и устанавливаем. Я качал дистрибутив «JDK 6 Update 13 with Java EE».

Пропишем путь до исполняемых файлов среды разработки в системную переменную PATH, если не указали установщику чтобы он сам прописал их туда. У меня такой путь:

C:\Program Files\Sun\SDK\jdk\bin

После установки нам доступны утилиты javac.exe — для компиляции нашей программы и java.exe для исполнения откомпилированной программы.

#> javac JavaTest.java
#> java JavaTest.class

Установка Eclipse IDE

У меня была установлена сборка Eclipse PDT2 для работы с PHP, а также Spket для работы с JavaScript. Я доустановил набор плагинов Java Development через Help -> Software Updates… -> Available Software.

После чего перезагрузил Eclipse и выбрал перспективу Java. Далее New -> Java Project и заполнил все необходимые поля. В появившемся проекте, щелкнул по «src», создал класс (New -> Class) и заполнил необходимы поля.

Все, готово, приступим к созданию нашей первой программы!

Eclipse плагин RSE для работы с FTP и SFTP

adw0rd — Tue, 19 May 2009 20:40:38 +0000

Понадобилась возможность работать с SFTP в Eclipse. Погуглив наткнулся на статью «Работа с FTP через Eclipse», человек очень расхваливал плагин Remote System Explorer (RSE). Я заинтересовался и решил установил себе этот плагин!

Установка

У меня версия Eclipse 3.4.2, поэтому ставим через Help -> Software Updates... -> Available Software и вбиваем в фильтр «rse».

После чего отмечаем пункты:

RSE User Actions
RSE FTP Services
RSE SSH Services

Далее «Install» и соглашаемся с лицензионными соглашениями. Перегружаемся и все, установка завершена!

Использование

Выбираем перспективу «Remote System Explorer perspective» и создаем новое подключение (New Connection), вбиваем параметры для подключения и пользуемся с удовольствием!

Более подробно:

Выбираете перспективу «Remote System Explorer», далее щелкаете правой клавишей мыши в окне «Remote Systems» (если такого окна у вас нет, то «Window -> Show View -> Remote Systems» и оно отобразится) и выбираете «New -> Connection...».

Далее, выбираете тип подключения, для sftp — «SSH Only», а для ftp — «FTP Only».
Нажимаете «Next», после чего вбиваете «Host» и указываете имя и описание для вашего подключения.

После чего в «Remote Systems» выбираете созданное вами подключение и разворачиваете дерево подключения, или кликаете правой клавишей мыши по подключению и выбираете в контекстном меню пункт «Connect». В этот момент, если необходимо указать логин/пароль RSE у вас его спросит.

Если у вас не стандартный порт, например для ssh не 22, а 2244, то вы можете сменить порт в «Show in table» (Правой клавишей мыши по подключению и выбираете «Show in table»).

При сохранении файла, плагин заливаете файл на сервер. И еще, если Eclipse жалуется на секурность, то скорее всего проблема в правах на файлы.

Мастерская интернет-разработчика » Программирование

Django. Первое приложение

Устанавливаем Django

Для Ubuntu:

Для FreeBSD

Создаем наш первый проект

Создаем наше первое приложение

Файл модели

Файл урлов

Файл вьюхи

Вывод в шаблоне

Nginx

Установка node.js на FreeBSD и использование под Nginx

Установка

Использование

Использование с Nginx

Резюме

Легкая замена стандартного поиска в SMF на Sphinx

Подготавливаем индекс

Меняем код в SMF

Sphinx. Установка PHP расширения pecl-sphinx

Sphinx. Установка, настройка и использование поискового движка

Установка

Настройка

Индексация

Использование поиска

Запуск поискового сервера

Использование Sphinx API для PHP

Резюме

Видеосервис своими руками и организация псевдостримминга

Установка необходимых нам утилит

ffmpeg

yamdi

nginx

php5-ffmpeg

Конвертирование видео и получение изображения для превью

Плеер и показ видео

Почему flowplayer?

Настройка flowplayer

Настройка http_flv_module

Полезные ссылки

Eclipse плагин subclipse для работы с SVN (Subversion)

Установка

Использование

Java. Наша первая программа

Типы данных

Класс и члены класса

Инкапсуляция

Пример нашей программы

Комментарии

Java. Установка среды разработки и Eclipse IDE

Установка JDK

Установка Eclipse IDE

Eclipse плагин RSE для работы с FTP и SFTP

Установка

Использование