Мастерская интернет-разработчика » Программирование

Доступ к Wikipedia на время действия экрана SOPA

adw0rd — Wed, 18 Jan 2012 13:43:32 +0000

По просьбе моего друга решил запостить этот пост, вдруг кому пригодится!

Википедия сегодня, 18 Января 2011 года, протестует против SOPA и закрыла доступ к контенту.

Но при желании можно все равно этот контент посмотреть. Википедия никуда не убрала контент, она просто добавила на каждую страничку новый div, который и содержит слой с информацией про протест против SOPA. А также добавила стиль display=none к слоям с контентом.

Все это дело легко отключается следующим скриптом (я написал его за 1-2 минуты), который выполняется из консоли Chrome или Firefox:

var jq = document.createElement('script');
jq.src = "https://ajax.googleapis.com/ajax/libs/jquery/1.6.2/jquery.min.js";
document.getElementsByTagName('head')[0].appendChild(jq);
$('#mw-sopaOverlay').remove();
$('#content').show();

Все элементарно: первые три строчки подключают jquery, 4-я строчка удаляет слой SOPA, 5-я строчка показывает слой с контентом.

Можно этот скрипт повесить на Greaemonkey, и тогда автоматически вся википедия будет нормально показываться, как и прежде.

И да, я поддерживаю их протест против SOPA. Просто иногда нужно срочно получить информацию, даже если она скрыта.

Автор: Ivan, 18 января 2012 16:18.
Оригинал: http://jdevnotes.blogspot.com/2012/01/wikipedia-sopa.html

Андрей Аксенов: “Как готовить Sphinx” / мастер-класс, Киев, 18-ое июня

adw0rd — Wed, 01 Jun 2011 19:28:24 +0000

В субботу, 18-го июня в Киеве пройдет мастер-класс создателя движка полнотекстового поиска Sphinx Андрея Аксенова ”Как готовить Sphinx”.

Мастер-класс будет интересен разработчикам, руководителям и владельцам проектов, которые сталкиваются с проблемой поиска при высоких нагрузках.

Sphinx используют такие монстры, как CraigsList, DailyMotion, Meetup, HupPages, HabraHabr и еще десятки высоконагруженных сайтов такие как Кинсбург. Андрей Аксенов выступал на многочисленных конференциях в России: “DevPoint 1-2″, “РИТ”, “DevConf 2011″, “HighLoad ++”. Организатор конференции пользователей Sphinx в Москве. Автор нашумевшего доклада “Как прекратить писать”.

Дополнительная информация и подробный план мастер-класса можно посмотреть на сайте http://www.smartme.com.ua/sphinx-workshop/

FreeBSD. XHProf для анализа производительности PHP

adw0rd — Wed, 24 Nov 2010 23:00:20 +0000

Решил я воспользоваться утилитой для профилирования производительности веб-приложения XHProf от Facebook. И она мне так понравилась, что я решил написать про неё небольшой пост.

Утилита проводит анализ работы сайта, выводит информацию о использование каждой функции на пути работы приложения (например, загрузки определенной страницы сайта), а именно: количество вызовов определенной функции, затраченное время, кол-во потребляемой памяти и ресурсов процессора.

Профилирование — сбор характеристик работы программы, таких как время выполнения отдельных фрагментов (обычно подпрограмм), число верно предсказанных условных переходов, число кэш промахов и т. д. Инструмент, используемый для анализа работы, называют профилировщиком. Обычно выполняется совместно с оптимизацией программы.

Профилирование в Wikipedia

Данные выводятся в виде таблицы:

Так же она может отрисовать граф с помощью GraphViz, но для этого он должен быть предварительно собран в системе (об этом ниже):

XHProf представляет собой pecl-расширение для PHP, написана она на си, поэтому достигается высокая с ее стороны производительность и ее можно использовать на продакшен сервере для анализа реальных данных.

Установка

Я собирал расширение из сорцов, для этого заходим на страницу расширения и качаем необходимую нам версию, у меня это xhprof-0.9.2:

cd /tmp
fetch http://pecl.php.net/get/xhprof-0.9.2.tgz
tar -xzf xhprof-0.9.2.tgz
cd xhprof-0.9.2/extension/
phpize
./configure --with-php-config=/usr/local/bin/php-config
make && make install

Пропишите расширение в php.ini или в php/extensions.ini:

extension=xhprof.so

Вы можете поставить расширение XHProf из портов (/usr/ports/devel/pecl-xhprof/).
В мае, когда я практически написал эту статью, его ещё там небыло.

Укажите в php.ini каталог, который будет играть роль хранилища ваших данных:

[xhprof]
xhprof.output_dir=/usr/local/xhprof/out

Ну и создать его тоже надо, естественно:

mkdir -p /usr/local/xhprof/out

XHProf UI

Теперь настроим веб-интерфейс XHProf, для этого скопируем сорцы в свой каталог:

mkdir /usr/local/xhprof/
cp -R /tmp/xhprof-0.9.2/ /usr/local/xhprof/

И пропишем новый хост в nginx:

server {
listen 80;
server_name xhprof.test;
charset utf8;
root /usr/local/xhprof/xhprof_html;
index index.php;

location ~ \.php$ {
fastcgi_pass php-fpm;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
}

Перезагружаем nginx:

nginx -s reload

А в локальном файле hosts завяжем домен:

123.45.67.89 xhprof.test

Где «123.45.67.89» — ip машины на которой стоит XHProf, то есть где мы его только что устанавливали.

Собираем Graphviz

Для построение визуализации соберем Graphviz (крайне рекомендую это сделать, будет намного нагляднее).

cd /usr/ports/graphics/graphviz
make install clean

Собираем Ctype

Вам так же может понадобится Ctype

cd /usr/ports/textproc/php5-ctype
make install clean

Настройка

Теперь настроим XHProf так, чтобы он профилировал только когда у нас установлена специальная кука. Для это создадим два файла «/usr/local/xhprof/header.php» и «/usr/local/xhprof/footer.php», со следующим содержимым:

1. Отредактируйте «/usr/local/xhprof/header.php»:

if(isset($_COOKIE['xhprof'])){
if (extension_loaded('xhprof')) {
$utils_path = "/usr/local/xhprof/xhprof_lib/utils/";
include_once $utils_path.'xhprof_lib.php';
include_once $utils_path.'xhprof_runs.php';
xhprof_enable(XHPROF_FLAGS_CPU + XHPROF_FLAGS_MEMORY);
}
}

Он срабатывает только если установлена кука «xhprof», подключает необходимые библиотеки и устанавливает необходимые флаги (об этом чуть ниже).

2. Отредактируйте «/usr/local/xhprof/footer.php»:

if(isset($_COOKIE['xhprof'])){
if (extension_loaded('xhprof')) {
$profiler_namespace = 'myapp'; // namespace for your application
$xhprof_data = xhprof_disable();
$xhprof_runs = new XHProfRuns_Default();
$run_id = $xhprof_runs->save_run($xhprof_data, $profiler_namespace);

// url to the XHProf UI libraries (change the host name and path)
$profiler_url = sprintf('http://xhprof.test/index.php?run=%s&source=%s', $run_id, $profiler_namespace);
echo '.$profiler_url.'">Profiler output';
}
}

Он срабатывает только если установлена кука «xhprof», устанавливает неймспейс и сохраняет собранные показатели. После чего отрисовывает ссылку на веб-интерфейс XHProf для последующего анализа.

Теперь добавим в конец две строки в php.ini, для того чтобы эти два скрипта стартовали в начале и конце соответственно:

auto_prepend_file = /usr/local/xhprof/header.php
auto_append_file = /usr/local/xhprof/footer.php

Более подробная документация по XHProf: http://mirror.facebook.net/facebook/xhprof/doc.html

Проблема с dot

Утилита dot это тот самый Graphviz и с ним бывает проблема, что-то типа того:

Error: either we can not find profile data for run_id 4ced888563969 or the threshold 0.01 is too small or you do not have 'dot' image generation utility installed.

Сначала зайдите в «/usr/local/xhprof/xhprof_lib/utils/callgraph_utils.php» и найдите функцию «xhprof_generate_image_by_dot» (примерно 96 строка). Отредактируйте массив $descriptorspec, указав путь до файла лога:

$descriptorspec = array(
// stdin is a pipe that the child will read from
0 => array("pipe", "r"),
// stdout is a pipe that the child will write to
1 => array("pipe", "w"),
// stderr is a file to write to
//2 => array("file", "/dev/null", "a")
// Путь до файла лога
2 => array("file", "/var/log/xhprof.log", "a+")
);

Ну и теперь запускайте и смотрите лог, если у вас там:

dot: not found

То просто укажите полный путь до dot:

$cmd = " /usr/local/bin/dot -T".$type;

Это примерно 107 строка того же файла «/usr/local/xhprof/xhprof_lib/utils/callgraph_utils.php».

Ссылки

Посты, от которых я узнал о XHProf:

Советую почитать:

Django. Первое приложение

adw0rd — Wed, 26 May 2010 17:09:03 +0000

Захотелось мне поведать как использовать связь ManyToMany, начал я значит писать пост, но так как я хотел его детализировать то он слишком разросся... И я решил сначала написать пост о том, как создавать первый проект и приложение на Django, чтобы потом ссылаться сюда.

— начинал я этот пост писать еще в том году, да все руки не доходили его закончить, спасибо vasa_c за терпение

Устанавливаем Django

Заходим на страницу загрузки официального сайта, скачиваем Django 1.1.1 (или выше). Далее, как и в инструкции:

cd /tmp
wget -O Django-1.1.1.tar.gz http://www.djangoproject.com/download/1.1.1/tarball/
tar -xzvf Django-1.1.1.tar.gz
cd Django-1.1.1
sudo python setup.py install

Все, джанго установлен!

Так как мы будем работать с MySQL, то вам надо установить библиотеку py-mysqldb, представляющая собой интерфейс к MySQL.

Для Ubuntu:

apt-get install python-mysqldb

Для FreeBSD

cd /usr/ports/databases/py-MySQLdb
make install clean

А для Windows можно скачать тут.

Создаем наш первый проект

Допустим, что имя проекта у нас будет «myproject»:

cd /www
django-admin.py startproject myproject

Теперь создайте себе новую БД «myproject»:

CREATE DATABASE `myproject` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

И отредактируйте «/www/myproject/settings.py», заменив только соответствующие части:

# ~*~ coding: utf-8 ~*~

...
# Настройки БД
DATABASE_ENGINE = 'mysql' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'oracle'.
DATABASE_NAME = 'myproject' # Or path to database file if using sqlite3.
DATABASE_USER = 'username' # Not used with sqlite3.
DATABASE_PASSWORD = 'password' # Not used with sqlite3.
DATABASE_HOST = '' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '' # Set to empty string for default. Not used with sqlite3.

...
# Путь до каталога, где лежат наши медиа файлы (css, js, images)
MEDIA_ROOT = '/www/myproject/static/'

...
# URL медиа файлов (css, js, images)
MEDIA_URL = '/'

...
# URL медиа файлов админки (css, js, images, etc)
ADMIN_MEDIA_PREFIX = '/admin-media/'

...
# Путь до каталога с шаблонами
TEMPLATE_DIRS = (
"/www/myproject/blog/templates",
)

...
# Установленные приложения в нашем проекте
INSTALLED_APPS = (
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
'django.contrib.admin',
'myproject.blog',
)
# в конец добавлено две строки, первая подключает джанговскую админку,
# а второе наше приложение, которое мы ниже опишем

Для чего я ставлю в начале строки «#~*~ coding: utf-8 ~*~» читайте тут.

Создаем наше первое приложение

После того, как вы создали проект, надо создать приложение, если у вас проект состоит из одного приложения — можете его назвать «main».

Создаем приложение «blog»:

cd /www/myproject
python manage.py startapp blog

Файл модели

Теперь перейдем к разработке модели нашего приложения, отредактируем «/www/myproject/blog/models.py».
У нас будет пока одна сущность, это Посты в Блоге:

# ~*~ coding: utf-8 ~*~

# импортируем класс модели
from django.db import models
# и админки
from django.contrib import admin

'''
Blog posts
'''
class Post(models.Model):
# название поста
title = models.CharField(max_length=100)
# содержимое поста
text = models.TextField()

# функция необходима для того, чтобы при выводе объекта Post
# как строки выводился вместо этого его title
def __unicode__(self):
return self.title;

'''
Класс для админки, тут будут дополнительные атрибуты необходимые для админки
'''
class PostAdmin(admin.ModelAdmin):
# в таблице списка постов выводить только колонку title, если вы добавите еще одно имя поля, то и оно выведется
list_display = ('title',)

# связываем эту модель с моделью PostAdmin
admin.site.register(Post, PostAdmin)

Вы можете все что связано с админкой вынести в admins.py и импортировать его, чтобы избавится от лишнего кода

После создания файла моделей, вам необходимо запустить синхронизацию с БД, для того чтобы создались структуры данных:

cd /www/myproject
python manage.py syncdb

Для более детального изучения команд manage.py введите:

python manage.py help

Если вас интересует конкретная комманда, например syncdb, то:

python manage.py help syncdb

Вы так же можете создавать свои команды, но об этом поговорим не в этот раз.

syncdb создаст таблицы в вашей БД, а также при первой инициализации попросит создать рутовую учетную запись для вашего проекта в django (это будет админский аккаунт):

Creating table auth_permission
Creating table auth_group_permissions
Creating table auth_group
Creating table auth_user_user_permissions
Creating table auth_user_groups
Creating table auth_user
Creating table auth_message
Creating table django_content_type
Creating table django_session
Creating table django_site
Creating table django_admin_log
Creating table blog_post

You just installed Django's auth system, which means you don't have any superusers defined.
Would you like to create one now? (yes/no): yes
Username (Leave blank to use 'root'):
E-mail address: mail@example.com
Password:
Password (again):
Superuser created successfully.
Installing index for auth.Permission model
Installing index for auth.Message model
Installing index for admin.LogEntry model

Когда вы создадите новый класс модели вам будет необходимо вновь запустить syncdb.
Если вы внесли изменения в уже синхронизированное приложение, а именно в его модель, то syncdb НЕ внесет их в вашу БД, для этого используйте sqlall и другие sql* комманды:

python manage.py sqlall название_приложения (например: blog)

Или попробуйте расширение для Django Django Evolution (для этого необходимо его установить в вашу систему и добавить в INSTALLED_APPS — «django_evolution»).

Файл урлов

Для навигации по вашему проекту вам нужен роутер (URL диспетчер).
Отредактируем «/www/myproject/urls.py»:

# ~*~ coding: utf-8 ~*~

# импортируем админку
from django.contrib import admin

# Makes the patterns() function available
from django.conf.urls.defaults import *

# импортируем наши вьюхи (см. ниже описание файла вьюх)
from myproject.blog.views import main_page, get_post

# Above we used admin.autodiscover() to automatically load the INSTALLED_APPS admin.py modules
admin.autodiscover()

urlpatterns = patterns('',
# Если ничего не введено, то отдаем управление mainpage вьюхе
(r'^$', main_page),
# Если передан id поста, то отдаем управление get_post вьюхе
(r'^post/([0-9]{1,5})', get_post),
# Если введен /admin/, то идем в админку
(r'^admin/', include(admin.site.urls)),
)

Вы конечно можете отредактировать локальный для приложения «blog» — urls.py («/www/myproject/blog/urls.py»), но тогда вам надо будет импортировать «/www/myproject/blog/urls.py» в корневом «urls.py». Либо вы можете его определить в settings.py (ROOT_URLCONF).

Файл вьюхи

Ту роль, которую играет «Controller» в MVC, в Django играет роль View. Почему это так читайте тут.
Отредактируем «/www/myproject/blog/views.py»:

# ~*~ coding: utf-8 ~*~

# функция генерирующая 404 страницу
from django.http import Http404

# функция отрисовки страницы, принимающая путь до шаблона и данные помещенные в шаблон
from django.shortcuts import render_to_response

# наша модель
from myproject.blog.models import Post

def main_page (request):
# Получаем список постов
posts = Post.objects.all()
# отрисовываем
return render_to_response('list.html', {"posts": posts})

def get_post (request, post_id):
try:
# выбираем конкретный пост, pk - primary key
post = Post.objects.get(pk=post_id)
except Post.DoesNotExist:
# если такого поста нет, то генерируем 404
raise Http404

# отрисовываем
return render_to_response('single.html', {"title": post.title, "text": post.text})

Вывод в шаблоне

В Django очень мощный и гибкий шаблонизатор, у него даже есть аналог на PHP — Twig, что говорит о его удобстве (был бы неудобным — не копировали бы), хотя Twig по слухам сильно хуже.
Однако, есть более крутой шаблонизатор для Django — Jinja2, с более высокой производительностью и более гибкими возможностями. Описывать Jinja я не буду, ведь не это цель сего поста, поэтому делюсь только ссылочками:

С более полными возможностями Django Template вы можете познакомится на официальной странице.

В Django Template поддерживается наследование, поэтому мы напишем общий шаблон и будем его использовать base.html:

<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8" />
<title>{% block title %}Default{% endblock %} / MyProject</title>
</head>
<body>
{% block content %}
{% endblock %}
</body>
</html>

Шаблон вывода списка постов list.html:

{% extends "base.html" %}

{% block title %}List!{% endblock %}

{% block content %}
<ul style="list-style-type:none">
{% for post in posts %}
<li style="padding-left:10px;{% if forloop.counter0|divisibleby:"4" %}background-color:#E1F3C9{% endif %}">
<a href="/post/{{ post.id }}/">{{ post.title }}</a>
<p>{{ post.text }}</p>
</li>
{% endfor %}
</ul>
</div>
{% endblock %}

Шаблон вывода одной записи single.html:

{% extends "base.html" %}

{% block title %}{{ title }}{% endblock %}

{% block content %}
<h1>{{ title }}</h1>

<div>
{{ text }}
</div>
{% endblock %}

Nginx

Теперь настроим Nginx для того, чтобы запуская «manage.py runserver» нам не прописывать порт в URL и чтобы использовать нормальное имя хоста, хотя вы может вполне без это обойтись.
Но я очень рекомендую использовать Nginx.

server {
listen 80;
server_name myproject.loc;

location ^~ /admin-media {
alias /usr/local/lib/python2.6/dist-packages/django/contrib/admin/media;
}

location /static/ {
root /www/myproject/static/;
}

location ~* \.(jpg|jpeg|gif|png|ico|css|zip|js|swf)$ {
root /www/myproject/static/;
expires 7d;
}

location / {
proxy_pass http://127.0.0.1:8001/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

Добавить в «/etc/hosts» ваш хост:

127.0.0.1 myproject.loc

И перезагрузить Nginx:

# в новых версиях nginx можно послать сигнал
nginx -s reload

# или для ubuntu/debian через скрипт инициализации
service nginx restart
/etc/init.d/nginx restart

# или для freebsd
/usr/local/etc/rc.d/nginx restart

Запускаем веб-сервер проекта на 8001 порту, так как мы туда будем проксировать из Nginx:

cd /www/myproject
python manage.py runserver 8001

Теперь зайдите в админку (http://myproject.loc/admin/), введите вашу «root» учетку, которую создавали при syncdb.

Вы можете скачать архив с исходниками проекта тут

Вот мы и познакомились с первым приложение на Django, как я и обещал в начале этого поста следующая статья будет о ManyToMany, где мы подключим к нашему «Блогу» возможность создавать и выводить теги, а также расскажу более полно о возможностях моделях и ORM, View и о URL диспетере.

P.S. Пост дописывал в торопях, если найдете любые ошибки — обязательно отпишитесь в комментарии, спасибо!

Установка node.js на FreeBSD и использование под Nginx

adw0rd — Tue, 02 Feb 2010 14:55:17 +0000

Случайно нашел сайт nodejs.ru, полистал и добавил в ридер. Давно хотел попробовать node.js, но именно этот сайт стал той самой последней каплей в чаше желания и я решил незамедлительно попробовать node.js в действии.

Установка

Заходим на оф. сайт node.js и копируем ссылку на архив с сорцами.

# cd /tmp
# fetch http://s3.amazonaws.com/four.livejournal/20100120/node-v0.1.26.tar.gz
# tar -xzvf node-v0.1.26.tar.gz
# cd node-v0.1.26
# ./configure --prefix=/usr/local
# make && make install
# rehash

Если у вас не установлен libexecinfo, то:

# cd /usr/ports/devel/libexecinfo
# make install

Использование

Потестим для начала сам node, для этого создайте файлик example.js со следующим содержимым:

var sys = require('sys');
sys.puts('Hello, people!');

И запустите этот файлик:

# node example.js

Если нет ошибок, то можете продолжить и завязать node с nginx. А если есть ошибки — пишите в комментарии, помогу.

Использование с Nginx

Думаю у вас уже стоит Nginx, поэтому привожу сразу конфиг для нашего node.js хоста.
А если Nginx у вас НЕ установлен/настроен, то вам сюда.

...
location /nodejs/ {
proxy_pass http://127.0.0.1:8081/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
...

Далее, создадим скрипт server.js со следующим содержимым:

var sys = require('sys');
var http = require('http');

http.createServer(function (req, res) {
res.sendHeader(200, {'Content-Type': 'text/plain'});
res.sendBody('Hello, people!', 'utf8');
res.finish();
}).listen(8081);

sys.puts('Server running at port 8081');

Ну а теперь запустим сам бекенд и рестартанем nginx:

# node server.js
# /usr/local/etc/rc.d/nginx restart

Если вы запустите с ключом --debug, то вам станет доступен дебагер на tcp-порту 5858

#node --debug server.js

Заходим на http://localhost:8081/ и наблюдаем за результатом!

Резюме

Это вступительная статья, в ней ничего нет сложного. но чтобы опробовать node.js тут достаточно информации.
То, с чем я советую ознакомиться:

Посмотрите реализацию серверного компонента чата на node.js http://github.com/ry/node_chat/blob/master/server.js
Можно еще посмотреть бенчмарки http://four.livejournal.com/1019177.html
И почитать интересную статью Nginx + серверный Javascript

Легкая замена стандартного поиска в SMF на Sphinx

adw0rd — Thu, 30 Jul 2009 12:32:13 +0000

Потребовалась замена на ПыхоФоруме стандартного поиска на Sphinx, а также сделать нормальный поиск по пользователям. Для этого потребовалось установить Sphinx и движок для MySQL — SphinxSE.

Подготавливаем индекс

Пишем Sphinx-source:

source pyha_forum
{
type = mysql
sql_host = localhost
sql_user = pyha
sql_pass =
sql_db = pyha
sql_port = 3306
sql_sock = /tmp/mysql.sock

sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

sql_query = \
select ID_MSG, concat('user:',posterName) as posterName, subject, body \
from smf_messages

sql_query_info = select ID_MSG, posterName, subject, body from smf_messages where ID_MSG = $id
sql_ranged_throttle = 0
}

Поиск по пользователям реализован за счет «concat ('user:',posterName)». И достаточно в поисковую строку ввести «user:adw0rd php», чтобы найти все мои сообщения связанные с php на пыхе.

Пишем Sphinx-index:

index pyha_forum
{
source = pyha_forum
path = /var/sphinxsearch/pyha_forum
docinfo = extern
mlock = 0
morphology = stem_enru
min_word_len = 2
charset_type = utf-8
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
min_infix_len = 2
enable_star = 1
}

Далее, создаем таблицу для Sphinx'a:

CREATE TABLE `sphinx_smf_messages` (
`id` INT(11) NOT NULL,
`weight` INT(11) NOT NULL,
`query` VARCHAR(3072) NOT NULL,
`group_id` INT(11) DEFAULT NULL,
KEY `query` (`query`(1024))
) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/pyha_forum';

Подробнее о SphinxSE: http://adw0rd.ru/2009/mysql-sphinxse/

Меняем код в SMF

В /Source/Search.php (строка ~1377) ищем:

$request = db_query(
"SELECT " . (empty($search_params['topic']) ? 'lsr.ID_TOPIC' : $search_params['topic'] . ' AS ID_TOPIC') . ", lsr.ID_MSG, lsr.relevance, lsr.num_matches
FROM ({$db_prefix}log_search_results AS lsr" . ($search_params['sort'] == 'numReplies' ? ", {$db_prefix}topics AS t" : '') . ")
WHERE ID_SEARCH = " . $_SESSION['search_cache']['ID_SEARCH'] . ($search_params['sort'] == 'numReplies' ? "
AND t.ID_TOPIC = lsr.ID_TOPIC" : '') . "
ORDER BY $search_params[sort] $search_params[sort_dir]
LIMIT " . (int) $_REQUEST['start'] . ", $modSettings[search_results_per_page]", __FILE__, __LINE__);

и заменяем на

$request = db_query(
"SELECT `sm`.`ID_TOPIC`, `ssm`.`id` AS `ID_MSG`, 1000 AS `relevance`, 0 AS `num_matches`
FROM `sphinx_smf_messages` AS `ssm`
LEFT JOIN `smf_messages` AS `sm`
ON `ssm`.`id` = `sm`.`ID_MSG`
WHERE `ssm`.`query` = '".$context['search_params']['search'].";weights=1,2,3'
LIMIT " . (int) $_REQUEST['start'] . ", $modSettings[search_results_per_page]", __FILE__, __LINE__);

Вот и все, без лишних усложнений мы решили задачу! Если кто знаком с сорцами SMF — то понимает на сколько данное решение оказалось легким ;)

UP[2010-Feb-11]: Обновленная версия поиска:

$searchQuery = preg_replace('/[^[a-z][а-я]\s\d_-]+/iu', ' ', $context['search_params']['search']);
$searchQuery = $searchQuery ? $searchQuery : '*';

$request = db_query(
"SELECT `sm`.`ID_TOPIC`, `ssm`.`id` AS `ID_MSG`, 1000 AS `relevance`, 0 AS `num_matches`
FROM `sphinx_smf_messages` AS `ssm`
LEFT JOIN `smf_messages` AS `sm`
ON `ssm`.`id` = `sm`.`ID_MSG`
WHERE `ssm`.`query` = '".$searchQuery.";index=pyha_forum,pyha_forum_delta;weights=30,20,10,5;offset=".intVal($_REQUEST['start']).
";limit={$modSettings['search_results_per_page']};maxmatches=1000;mode=extended;groupby=day:created;sort=extended:@weight desc, created desc'",
__FILE__, __LINE__
);

Если вы в недоумении что за «pyha_forum_delta», то читайте Sphinx. Для чего нужны дельта-индексы и как их готовить?

Sphinx. Установка PHP расширения pecl-sphinx

adw0rd — Sun, 28 Jun 2009 23:35:12 +0000

Как я и обещал в статье «Sphinx. Установка, настройка и использование поискового движка», расскажу как поставить расширение для PHP, дабы не инклудить файл «sphinxapi.php».

Сначала соберем «libsphinxclient»:

# fetch http://www.sphinxsearch.com/downloads/sphinx-0.9.8.1.tar.gz
# tar -xzf sphinx-0.9.8.1.tar.gz
# cd sphinx-0.9.8.1
# chmod -R 777 *
# cd ./api/libsphinxclient/
# ./buildconf.sh
# ./configure && make install

Теперь установим PECL-расширение:

# cd sphinx-0.9.8.1/api/libsphinxclient/
# pecl install sphinx

Когда спросит про «libsphinxclient», просто согласитесь с умолчанием, так как вы в том же каталоге где собирали «libsphinxclient», то он сам подцепится.

После установки, надо прописать модуль в «php.ini» или в «php/extensions.ini»:

# echo "extension=sphinx.so" >> /usr/local/etc/php/extensions.ini
# cat /usr/local/etc/php/extensions.ini

Получится что-то вроде:

extension=mbstring.so
extension=simplexml.so
extension=spl.so
extension=mysql.so
....
extension=sphinx.so

Перезагружаем индейца и в бой! :)

# apachectl restart

Sphinx. Установка, настройка и использование поискового движка

adw0rd — Mon, 15 Jun 2009 01:52:22 +0000

Не так давно, я написал статью «FreeBSD. Установка и настройка Яндекс.Сервер» и пообещал в комментариях рассказать про поисковый движок Sphinx. Это одна из трех запланированных статей про этот замечательный поисковый движок, в следующих статьях расскажу про расширение для PHP и расширение для MySQL.

Операционная система, в которой будем производить установку и настройки — FreeBSD, но так же буду давать советы и для Windows-пользователей.

В качестве примера, будем разрабатывать поиск для моего блога на WordPress. Для самых не терпеливых, вот демонстрация работы поисковика http://demo.adw0rd.ru/sphinxsearch/.

Установка

Установка достаточно простая

# cd /usr/ports/textproc/sphinxsearch
# make config

Выбираем:

«mysql», если вы пользуетесь данной СУБД и хотите работать с данными непосредственно из Sphinx
«iconv» для поддержки разных кодировок

# make install

Вот и все, установка завершена!

Скачать исходники и Windows-версии можно тут: http://sphinxsearch.com/downloads.html.

После скачки Windows-версии, достаточно распаковать архив и указать в системной переменной «Path» полный путь до каталога \sphinx\bin.

Настройка

До начала поиска надо проиндексировать вашу информацию, создадим наш конфигурационный файл и укажем что и как индексировать, а также как отдавать результаты поиска.

Создадим конфигурационный файл для нашего поиска по блогу /home/sphinx/sphinx.conf:

source adw0rd_wp
{
# Параметры подключения к БД
type = mysql
sql_host = localhost
sql_user = user
sql_pass = password
sql_db = database_name
sql_port = 3306

# Установим кодировку для работы с БД
sql_query_pre = SET NAMES utf8
sql_query_pre = SET CHARACTER SET utf8

# Запрос выборки данных для индексации
sql_query = SELECT ID as post_id, post_title, post_content FROM wp_posts WHERE post_type = 'post'

# Запрос доп. информации для вывода результата (используется утилитой "search")
sql_query_info = SELECT * FROM wp_posts WHERE ID = $id

# Время простоя (sleep) перед посылкой запросов серверу (предназначен для разгрузки сервера БД)
# Если установите "= 1000", то засыпание будет длится 1 секунду
sql_ranged_throttle = 0
}

index adw0rd_wp
{
# Использовать соответствующий source-блок настроек при индексации
source = adw0rd_wp

# Путь до файлов индекса
path = /home/sphinx/data/adw0rd_wp

# Способ хранения индекса (none, inline, extern)
# Подробнее http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-docinfo
docinfo = extern

# Memory lock (http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-mlock)
mlock = 0

# Использование английского и русского стемминга
morphology = stem_enru

# Минимальная длина индексируемого слова
min_word_len = 2

# Установка используемой кодировки
charset_type = utf-8

# Таблица символов (http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-charset-table)
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F

# Минимальная длина инфикса (префикс в том числе)
min_infix_len = 2

# Использовать оператор усечения "*" (http://www.sphinxsearch.com/docs/manual-0.9.8.html#conf-enable-star)
enable_star = 1
}

indexer
{
# Максимальный лимит используемой памяти RAM
mem_limit = 32M
}

searchd
{
# Адрес сервера
address = 127.0.0.1

# Порт
port = 3312

# Лог
log = /home/sphinx/log/searchd.log

# Лог запросов
query_log = /home/sphinx/log/query.log

# Таймаут на соединение с сервером (в секундах). При истечении времени происходит обрыв
read_timeout = 5

# Максимальное кол-во потомков от процесса
max_children = 30

# Путь до pid-файла
pid_file = /home/sphinx/log/searchd.pid

# Максимальное кол-во результатов выдачи
max_matches = 1000
}

В новых версиях SphinxSearch надо использовать:

listen = 127.0.0.1:3312

Вместо

# Адрес сервера
address = 127.0.0.1

# Порт
port = 3312

Полная документация: http://www.sphinxsearch.com/docs/.

Разберем используемые нами SQL-запросы:

# Запрос выборки данных для индексации
sql_query = SELECT post_title, post_content FROM wp_posts WHERE post_type = 'post'

Тут мы выбираем заголовки и содержимое статей таблицы постов блога, при этом надо указать что типа поста — «post» (это та самая версия поста, которая считается опубликованной и текущей, так как есть еще ревизионные подверсии постов).

# Запрос доп. информации для вывода результата (используется утилитой "search")
sql_query_info = SELECT * FROM `wp_posts` WHERE `ID` = $id

Этот запрос применяется для вывода дополнительных данных результатов поиска используемый утилитой коммандной строки «search».

Индексация

Укажем в качестве конфига созданный нами конфигурационный файл:

# indexer --config /home/sphinx/sphinx.conf --all

Для обновления текущего индекса используйте «--rotate», он добавит к созданному индексу новые данные, а измененные соответственно изменит.

# indexer --config /home/sphinx/sphinx.conf --rotate

P.S. Если индексация не удалась, пишите комментарии к статье, посмотрим что случилось... :)

Использование поиска

Для поиска в консоли есть утилита «search»:

# search --config /home/sphinx/sphinx.conf искомая комбинация

Запуск поискового сервера

Для работы с поисковым сервером, нам надо его запустить:

# searchd --config /home/sphinx/sphinx.conf

Далее, мы сможем использовать Sphinx API.

Использование Sphinx API для PHP

Для работы со Sphinx API необходимо подключить файл sphinxapi.php, вы можете найти эту библиотеку в поставке с дистрибутивом. Например для установки из портов FreeBSD — путь «/usr/ports/textproc/sphinxsearch/work/sphinx-0.9.8.1/api/sphinxapi.php», а для Windows — «sphinx\api\sphinxapi.php».

А теперь напишем скрипт для работы с проиндексируемыми данными поисковика, то есть для запросов искомых слов и вывода результатов поиска!

Sphinx search for Wordpress

if(isset($_GET['s']) and strlen($_GET['s']) > 2) {

// Подключаем sphinx-api
require_once ("sphinxapi.php");

// Искомая комбинация
$string = $_GET['s'];

// Создаем объект клиента для Sphinx API
$sphinx = new SphinxClient();

// Подсоединяемся к Sphinx-серверу
$sphinx->SetServer('localhost', 3312);

// Совпадение по любому слову
$sphinx->SetMatchMode(SPH_MATCH_ANY);

// Результаты сортировать по релевантности
$sphinx->SetSortMode(SPH_SORT_RELEVANCE);

// Задаем полям веса (для подсчета релевантности)
$sphinx->SetFieldWeights(array ('post_title' => 20, 'post_content' => 10));

// Результат по запросу (* - использование всех индексов)
$result = $sphinx->Query($string, '*');

// Если есть результаты поиска, то
if ($result && isset($result['matches']))
{

// Соединяемся с БД
mysql_connect('localhost', 'user', 'password');
mysql_select_db('adw0rd_wp');

// Устанавливаем кодировки
mysql_query('SET NAMES utf8');
mysql_query('SET CHARACTER SET utf8');

// Получаем массив ID постов блога
$ids = array_keys($result['matches']);

// Выводим посты отсортированные по релевантности
$id_list = implode(',', $ids);
$sql = '
SELECT `ID`, `post_title`, `post_content`
FROM `wp_posts`
WHERE `ID` IN ('.$id_list.')
ORDER BY FIELD(`ID`, '.$id_list.')';

$resource = mysql_query($sql);

// Выводим результаты поиска
echo '

;

while

(

$result

mysql_fetch_assoc

(

$resource

)

{

echo

.$result['ID'].'">'.$result['post_title'].'

'.mb_substr(htmlspecialchars($result['post_content']), 0, 400).'

';
}
echo '

';
}
}
?>

Документация по Sphinx API для PHP: http://www.sphinxsearch.com/wiki/doku.php?id=php_api_docs

Резюме

За короткое время нам удалось развернуть быстрейший «поисковый сервис своими руками», с возможностями полнотекстового поиска. Демонстрация работы: http://demo.adw0rd.ru/sphinxsearch/.

По всем вопросам, касающемся этой статьи пишите в комментарии.

P.S. Если вам не знакомы слова: «стемминг», «инфикс», «словоформа» и т.д., то существует проект Википедия, в которой можно с легкостью об этом узнать!

Видеосервис своими руками и организация псевдостримминга

adw0rd — Wed, 03 Jun 2009 01:07:02 +0000

Сегодня я расскажу как работают «видеохостинги» и мы разработаем свой «видеосервис» для закачивания видео-файлов, с последующим конвертирование и созданием картинки для превью. Далее организуем показ во флеш-плеере и эмулируем стримминг (для перемотки на не загруженные части видео-файла).

Для всего этого нам понадобиться:

Флеш-плеер для проигрывания видео-файлов — flowplayer
Программа для конвертирования видео-файлов — ffmpeg
Расширение PHP для получения превью-изображения — php-ffmpeg и библиотека для работы с графикой — GD
Эмуляция потокового видео (псевдостримминг) с помощью утилиты yamdi, модуля для nginx — http_flv_module и плагина для flowplayer — flowplayer.pseudostreamming

Серверная ОСь по традиции — FreeBSD.

Установка необходимых нам утилит

ffmpeg

Для того чтобы конвертировать видео, нам необходимо установить утилиту ffmpeg. Есть еще аналогичная утилита — mencoder, тоже очень хорошая, но ffmpeg более популярен, поэтому именно его буду сейчас использовать. Эти утилиты с переменным успехом конкурируют между собой, поэтому также рекомендую посмотреть на mencoder в свободное время.

# cd /usr/ports/multimedia/ffmpeg
# make config

и выбираем LAME (lame MP3 codec)

# make install

Windows сборки ffmpeg: http://ffmpeg.arrozcru.org/builds/

yamdi

Далее, необходимо установить утилиту yamdi, которая вшивает мета-данные в видео-файл. Мета-данные необходимы для индексирования файла, то есть для того, чтобы можно было в еще не скачанном (не буферизированном) файле при перемотке перемещаться по индексам.

# cd /usr/ports/multimedia/yamdi
# make install

nginx

Теперь подошло время для nginx, который будет отдавать индексируемый (с помощью yamdi) видео-файл. На его месте может быть и lighttpd или еще какой-нибудь другой веб-сервер. Но я поддержу отечественного производителя! :)

# cd /usr/ports/www/nginx
# make config

и выбираем HTTP_FLV_MODULE, далее

# make install

Ну или просто при установке укажите опцию «--with-http_flv_module».

nginx-0.7.52. Теперь и под Windows: http://rmcreative.ru/blog/post/nginx-0.7.52-teper-i-pod-windows

Можно конечно использовать в качестве бекенда — PHP, например с помощью такого кода:

$start = (int) @$_GET['position'];
if ($start < 0) die("You fucking idiot");
// open file for reading
$fp = fopen($file, 'r+');
$fsize = filesize($file);
if ($start > 0)
{
// seek to requested position
fseek($fp, $start);
// FLV header for the movie part. Magic. Just trust me.
// Header code is completely taken from flv4php project
$header = "FLV" . pack('C', 1 ) . pack('C', 5 ) . pack('N', 9 ) . pack('N', 9 );
header("Content-Length: " . (strlen($header) + $fsize - $start));
echo $header;
} else {
header("Content-Length: " . $fsize);
}
set_time_limit(0);
while(!feof($fp)) {
print(fread($fp, 1024));
usleep(1000);// limit download speed
}
fclose($fp);

Но мне удобнее использовать для этого модуль nginx'а, да и быстрее будет, имхо.

php5-ffmpeg

Это расширение PHP нам понадобиться для того чтобы получать информацию о видео-файле, а также для получения видео-фрейма для превью. Также необходимо установить библиотеку GD и сам PHP в частности.

# cd /usr/ports/graphics/php5-ffmpeg
# make install

php5-ffmpeg для Windows: http://pyha.ru/forum/attachment/1256/1317.0 и http://pyha.ru/forum/attachment/1257/1317.0

Можно конечно получать информацию путем обращения к

# ffmpeg -i /path/filename.flv

и делать превью

# ffmpeg -i /path/filename.flv -an -ss ВРЕМЯ_ПОЗИЦИИ_В_СЕКУНДАХ -r 1 -vframes 1 -s 320x240 -y -f mjpeg /path/filename.jpg

Но мне нравиться использовать расширение, это удобнее, имхо.

И перегрузите apache или nginx, смотря как вы используете PHP.

Конвертирование видео и получение изображения для превью

Для начала нам надо указать путь до исходного и результирующего файлов, прописать пути до превью-файлов, а также указать минимальную позицию фрейма для создания превью.

// Путь до залитого видео-файла, например временный файл полученный по $_FILES['tmp_file']
$inputPath = $_FILES['tmp_file'];

//Путь до результирующего файла, то есть отконвертированный и прошитый мета-данными видео-файл
$outputPath = "/path/video/filename.flv";

// Указываем минимальную позицию фрейма для захвата превью
$previewFrameMin = '3';

// Путь до превью-файла
$previewPath = "/path/preview/filename.jpg";

// Путь до мини-превью
$previewMiniPath = "/path/preview/filename_mini.jpg";

// Массив для сбора ошибок
$errorInfo = array();

Конвертируем исходный файл во временный, в формате FLV и разрешением 320×240, использую в качестве аудио-кодека mp3lame с частотой 44100, остальные настройки по умолчанию. Временный файл нужен для того, чтобы yamdi смог вшить мета-данные, так как он не может вшить в исходный файл.

/*
* Конвертируем FLV во временный файл ($outputPath . '_temp').
*/
passthru(
'/usr/local/bin/ffmpeg -i ' . escapeshellarg($inputPath) .
' -f flv '.
' -s 320x240 '.
' -acodec libmp3lame '.
' -ar 44100 '.
escapeshellarg($outputPath . '_temp'),
$errorInfo['ffmpeg']
);

Прошиваем в видео-файл мета-данные для индексирования. Утилита yamdi написана на Си и работает очень быстро! А также удаляем временный файл.

/*
* Прошиваем metadata (позиции ключевых фреймов) для перемотки
*/
passthru(
'/usr/local/bin/yamdi -i ' . escapeshellarg($outputPath . '_temp') .
' -o ' . escapeshellarg($outputPath),
$errorInfo['yamdi']);

/*
* Удаление временного файла, он нам уже не нужен...
*/
unlink($outputPath . '_temp');

Теперь получаем информацию о видео-файле и получаем объект фрейма для превью.

/*
* С помощью расширения php5-ffmpeg получаем информацию о видео-файле
*/
$movie = new ffmpeg_movie($outputPath);

/*
* Вычисляем время воспроизведения видеофайла
*/
$duration = $movie->getDuration();

/*
* Вычисляем количество кадров
*/
$frameCount = $movie->getFrameCount();

/*
* Вычисляем позицию фрейма для его захвата
*/
$framePosition = ($frameCount > $previewFrameMin) ? $frameCount / 2 : $previewFrameMin;

/*
* Получаем объект фрейма для превью
*/
$preview = $movie->getFrame($framePosition);

А теперь получим и сохраним наши превьюшки.

/*
* Записываем в файл - Превью (320x240)
*/
imagejpeg ($preview->toGDImage(), $previewPath);

/*
* Записываем в файл - Мини-превью (160x120)
*/

$previewMini = imagecreatetruecolor(160, 120);

$r = imagecopyresized(
$previewMini,
$preview->toGDImage(),
0, 0, 0, 0,
160, 120,
320, 240
);

imagejpeg($previewMini, $previewMiniPath);

Все, файл отконвертирован в FLV и прошит мета-данными, также созданы превью, теперь займемся выводом видео-файла — клиенту.

Плеер и показ видео

Почему flowplayer?

Сначала нам понадобится флеш-плеер, умеющий проигрывать видео в формате FLV и показывать картинки в формате JPEG (для превью).

Из всех аналогов (смотрите ниже, в «Полезные ссылки -> Видео-плееры») мне больше всего понравился flowplayer, он:

Кроссбраузерный и очень гибкий, и удобный в настройке
Бесплатный для некоммерческого использования, а коммерческая версия стоит его возможностей!
Имеет Flash и Javascript API, также поддерживает библиотеку JQuery (там доп. фишки какие-то)
Имеет кучу полезных плагинов
Умеет работать со стриммингом и псевдостриммингом
Легко поменять шаблоны оформления и языковые шаблоны для настройки локализованного интерфейса
Обширная документация, имеет достаточно большое сообщество в собственном форуме, а также оказывает бесплатную поддержку для коммерческой версии
Поддерживает плейлисты и имеет полноэкранный режим
Поддерживаемые форматы: FLV, SWF, MP3, MP4, H.264 video, JPG, PNG
Сырцы открыты!

Остальное описание возможностей на официальном сайте: http://flowplayer.org/

Настройка flowplayer

С плеером мы определились, теперь надо его настроить для показа видео. В дистрибутив плеера входит:

flowplayer-3.1.1.swf — сам плеер
flowplayer.controls-3.1.1.swf — flash-controls
flowplayer-3.1.1.min.js — это так называемый js-api

Для реализации псевдо-стримминга нам не хватает flowplayer.pseudostreaming-3.1.2.swf, который можно скачать и ознакомиться с использованием тут: http://flowplayer.org/plugins/streaming/pseudostreaming.html.

Для работы со всеми видами стриминга есть титуриал: http://flowplayer.org/documentation/configuration/streaming.html

Итак, приступим:

Все опции указанные в настройках можно посмотреть тут: http://flowplayer.org/documentation/configuration/clips.html

Настройка http_flv_module

Теперь настроим nginx на отдачу файла со смещением, для эмуляции стримминга.

location ~ \.flv$ {
flv;
root /path/video;
}

То есть, говорим nginx'у чтобы он для расширения «flv» использовал модуль http_flv_module и указываем в root путь до видео-файлов. Документация по http_flv_module: Директивы модуля ngx_http_flv_module

Ну вот и все, теперь у вас полноценный «видеосервис»!

Полезные ссылки

ffmpeg
Работа с видео на php с помощью php ffmpeg
Продвинутый метод воспроизведения flash-видео на веб-страницах (или эмулируем стрим-видео)
Наносим водяной знак на видео с помощью ffmpeg
Как же работают видеохостинги? Часть первая. Сборка.
Как же работают видеохостинги? Часть вторая. Ffmpeg.

Видео-плееры
Подборка видео-проигрывателей на флэше
Видео и аудио плееры для сайтов
Идеальный видео-плеер
Идеальный видеоплеер. Не утопия

Eclipse плагин subclipse для работы с SVN (Subversion)

adw0rd — Thu, 28 May 2009 22:32:20 +0000

Надоело использовать TortoiseSVN и я решил попробовать попользоваться плагином для Eclipse — subclipse, дабы интегрироваться одним комбайном :)

По этой ссылке расположено официальное руководство и там рассказывается про установку на старые версии Eclipse, а я покажу как поставить на Eclipse 3.4.2 и Subversion 1.5.5.

Установка

Заходим в Help -> Software Updates... -> Available Software, нажимаем по «Add Site...» и вбиваем в «Location» следующее:

http://subclipse.tigris.org/update_1.6.x

Далее отмечаем необходимые пункты:

Устанавливаем и перегружаем Eclipse...

У меня была проблема, пока не включил в установку «Subversion JavaHL Native Library Adapter» — не работал svn-client и Eclipse посылал на все 3 буквы! Так что не забудьте его включить в список установки! «Revision Graph» — можете отключить, если вам ненужен, я так понял это для построения графа ревизий...

Использование

Создаем новую перспективу:
Windows -> Open Perspective -> Other ->SVN Repository Exploring

Заходим в перспективу и создаем новый локейшен:
New -> Repository Location...

Вставляем URL вашего репозитория:

После чего вызываем контекстное меню вашего созданного подключения и выбираем «Checkout», далее вписываем имя проекта, у меня «pyha.loc» (будет создан одноименный каталог):

Жмем по «Next» и указываем «Workspace Location», у меня это c:\WebServer\home и там находятся все веб-проекты:

Нажимаем «Finish» и после чекаута у нас доступен проект в других перспективах, а в «c:\WebServer\home» создан каталог «pyha.loc»!

Для работы с SVN-репозиторием надо вызвать контекстное меню проекта той перспективы, в которой вы работаете (например PDT или Java) и выбрать «Team», а для настройки плагина зайти в Preferences -> Team -> SVN.