Yousan_O のすべての投稿

WordPressでよく見かけるけどよくわからない関数 esc_urlについて

esc_urlについて

先日とある勉強会で
「WordPressの配布されてるテーマでは結構使われているようなんですけれど、esc_urlという関数って何のためにあるのですか?」
という質問を頂きました。
「エ、エスケープする関数なんで適当に使ったらいいですよ!」
なんていう答えにならない答えを返してしまったので反省して調べておきます。

WordPressに標準で付いてくるデフォルトテーマにはesc_urlがふんだんに使われています。
たとえばtwenty fifteenではheader.phpに使われていて

<?php echo esc_url( get_template_directory_uri() );

といったように、テンプレートディレクトリを出力する際に間に挟んで利用しています。

どうしてこのように出力をするためにつかっているのか、なぜそのまま出力するといけないのかについて調べてみました。

マニュアルを調べてみた

まずは公式の説明について調べてみました。
幸い日本語訳がありましたのでそちらを紹介します。

テキストや属性などのURLを無害化する時に用いる関数です。ホワイトリストに登録されているプロトコル (デフォルトでは、http, https, ftp, ftps, mailto, news, irc, gopher, nntp, feed, telnet) 以外のURLを拒絶し、無効なキャラクタを除外し、危険なキャラクタを削除します。 この関数はキャラクタをHTMLエンティティとしてエンコードし、 (X)HTML または XML ドキュメントを作成する時に用います。アンド記号 (&) とシングルクォート (') はそれぞれ (&#038, &#039) という形に変換します。 この関数は非推奨となった clean_url() の代わりに用いるものです。

なるほど、ホワイトリストに登録されているプロトコル以外を拒否し、また使ってはダメな文字をURLから省いたり変換したりするもの、なのですね。

実際に動かしてみる

それでは早速どのような動きになるか試してみました。

$urls = array(
  'http://www.example.com/hogehoge',
  'https://www.example.com/hogehoge',
  'tel://example.com',
  'tel://0120000000',
  'http://.$,;:&=?!*~@#_()',
  'http://\"\'|*`^><)(}{][',
);
foreach($urls as $url) {
  echo $url."<br />\n";
  echo esc_url($url)."<br />";
}

出力はこうなります

元テキスト esc_url変換後
http://www.example.com/hogehoge http://www.example.com/hogehoge
www.example.com/hogehoge http://www.example.com/hogehoge
https://www.example.com/hogehoge https://www.example.com/hogehoge
tel://example.com tel://example.com
tel://0120000000 tel://0120000000
hoge://0120000000
http://.$,;:&=?!*~@#_()’| http://.$,;:&=?!*~@#_()’|
http://\”`^><{}[] http://
http://ほげふがぴよ http://ほげふがぴよ

なるほど、色々と変化していますね。
httpやhttpsはそのまま出力されていますね。
またtel:も出力されているようです。マニュアルにtelというのは無いのですが、どうやら出力されるようです。
ログなどを追いかけてみると(#18268, #21081, src)WordPress3.4あたりで「telやfaxといったプロトコルも追加してくれ」という要望があがったそうで、それに対応する形で追加れたようです。
他には記号系が削除されるようですね。これはURLで利用してもよい文字とそうでは無い文字がありまして、そのルールに沿って削除されるようです。

esc_urlの目的

さて、このesc_urlの目的なのですがなぜ必要なのかについて考えてみました。
まずはURLとして無効な文字を防ぐことですね。
URLに利用して良い文字というのはIETFがRFC1738として定義しています。一般の利用者が「この文字は使える、これはダメ」と調べるのは大変ですから、esc_urlを利用する事でこの違反を防ぐことができます。
またプロトコルのホワイトリストについては、インジェクション攻撃などに対応する目的があるでしょう。例えばコメントの「ウェブサイト」の部分にtelで110番を書かれてしまうと、携帯電話ユーザがクリックした際、いきなり110番が掛かってしまったりします。今ではウェブサイトやメールから通話する際には警告がでますが、そういった対処の無かったガラケー全盛期に流行った手法ですね。
telプロトコルの許可については許可されていると書きましたが、調べたところコメントでは不許可のようです。
プロトコルのホワイトリストについてはテーマ作成者がちゃんと管理できるようになっているので、例えばお店紹介サイトであれば「どこでもtelプロトコルを許可したい」、といった要望にも応えることができます。
基本的にesc_urlの目的としては、「意図しないURLの誤った誘導を防ぐ」ことだと思っています。ですのでテーマを作成する際にURLを出力する箇所でesc_urlを埋め込むことで不正なURLが吐き出されることを防いでくれます。

まとめ

esc_urlを使うと不正なURLを防いでくれます。またコメント(本文ではないところ)などURLが入ってくる箇所でesc_urlを挟む事でインジェクション攻撃を防ぐことにもなります。
ですのでURLが入る箇所では積極的にesc_urlを使っていきたいですね。

NFSはアンダースコアのあるexportsをマウントできない?

こんにちは、岡田洋一です。

最近は引き続いてファイルサーバの移行を行っています。
さてそのファイルサーバではNFSを提供しています。
ローカル環境の各ホストに対して同じホームディレクトリを提供してくれる非常に心強い存在です。
NFSも少し前にバージョンが3から4になり、パフォーマンスの向上やUID、GIDを揃えるidmapdとの連携など便利になったりしました。

さてそんなNFSなのですが、今回新サーバに移行するにあたってうまくマウントできない症状が起きました。

shell> sudo mount nfs.l2tp.org:/path_service /mnt/path_service
mount.nfs: Connection timed out

なにやらエラーが起きてますね。
NFSではexportsというファイルに設定を書いて色んなディレクトリを他のホストからマウントすることができるのですが、うまくいきません。
実はこれ、他のディレクトリではうまくいっていたんですね。でもこのディレクトリだけうまくいきません。

今回設定したのは下記の通りです。サーバクライアントともにUbuntu 14.04LTSです。

NFSサーバにて、fstabでbindマウントを行う
shell> grep service /etc/fstab
/pool/path_service       /exports/path_service  none    bind              0    0

次にexportsに記載
shell> /exports/path_service 192.168.1.0/24(async,nohide,no_subtree_check,no_root_sq
uash,rw)

最後に関連サービスの再起動などなど
shell> sudo mount -a
shell> sudo service nfs-kernel-server restart
shell> sudo exportfs -ra


クライアント側にてマウントさせる
shell> sudo mount nfs.l2tp.org:/path_service /mnt/path_service
mount.nfs: Connection timed out

うまくいかないです。

もう一度言いますが他のディレクトリはうまくマウントできているのです。このディレクトリがダメなのですね。
うまくいっている所と見比べてみると、ディレクトリ名にアンダーバー、アンダースコアがあることが考えられます。

この後実際にアンダーバーを省いたものでマウントさせてみると… ちゃんと動きました!

NFSはアンダーバーを含むファイル名をマウントする事ができないのでしょうか?

少しググってはみたのですがそれらしき記述は見当たらなくて、これまでも聞いたことが無くて…うーん。

もしどなたかご存じの方がいらっしゃった場合には教えてください!

追記:
ちなみにクライアント側でマウント先ディレクトリにアンダーバーがある場合には大丈夫でした。

shell> sudo mount nfs.l2tp.org:/pathservice /mnt/path_service

この場合には通るのでexportsでアンダーバーを許可していない、とかなのでしょうか。
またexportsにアンダースコア含みでディレクトリを記載してもマウント時にアンダースコア無しでマウントできてしまいました。
アンダーバーは無視されるのかな?

NFSでマウントしているホスト一覧を取得

こんにちは。

秋口もずいぶんと涼しくなってきて肌寒いぐらいになってきました。

さて現在、うちではファイルサーバの移行を行っています。
今までFreeNASを使ってきたのですがそろそろNFSv4とかも欲しいのでUbuntuへ移行することになりました。

NFSサーバの構築も終わり一通りファイルもコピーし終わりましたが、次の重要な作業が待っています。

各ホストではfstabを使って旧サーバをマウントしていますが、これを新サーバに書き換える必要があります。

ホストにログインしてfstabを書き換える…、この作業も重要ですが、何より既にマウントして使っているホスト一覧を調べ上げるということが重要です。
どのホストが利用しているかを把握できないと移行がうまくいっているかという確認すらできず、気がついたらサービスが停止していました,ということになりかねませんからね。

NFSでマウントさせているおおよその台数は20台ぐらいです。
なのでつい漏らしてしまうことがあるんですね。

こういうときにはNFSサーバ側でshowmount -aを使うとその一覧を取得することができます。

shell> showmount -a
All mount points on localhost:
192.168.1.36:/path/to/home
192.168.1.37:/path/to/home
192.168.1.45:/path/to/home

簡単ですね!

RAIDで作成したmdをフォーマットしてマウントするまで

こんにちは。

先日ubuntuでraidを構築したんですが、まだマウントもしていなかったのでマウントしてみます。

まずいきなり問題が発生です。
前回raidを作成するときにmd0というデバイス名で作っていたんですが、その後の何度かの再起動で番号が変わってしまったようです。

shell> ls /dev/md*
/dev/md127

/dev/md:
bush:0

よくはわからないですがmd127というデバイスがあります。これがどうやら先日つくったraidのようです。念のためmdadmコマンドで確認しておきます。

sudo mdadm -D /dev/md127
/dev/md127:
        Version : 1.2
  Creation Time : Fri Sep 26 09:19:13 2014
     Raid Level : raid5
     Array Size : 14650675200 (13971.97 GiB 15002.29 GB)
  Used Dev Size : 2930135040 (2794.39 GiB 3000.46 GB)
   Raid Devices : 6
  Total Devices : 6
    Persistence : Superblock is persistent

    Update Time : Fri Oct  3 15:14:31 2014
          State : clean
 Active Devices : 6
Working Devices : 6
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : bush:0  (local to host bush)
           UUID : c3db0680:1c5c7986:c90a298a:96a9efb0
         Events : 99

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       16        1      active sync   /dev/sdb
       2       8       32        2      active sync   /dev/sdc
       3       8       48        3      active sync   /dev/sdd
       4       8       64        4      active sync   /dev/sde
       6       8       80        5      active sync   /dev/sdf

ちなみに-Dは–detailと同じ意味らしいです。
ちゃんと/dev/sd{a,b,c,d,e,f}で構成されているraidのようですね。
なぜ番号が変わったかは…わかりません!なぜなのでしょうか。

と思ったら参考にしたサイトに「md*の番号は変わる」との記載がありました。なるほど!為になります。

さてこのmdをXFSでフォーマットしてマウントしていきます。
とはいってもmkfsでファイルテーブル(?)を書き込んでやるだけです。

shell> mkfs.xfs -f /dev/md127
meta-data=/dev/md127             isize=256    agcount=32, agsize=114458496 blks
         =                       sectsz=4096  attr=2, projid32bit=0
data     =                       bsize=4096   blocks=3662668800, imaxpct=5
         =                       sunit=128    swidth=640 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal log           bsize=4096   blocks=521728, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

これで完了です。
試しにマウントしてみます。

shell> sudo mkdir -p /mnt/hoge
shell> sudo mount -t xfs /dev/md127 /mnt/hoge

バッチリですね!

最後に自動マウントをさせてみたいと思います。どうやらmd*の番号の部分が変わってしまうらしくUUIDでマウントさせるといいらしいです。

UUIDの確認はtune2fsというコマンドでできるらしいのですが、このコマンドはファイルシステムがext2/3/4じゃないとだめらしいです。
今回のファイルシステムはxfsを使っていたので他の手段になります。

ググってみるとblkidというコマンドでできるようです。これで出力されるUUIDをマウントさせます。

shell> sudo umount /mnt/hoge
shell> blkid /dev/md127
/dev/md127: UUID="f8a0fa74-9e9d-48b2-a497-e593a6444572" TYPE="xfs"
shell> sudo vi /etc/fstab
...省略...
UUID=f8a0fa74-9e9d-48b2-a497-e593a6444572  /mnt/hoge      xfs     noatime 0           0
shell> sudo mount -a
shell> mount -v
...省略...
/dev/md127 on /mnt/hoge type xfs (rw,noatime)

バッチリですね!

今回参考にしたサイトです。
[Linux] 外付けUSBハードディスクをまるごとxfsでフォーマットする方法 – SumiTomohikoの日記

mdadmを使ったRAIDの構築 – 前人未踏の領域へ

raid – Ubuntu Server 12.04, MDADM device number suddenly changes? – Ask Ubuntu

[email protected] 14.04 LTS

少し流行は過ぎてしまったのですが、UbuntuのnginxでWordPressを動かしたのでメモ。

1. 構成
まずは構成について。
ウェブサーバの構成について、単にnginxを使うとしてもいろいろな構成があるんだけれど、今回はリバースプロキシを使った構成にしました。

リバースプロキシはユーザからのリクエストを受ける際、いったんプロキシサーバがリクエストを受け取って、それを本当のウェブサーバに問い合わせを行う、というそんな機能を提供してくれます。
プロキシ(代理)サーバなので、リクエストを途中から代理してくれる、そんなサーバです。
リバースと付いているのは、リバースじゃ無い普通のプロキシサーバもありまして、こちらはクライアント側で利用します。リバースプロキシはリバース、逆向きなので、サーバ側において代理させるんですね。
ちなみにリバースプロキシサーバ、プロキシサーバともにキャッシュ機能が付いている物がほとんどです。

で、今回の構成では、インターネット側からのリクエストをnginxのリバースプロキシで受けて、それを内部のnginxへリクエスト、そのnginxはWordPressに必要なPHPをPHP-FPMというものを使って動作する、ということに。
このリバースプロキシを使うことでキャッシングが容易にできるのでWordPressの高速化が進む、というものですね。

ちなみにPHP-FPMはプロセスで待ち受けさせていて、リクエストがあるとすぐにPHPを実行して結果を返すという、そういう仕組みをもったPHPのサーバ、デーモンです。

一台のサーバで”リバースプロキシ”、”ウェブサーバ”、”PHPサーバ(アプリケーションサーバ)”を動かす必要があるので、そのやりとりにはいくつかのルールが必要です。
サーバへリクエストを投げるときには必ず、どのサービスへ繋ぐか、という情報が必要なのですが、これを通常ポート番号によって振り分けるのです。
ちなみに一般的なウェブサービスだと80番を利用します。またプロキシサーバでは8080版を利用します。

今回はリバースプロキシですのでこいつが80番で待ち受けて、このリバースプロキシからウェブサーバへはウェブサーバの8080番ポートへ接続、PHPが動いているデーモンへはポート番号じゃなくてsockという仕組みで繋ぐことにしました。

2. 手順
まずはインストール。ubuntuなのでaptを利用します。今回必要になるのはnginx, php-fpmです。

shell> sudo apt-install nginx php-fpm
shell> cd /etc/nginx

インストールが終わったらnginxのデフォルトコンフィグが格納されている/etc/nginxで作業します。

まずは早速、WordPressに必要なnginxのconfigを二つ書きます。
これはWordPressの公式サイトで紹介されています。二つのconfを/etc/nginx/siteconf.d/というディレクトリを作って配置しています。

more /etc/nginx/siteconf.d/global_restrictions.conf       
# this file is from http://codex.wordpress.org/Nginx                            # Global restrictions configuration file.                                       
# Designed to be included in any server {} block.</p>                           
location = /favicon.ico {                                                       
         log_not_found off;                                                     
         access_log off;
}

location = /robots.txt {
         allow all;
         log_not_found off;
         access_log off;
}

# Deny all attempts to access hidden files such as .htaccess, .htpasswd, .DS_Sto
re (Mac).
# Keep logging the requests to parse later (or to pass to firewall utilities suc
h as fail2ban)
location ~ /\. {
         deny all;
}






shell> cat /etc/nginx/siteconf.d/wordpress_base
# this file is from http://codex.wordpress.org/Nginx

# WordPress single blog rules.
# Designed to be included in any server {} block.

# This order might seem weird - this is attempted to match last if rules below fail.
# http://wiki.nginx.org/HttpCoreModule
location / {
         try_files $uri $uri/ /index.php?$args;
}

# Add trailing slash to */wp-admin requests.
rewrite /wp-admin$ $scheme://$host$uri/ permanent;

# Directives to send expires headers and turn off 404 error logging.
location ~* ^.+\.(ogg|ogv|svg|svgz|eot|otf|woff|mp4|ttf|rss|atom|jpg|jpeg|gif|png|ico|zip|tgz|gz|rar|bz2|doc|xls|exe|ppt|tar|mid|midi|wav|bmp|rtf)$ {
       access_log off; log_not_found off; expires max;
}

# Uncomment one of the lines below for the appropriate caching plugin (if used).
#include global/wordpress-wp-super-cache.conf;
#include global/wordpress-w3-total-cache.conf;

# Pass all .php files onto a php-fpm/php-fcgi server.
location ~ \.php$ {
         # Zero-day exploit defense.
         # http://forum.nginx.org/read.php?2,88845,page=3
         # Won't work properly (404 error) if the file is not stored on this server, which is entirely possible with php-fpm/php-fcgi.
         # Comment the 'try_files' line out if you set up php-fpm/php-fcgi on another machine.  And then cross your fingers that you won't get hacked.
         try_files $uri =404;

         fastcgi_split_path_info ^(.+\.php)(/.+)$;
         #NOTE: You should have "cgi.fix_pathinfo = 0;" in php.ini

         include fastcgi_params;
         fastcgi_index index.php;
         fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
         fastcgi_param REMOTE_ADDR  $http_x_real_ip;
#        fastcgi_intercept_errors on;
         fastcgi_pass unix:/var/run/php5-fpm.sock;
}

最初のglobal_restrictions.confでは不正なアクセスを防ぐための設定です。nginxでは.htaccessを初めとしたファイルを利用しませんので、それらのファイルが標準では直接表示されたりします。中にはパスワードを書いてあったりすることもあるので安全のためこれらのファイルを非表示にするconfです。

続いてwordpress_base.confです。これがnginxとphp-fpmでwordpressを動かすための基本的なconfigになります。ほとんどは公式通りなのですが、注意点がいくつかあります。
conf本体の下部にある、 “fastcgi_param REMOTE_ADDR $http_x_real_ip;”については追記してあります。
これは今回リバースプロキシを使うに当たって、ウェブサーバで見えるクライアントIPアドレスが127.0.0.1のような自分自身のアドレスになってしまうことを防ぐ処置です。
自分自身をリバースプロキシにする場合に限らず何らかのリバースプロキシを挟むとREMOTE_ADDRが書き換わってしまいます。そうするとアクセス解析やコメントをつけた人のIPアドレスがすべて同じものになってしまい意味のないものになってしまいます。
それを防ぐための構文になります。ちなみにapacheであればmod_rpafというモジュールで対処したりします。
もう一点気をつける構文は”fastcgi_pass unix:/var/run/php5-fpm.sock;”です。今回はPHPとnginxを動かすサーバが同じサーバでしたのでsockを利用しました。他のホストで動かす場合やTCP/IPで動かす場合には変更が必要です。

これでwordppressの基本的なconfは揃いました。続いてはサイトのconfを書きます。

最近はnginxもapache同様、ドメインごとにconfigを書いてシンボリックリンクで有効化/無効化する流れになっています。今回は /etc/nginx/sites-available/example.com で作成しました。
このconfにはリバースプロキシ用の設定も含まれるので少し大変です。

shell> cat /etc/nginx/sites-available/exampel.com.conf
server {
        listen 80;
        server_name www.example.com;
        root        /home/yousan/public_html/www.example.com;
        index index.html index.htm index.php;
        include siteconf.d/global_restrictions.conf;

# ここから下がリバースプロキシ用の設定 最後にドメインの名前を設定すること
# またnginx.confのbackednともセットで設定すること
              location /wp-admin { proxy_pass http://backend; }
              location ~ .*\.php { proxy_pass http://backend; }
        location / {
              set $mobile "";
              if ($http_user_agent ~* '(DoCoMo|J-PHONE|Vodafone|MOT-|UP\.Browser|DDI
POCKET|ASTEL|PDXGW|Palmscape|Xiino|sharp pda browser|Windows CE|L-mode|WILLCOM|SoftB
ank|Semulator|Vemulator|J-EMULATOR|emobile|mixi-mobile-converter)') {
              set $mobile "@ktai";
              }
              if ($http_user_agent ~* '(iPhone|iPod|Opera Mini|Android.*Mobile|NetFr
ont|PSP|BlackBerry)') {
              set $mobile "@mobile";
              }
              if ($http_cookie ~* "comment_author_|wordpress_(?!test_cookie)|wp-post
pass_" ) {
              set $do_not_cache 1;
              }
              proxy_no_cache     $do_not_cache;
              proxy_cache_bypass $do_not_cache;
              proxy_cache czone;
              proxy_cache_key "$scheme://$host$request_uri$is_args$args$mobile";
              proxy_cache_valid  200 301 302 60m;
              proxy_cache_valid  404 5m;
              proxy_cache_use_stale  error timeout invalid_header updating http_500
http_502 http_503 http_504;
              proxy_pass http://backend;
              proxy_redirect http://www.example.com:8080/ /;
       }
}

server {
    listen      8080;
    server_name www.example.com;
    index index.html index.htm index.php;
    include siteconf.d/global_restrictions.conf;
    include siteconf.d/wordpress_base.conf;
    root            /home/yousan/public_html/www.examplecom.com;
}

shell> sudo ln -s /etc/nginx/sites-available/example.com.conf /etc/nginx/sites-enabled

このconfでは上のserverディレクティブで80番の待ち受け、リバースプロキシ側の待ち受けを設定します。この中で最後の方にあるproxy_redirectという構文で実際にPHP等が動いている8080で待ち受けをしているウェブサーバへ転送しています。
下の8080で待ち受けをしているところは先ほどwordpress用のconfを書きましたのでそれらをincludeして、あとは少し書いてやるだけでOKです。

ドメインごとのconfを書いたらlnでシンボリックリンクをsites-availableへ移してあげてください。こうすることで有効化されます。

最後にnginx本体のconfを書きます。
今回はリバースプロキシでレスポンスを早くしよう!というが目的ですのでリバースプロキシのキャッシュとgzip圧縮を有効化します。
ココでもリバースプロキシ用の設定を分けてあります。
機能別に分けられたconfはconf.dに入れると自動で読み込まれますのでそちらに入れておきます。自動に読まれますけれど*.confという名前じゃないとダメなので注意してください。

shell> cat /etc/nginx/conf.d/
proxy_cache_path  /var/cache/nginx levels=1:2 keys_zone=czone:4m max_size=50m inacti
ve=120m;
proxy_temp_path   /var/tmp/nginx;
proxy_cache_key   "$scheme://$host$request_uri";
proxy_set_header  Host               $host;
proxy_set_header  X-Real-IP          $remote_addr;
proxy_set_header  X-Forwarded-Host   $host;
proxy_set_header  X-Forwarded-Server $host;
proxy_set_header  X-Forwarded-For    $proxy_add_x_forwarded_for;
proxy_set_header  Remote-Addr        $remote_addr;
#real_ip_header X-Forwarded-For;
#real_ip_recursive on;

upstream backend {
             ip_hash;
             server 127.0.0.1:8080;
}

こちらが本体側のconfです。ほとんど書き換えてないのでコメントを外すだけですね。

shell> cat /etc/nginx/nginx.conf
... 省略 ...
       ##
        # Gzip Settings
        ##

        gzip on;
        gzip_disable "msie6";

        gzip_vary on;
        gzip_proxied any;
        gzip_comp_level 6;
        gzip_buffers 16 8k;
        gzip_http_version 1.1;
        gzip_types text/plain text/css application/json application/x-javascript tex
t/xml application/xml application/xml+rss text/javascript;

これでconfが整いました。
最後にnginxを再起動して動作確認です。

shell> sudo service nginx restart

さて、動いたでしょうか。

今回自分もすぐには動かず、いくつかはまった点がありましたので紹介しておきます。
1. 文末のセミコロン忘れ
2. www.example.comというドメインのまま、ドメイン名を書き換え忘れていた
nginxではほとんどの文末にセミコロンをつける習慣がありますので、これを忘れるとエラーになります。
ドメイン名の書き換えでは色んなサイトを参考にしながらconfを書いたのですが、confの途中にドメイン名がでていて、今回実際に運用するドメインに書き換えるのを忘れていて動きませんでした。

これらのエラーについてはerror.logを見る事でどのファイルのどこでエラーが起きている、ということが分かったりします。

shell> sudo tail /var/log/nginx/error.log

ただ中には直接的にエラーが表示されず、推測に推測を重ねてエラーを取り除く必要もありますがそちらについては…、経験が物をいいますね!

以上となります。

Ubuntu 14.04 LTS でRAID5を構成してみた

宅内のNASがそろそろ一杯になりそうなので半年前程から構想していたファイルサーバの新設に着手した。

構成としては3TB*6なHDDでUbuntu 14.04で動かす。
サービスとしてはNFSを中心にSamba、FTPなどのファイル関係のサービスを立てる予定。

ちなみにOSの選定はFreeNASと迷ったんだけれどFreeNAS(というかFreeBSD)がなかなかNFSv4を取り入れてくれないことと、湯バード先生からの「Ubuntuでやれば簡単だよそんなん」という強い後押しをもらって助けてもらいながら着手。

 

というわけでまずはベースとなるRAIDの構成。

一応ファイルサーバなので冗長化構成にしようとおもっていて、3TB*6をRAID5かRAID6かに。もともと2TBをFreeNAS 0.7系のRAIDZで運用している。で、今回の新設&リプレイスでも冗長化をしたいなぁ、と。ちなみに前回のファイルサーバでは幸いな事に障害は発生せぬまま終わりそう。

で、いままであまり気にせずにRAIDとかやってたんだけれど、6台だと容量の効率とか耐障害性とか色々あるなぁということで、RAIDについて調べてみた。

下記のサイトが非常にわかりやすくまとめてくれていた。


HDD6台でRAID5構成
(0.03^6)+(0.03^5*0.97*6)+(0.03^4*0.97^2*15)+(0.03^3*0.97^3*20)+(0.03^2*0.97^4*15)=0.01245587
→障害確率1.25%(3台構成の時の5倍!)
※HDD有効利用率は83%

HDD6台でRAID6構成
 (0.03^6)+(0.03^5*0.97*6)+(0.03^4*0.97^2*15)+(0.03^3*0.97^3*20)=0.000504418
 →障害確率0.05%
 ※HDD有効利用率は67%

RAID構成のHDDの障害発生率一覧 | Asterisk Staff Blog

 

なるほど、RAID6(HDD二台を冗長化用)とすると障害発生率がかなりひくくなる、ということらしい。

でも3TB*6でも12TBしか容量を使うことができず、容量の実効効率が…、ということでRAID5を選択。

 

さてではRAIDの種類も決まったことで早速RAID5の構築へ。

下記のサイトを参考にしながら取り組みました。

Ubuntu mdadm その54 – RAID 6アレイを作成する基本的なコマンドの例・作成したアレイの確認と利用 – Ubuntu kledgeb

今回の構成ではUSBメモリにOSを入れてある。HDD等の構成は以下の通り

HDD1 /dev/sda
HDD2 /dev/sdb
HDD3 /dev/sdc
HDD4 /dev/sdd
HDD5 /dev/sde
HDD6 /dev/sdf

USBメモリ(ブートディスク) /dev/sda

この中でHDD1〜6をRAID5にする。


shell> sudo mdadm --create /dev/md0 --level=raid5 --raid-devices=6 --chunk=512 --verbose /dev/sd{a,b,c,d,e,f}

これでraidが構成される。確認は/proc/mdstatを見る


cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdf[6] sde[4] sdd[3] sdc[2] sdb[1] sda[0]
14650675200 blocks super 1.2 level 5, 512k chunk, algorithm 2 [6/5] [UUUUU_]
[==========>..........] recovery = 54.5% (1598589964/2930135040) finish=219.0min speed=101293K/sec

unused devices: <none>

この状態でRAIDの同期中なのであとは同期完了まで待てばOK!

l2tpのTeamSpeak3サーバ IPアドレス変更のお知らせ

こんにちは、l2tp管理人の岡田洋一です。

l2tp TeamSpeakサーバでは皆さんに仲良く元気にボイスチャットを行ってもらえるよう、サーバを提供しています。

実はこの数日、9月2日ごろから、午後9時ごろからTeamSpeakサーバが落ちてしまう事案が発生していました。

原因が不明だったのですがISPと相談したところ「帯域制限を掛けたいほどの異常なトラフィック」を検知したとの報告を受けました。

トラフィックの内容は「不特定多数から、ソースポート53番でのトラフィック」とのことで、どうやらDNS ampと呼ばれる類いのDDoS受けているのでは無いか、とのことでした。

9月1日お昼頃からずーっと断続的に攻撃を受けているようで、「できれば固定IPアドレスを変更してくれ」とのことでした。

こちらとしても皆さんにサーバを使ってもらうためにこの攻撃を回避しなくてはならず、やむを得ずIPアドレスの変更を受け付けました。

従いまして、TeamSpeakサーバのアドレスが変更になります。

TeamSpeakサーバのホスト名(ts.l2tp.org)はそのまま使うことができますが、IPアドレスで接続している方は変更をよろしくお願いします。

 

急なお話なのですが、今夜9月6日(土)の早朝に切り替え作業を行う予定になっています。

ご利用中の皆様にはご迷惑をおかけしますが、何卒ご理解ご協力の程宜しくお願いいたします。

svnで結果をたくさん入れたかった

Ubuntu Serverのアップグレードを行ったんだけど、apacheのconfファイルが色々と変わってて、それに伴って/etc配下をsvnに入れてた分の更新作業を行った。

Ubuntu Serverは12.04から14.04にアップグレードしたんだけれど、一つ前の13.10からapacheのconfのルールなどがちょくちょくかわったみたいで更新作業が結構発生した。

また標準で(?)くっついてくるモジュールが減ったらしく、前のバージョンでは存在したmodsのconfとloadファイルが無くなっていた。

自分は利用するconfファイルをすべてsvn管理下においているんだけど、アップグレードでaptによって削除されてしまったファイルがいくつか。


shell> cd /etc/apache2/
shell> svn st
...(前略)...
? mods-available/authn_core.load
! mods-available/authn_default.load
? mods-available/authn_socache.load
? mods-available/authz_core.load
? mods-available/authz_dbd.load
! mods-available/authz_default.load
? mods-available/buffer.load
? mods-available/cache_disk.conf
? mods-available/cache_disk.load
? mods-available/cache_socache.load
! mods-available/cern_meta.load
? mods-available/data.load
? mods-available/dialup.load
...(後略)....

svn stしてみると出てくるファイルのうち、?は新規に追加されたファイル、!は削除されてしまったファイル。
これらのファイルをsvn del、svn addしてみる。
手動でひとつひとつ追加、削除するのは大変なのでsvn stからcutをつかってxargsにわたしてみる。
svn stの!とか?からファイル名までは空白8文字で、cutに行頭から9文字を削除するオプションがあるらしくてそれをつかう。

shell> svn st | grep ! | cut -c9- | xargs svn del
D authn_default.load
D authz_default.load
D cern_meta.load
D disk_cache.conf
D disk_cache.load
D ident.load
D imagemap.load
D mem_cache.conf
D mem_cache.load
D version.load
shell> svn st | grep \? | cut -c9- | xargs svn add
A cache_disk.load
A cache_socache.load
A data.load
A dialup.load
A echo.load
...(後略)...

</pre>

というわけでたくさんのファイルを一括して処理できました。

addの方ではハテナマークをエスケープするためにバックスラッシュを追加した。またファイル名の途中にハテナやビックリが入っていると引っかかりそうなので、行頭から(-e ‘^!’)を入れた方がいいかも。

WordPressの検索で検索結果が表示されなくて困った

WordPressの検索をいじっている最中に検索結果が出なくて困った。

pre_get_posts (にフックした関数)をいじっていたんだけれど、全然思ったような結果にならずに結構困っていた。

原因は色々あったんだけれど、二箇所で困ったのでメモしておく。

検索結果がでない、ということはSQLに問題がある。

なのでSQLの中身を確認してなぜ出ないかを検討することに。

以下のダンプをpre_get_postではなく、利用したいテンプレート側に記載。

$wp_query->requestは実行されたSQL文なんだけど、これはpre_get_postsの後に実行されたSQL文なので該当するテンプレートに記載しないと読み出せない。


<span style="line-height: 1.5;">var_dump($wp_query->request);</span>

まず一つはpost_typeが’post’にしかなっていない点。これはpre_get_postsの関数内で


$query->set('post_type', 'post');

を記載すること。これが実は結構やっかいで、他の条件文、例えばtax_queryなどと組み合わす際には無くても何とかなったりするので、条件文を組み立てている最中のデバッグと完成したカタチではpost_typeの指定が必要か不要か、結構迷うことになる。

post_typeに何も指定されていない場合に実際に中身を決定づけているのはwp-includes/query.phpのget_posts内でpost_type = ‘any’として処理していき、状況に応じていろんなのが入る。例えばattachmentとかpostなど。

このget_postsは結構大きなメソッドでこれまた結構読みづらいんだけど、詰まるたんびに読んでいればそのうち読めるようになるかも。

さて次いで検索結果がでない状況に当たったんだけど、これはSQL内に 0 = 1 なんていう文が。例えば下記のような感じに。


string(250) "SELECT SQL_CALC_FOUND_ROWS wp_posts.ID FROM wp_posts WHERE 1=1 AND 0 = 1 AND wp_posts.post_type = 'custom_post' AND (wp_posts.post_status = 'publish' OR wp_posts.post_status = 'private') GROUP BY wp_posts.ID ORDER BY wp_posts.post_date DESC LIMIT 0, 5"

where句の二つ目にばっちり0 = 1の条件が。おかげさまで検索結果はゼロに。

wp-includes/query.phpのget_postsを丁寧に調べていくと下記の部分で付け加えられていた。


// Taxonomies
 if ( !$this->is_singular ) {
 $this->parse_tax_query( $q );

$clauses = $this->tax_query->get_sql( $wpdb->posts, 'ID' );

$join .= $clauses['join'];
 $where .= $clauses['where'];
 }

ここのtax_query->get_sql() の部分。

今回このpre_get_postsではtax_queryを使用していなかったのでどうやらそれが原因らしい。

結果としては今回対象となるページが http://www.example.com/search/ なんていう検索用のURLだったんだけど、searchを普通のpostのcategoryとして見做していたようで、get_posts内の$this->tax_queryという$qを元に作られたタクソノミクエリでは


object(WP_Tax_Query)#9 (2) {
 ["queries"]=>
 array(1) {
 [0]=>
 array(5) {
 ["taxonomy"]=>
 string(8) "category"
 ["terms"]=>
 array(1) {
 [0]=>
 string(6) "search"
 }
 ["include_children"]=>
 bool(true)
 ["field"]=>
 string(4) "slug"
 ["operator"]=>
 string(2) "IN"
 }
 }
 ["relation"]=>
 string(3) "AND"
}

という状態に。

$qや$parsed_query、$wp_queryを調べてみると’category_name’に’search’が設定されていた。

これはパーマリンク設定で記事名を/%category%/%postname%/のようにしていたことで、最初のスラッシュからスラッシュの間をカテゴリ名として認識していたから、のようだ。

なのでpre_get_postsの中で


$query->set('category_name', '');

としてやることで不必要なtax_queryを省くことができた。