nishiru3の日記

備忘録です。ネットのゴミ。

MarkDown

ツール

会社でMarkDownの話題が出ていたので、 Emacsに入れてみました。 「.md」ファイルに下記のように入力すると、

# 見出し1
# 見出し2
# 見出し3

以下のようになります。

見出し1

見出し2

見出し3

所詮テキストファイルなので、軽いですし、 .mdファイルの結果は、HTMLのブラウザで見れます。 このはてなも、マークダウン形式で書けます。

マークダウンのファイルはテキストファイルですが、 HTMLブラウザで見るには変換する必要があります。

Emacs、Vim、SublimeTextでは変換ツールが備わっています。

EmacsやVimを使ったことがない人はSublimeTextが良いかと思います。 パッケージのインストールとか楽ですし、キーバインドも他のテキストエディタと比較して、 大きな違いがないかと思います。下記のページが非常に参考になります。

http://webmem.hatenablog.com/entry/sublime-text-markdown

EmacsやVimの利用者は、説明する必要はないと思います。 （こだわりを持って利用されていると思います）

MarkDown記法はググればたくさん出てきます。、

置換

Perl

置換はよくやる作業だと思います。
事務処理でも、研究でも、ITでも。

Perlだと「s/置換前/置換後/」で変換できます。

  • ファイルの読み込み
  • 置換
  • 置換後のファイル出力

をやれば、複数ファイルでも、自動で置換できるはずです。

use strict;
use warnings;
my $str = "I am Ken.\n";
print $str;
$str =~ s/I am/You are/;
print $str;

相互相関係数

統計

二変数の相関係数を相互相関係数と言います。
下記の式で表現されるようです。

データはx、yの二つの時系列データがある場合を考えています。

\begin{eqnarray} {r}_{xy}(h)= \frac{ \Sigma_{t=1}^{T-h}(x_t-\overline{x})(y_{t+h}-\overline{y})} {\displaystyle\sqrt{\Sigma_{t=1}^{T-h}(x_t-\overline{x})^2} \displaystyle\sqrt{\Sigma_{t=1}^{T}(y_{t+h}-\overline{y})^2} } \end{eqnarray}

その他の変数の意味は下記をご参照ください。


自己相関係数 - nishiru3の日記

自己相関や相互相関は、自己回帰モデルで使われるので、
重要な概念です。また、何度も言いますがスペクトル解析でも出てきます。

確率統計については、理系、文系問わずに必要な学問だなぁと改めて感じていますし、多くの分野で使われるということは、それだけ応用が利くということです。

自己相関係数のプログラム

統計

自己相関係数を求めるためのプログラムです。

#include <iostream>
#include <fstream>
#include <cstdlib>
#include <cmath>
using namespace std;
void self_corr (double* x, int imax,double* r){
    // 平均値の算定
    double x_ave = 0.0;
    for(int i = 0; i < imax; i++){
	x_ave+=x[i];
    }
    x_ave/=(double)imax;
    // 平均値を差し引く
    double *y = new double[imax];
    for(int i = 0; i < imax; i++){
	y[i] = x[i]-x_ave;
    }
    // 自己相関係数のうち、分母denomの算定
    double denom=0.0;		// 分母denom
    for(int i = 0; i< imax; i++){
	denom=denom+y[i]*y[i];
    }
    // 自己相関係数のうち、分子numerおよび自己相関係数rの算定
    for(int h = 0; h <imax; h++){
	double numer = 0.0;	// 分子
	for(int i = 0; i < imax-h; i++){
	    numer=numer+y[i]*y[i+h];
	}
	r[h] = numer/denom;	// 自己相関係数
    }
}
//
int main(void) {
    // 入力ファイル
    fstream ifs("in.txt");
    // 時系列の個数
    int imax = 7306;
    // 時系列データxと自己相関係数rの配列確保
    double* x = new double[imax];
    double* r = new double[imax];
    // 入力ファイルからのデータ入力
    for(int i = 0; i < imax; i++) {
	ifs >> x[i];
    }
    // 自己相関係数の算定
    self_corr ( x, imax, r);
    // 自己相関係数の出力
    for(int i = 0; i < imax; i++) {
	cout << r[i] << endl;
    }
}

気象庁のホームページから、日平均気温を引っ張ってきて、
自己相関係数を求めてみました。


気象庁｜過去の気象データ検索

日平均気温であれば、365日周期で、相関係数が1に近づきます。
（当たり前ですね。一年前との気温は概ね同じはず。）
ただし、ラグが大きくなればなるほど、周期はそのままに、相関係数は小さくなります。
このように当たり前のことであれば、自己相関を取るまでもなく、その特徴がわかるかと思います。

さらに踏み込むと、二変数に対して相関係数をとる方法に相互相関係数があります。
たとえば、雨と河川流量とかです。なんとなく、雨が降ると流量は増えそうだなと、直感でわかりますが、その時間差は？と聞かれると、不明です。

次回はぜひそれについて。

f:id:nishiru3:20141105184403j:plain

自己相関係数

統計

乱流の話で出てきたのが、はじめてだったと思います。
あと、気温とか、雨量とかの分析でも使われます。

気温なんかは日変動量や月変動量等の理屈はわかっているので、あまり意味がないですが、
練習問題としてはわかりやすいです。

スペクトル解析でも当然のように出てきます。
非常に重要です。

以下、自己相関係数の定義です。

r(h) = \frac{\Sigma_{t=1}^{T-h}(x_t-\overline{x})(x_{t+h}-\overline{x})}{\Sigma_{t=1}^{T}(x_t-\overline{x})^2}

Tは時系列の個数、hはラグ、xはデータ、\overline{x}はデータの平均値です。h=0の場合、当然ですがr(0)=1です。ラグが0の場合は、その値と一致するからです。

フィルタ

フィルタ

カルマンフィルタの基礎

カルマンフィルタの基礎

カルマンフィルタの基礎

特に仕事で必要だった訳ではなく、気になっていたので、買ってみました。
ソースも書いてありますが、Matlabです。
「Octave」「Scilab」であればあまり変更せずに使えると思います。


時系列解析入門

時系列解析入門

時系列解析入門

カルマンフィルタもそうですが、パーティクルフィルタ（or モンテカルロフィルタ）について記述されています。
ソースコードはWebに公開されています。

Perlの勉強

Perl

Perl入学式の資料を引用しています。

https://github.com/perl-entrance-org/workshop-2013-04/blob/master/slide.md

文字列の検索です。
マッチするかどうかは「=~//」でいけるようです。

my $str = 'python,perl,ruby,php,awk,sed';
if ($str =~ /perl/) {
    print "'$str'は'perl'を含みます.";
}