Subscribed unsubscribe Subscribe Subscribe

Kentaro Kuribayashi's blog

Software Engineering, Management, Books, and Daily Journal.

#fluentdcasual にいってきたメモ

Fluentd Casual Talksをききにいってきました。以下メモ。

fluentdはじめました by @oranie

  • httpdのレスポンスタイム取りたいね
    • in_tailでとってるのかな
    • apacheログのフォーマットって統一化してるのかな
  • in_tail動かしてるfluentdがappサーバと同居してるのって、デプロイってどうしてるのかなー
    • configを動的生成してる → ちょっと具体的にわかんなかったのであとでブログみよう
  • in_forwardが10,000 message/secでCPU的に限界にきてる(スペックわすれた → 死霊みる)

fluentdでウェブサイト運用を楽にする by @fujiwara

  • access log 10GB/day
  • in_tailではなくfluent-agent-liteで
    • fluentd置くより負荷低いらしい
  • file_alternativeとzabbixでoutput
  • datacountで2xx, 3xx, ...の数、%など
  • 同じくレスポンスタイムも0-10ms, 10-100ms, ...で
  • レスポンスタイムのリアルタイムな可視化重要
  • コミュニティ運営(といあわせ対応)のためにユーザの行動ログをアプリ側でやってるそうな → mongo
  • メール送信まわりも。mailログgrepとかつらい。 → プログラマssh & grepとかしなくなってよくなった
  • fluent内で$log.errorとか吐いとくと、fluent.errorというタグで扱えるそうな
  • でとりこぼしを防げる

小さく始めるfluentd by @kzk_mover

  • NHNとかcookpadとかすごいけど、もちょっとカジュアルにw
  • 日々の業務を改善しましょう
    • 気軽にきかれるビジネス的な数字に「わかりません」とか、面倒なことして調べるとかしなくても簡単にこたえられるように
    • サポート的な質問とかも
  • casualな使い方
    • 行動ログ → サポート的に有効
    • リアルタイム監視 → libratっての使ってるんだって http://librato.com/しきい値こえたらcampfireにalertとばす
    • 月$4で使えてる
    • エラーログ収集
    • エラー通知 → PagerDutyってとこのAPIになげると電話かけてくれるそうなw
    • ログ解析 → mongodbに入れてさえいればいろいろできえるね → あんま多い時はhadoopで(tagomorisさんが作る)

LT

  • fluentdを使ってみたい by @riywo
    • DeNAさん、全然使ってないそうなw
  • fluent-output-s3使ってみた by @ume3_
    • githubでissuesたてたら対応してもらってありがとうございました
  • Javaアプリからfluentd使う by @tanaka_733
    • Javaのよく使われてるloggerとAPIあわせてfluentdにもなげられるように
  • アクセスログをごにょって by @tnmt
    • 30days albumで導入してみた話
    • datacounterでサンプリングしてgrowthforecast
  • fluentd + redisで画像レコメン by @hito_asa
    • 全ユーザごとに画像閲覧ログを時系列にredisで保持
    • 隣接する画像でスコア加算 → さらにredisに
  • センサーデータをfluentdで集めてみた by @katsyoshi
    • beagle board
    • fluent-plugin-serialport
    • やばそう
  • 最近作ったプラグインをざっと紹介 by @tagomoris
    • 1.9.3 + jemalloc
    • いろいろ大規模〜
    • flowcounter, datacounter面白い
    • numeric-monitor
  • fluen.py by @methane
    • fluentdのpython実装
    • ruby版と比べて全然メモリ効率がぜんぜんよい
    • プラグインはpythonなひといっぱいいて自分らで書くからいいやって感じだそうな
  • プラグイン開発者の憂鬱 by @repeatedly
    • fluent-plugin-mongo
    • mongodbはそろそろオワコンらしいです。