block/blk-mq-cpu.c

   1 #include <linux/kernel.h>
   2 #include <linux/module.h>
   3 #include <linux/init.h>
   4 #include <linux/blkdev.h>
   5 #include <linux/list.h>
   6 #include <linux/llist.h>
   7 #include <linux/smp.h>
   8 #include <linux/cpu.h>
   9
  10 #include <linux/blk-mq.h>
  11 #include "blk-mq.h"
  12
  13 static LIST_HEAD(blk_mq_cpu_notify_list);
  14 static DEFINE_RAW_SPINLOCK(blk_mq_cpu_notify_lock);
  15
  16 static int blk_mq_main_cpu_notify(struct notifier_block *self,
  17                                   unsigned long action, void *hcpu)
  18 {
  19         unsigned int cpu = (unsigned long) hcpu;
  20         struct blk_mq_cpu_notifier *notify;
  21         int ret = NOTIFY_OK;
  22
  23         raw_spin_lock(&blk_mq_cpu_notify_lock);
  24
  25         list_for_each_entry(notify, &blk_mq_cpu_notify_list, list) {
  26                 ret = notify->notify(notify->data, action, cpu);
  27                 if (ret != NOTIFY_OK)
  28                         break;
  29         }
  30
  31         raw_spin_unlock(&blk_mq_cpu_notify_lock);
  32         return ret;
  33 }
  34
  35 void blk_mq_register_cpu_notifier(struct blk_mq_cpu_notifier *notifier)
  36 {
  37         BUG_ON(!notifier->notify);
  38
  39         raw_spin_lock(&blk_mq_cpu_notify_lock);
  40         list_add_tail(&notifier->list, &blk_mq_cpu_notify_list);
  41         raw_spin_unlock(&blk_mq_cpu_notify_lock);
  42 }
  43
  44 void blk_mq_unregister_cpu_notifier(struct blk_mq_cpu_notifier *notifier)
  45 {
  46         raw_spin_lock(&blk_mq_cpu_notify_lock);
  47         list_del(&notifier->list);
  48         raw_spin_unlock(&blk_mq_cpu_notify_lock);
  49 }
  50
  51 void blk_mq_init_cpu_notifier(struct blk_mq_cpu_notifier *notifier,
  52                               int (*fn)(void *, unsigned long, unsigned int),
  53                               void *data)
  54 {
  55         notifier->notify = fn;
  56         notifier->data = data;
  57 }
  58
  59 void __init blk_mq_cpu_init(void)
  60 {
  61         hotcpu_notifier(blk_mq_main_cpu_notify, 0);
  62 }