fs/xfs/kmem.c

   1 /*
   2  * Copyright (c) 2000-2005 Silicon Graphics, Inc.
   3  * All Rights Reserved.
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License as
   7  * published by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it would be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License
  15  * along with this program; if not, write the Free Software Foundation,
  16  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17  */
  18 #include <linux/mm.h>
  19 #include <linux/sched/mm.h>
  20 #include <linux/highmem.h>
  21 #include <linux/slab.h>
  22 #include <linux/swap.h>
  23 #include <linux/blkdev.h>
  24 #include <linux/backing-dev.h>
  25 #include "kmem.h"
  26 #include "xfs_message.h"
  27
  28 /*
  29  * Greedy allocation.  May fail and may return vmalloced memory.
  30  */
  31 void *
  32 kmem_zalloc_greedy(size_t *size, size_t minsize, size_t maxsize)
  33 {
  34         void            *ptr;
  35         size_t          kmsize = maxsize;
  36
  37         while (!(ptr = vzalloc(kmsize))) {
  38                 if ((kmsize >>= 1) <= minsize)
  39                         kmsize = minsize;
  40         }
  41         if (ptr)
  42                 *size = kmsize;
  43         return ptr;
  44 }
  45
  46 void *
  47 kmem_alloc(size_t size, xfs_km_flags_t flags)
  48 {
  49         int     retries = 0;
  50         gfp_t   lflags = kmem_flags_convert(flags);
  51         void    *ptr;
  52
  53         do {
  54                 ptr = kmalloc(size, lflags);
  55                 if (ptr || (flags & (KM_MAYFAIL|KM_NOSLEEP)))
  56                         return ptr;
  57                 if (!(++retries % 100))
  58                         xfs_err(NULL,
  59         "%s(%u) possible memory allocation deadlock size %u in %s (mode:0x%x)",
  60                                 current->comm, current->pid,
  61                                 (unsigned int)size, __func__, lflags);
  62                 congestion_wait(BLK_RW_ASYNC, HZ/50);
  63         } while (1);
  64 }
  65
  66 void *
  67 kmem_zalloc_large(size_t size, xfs_km_flags_t flags)
  68 {
  69         unsigned noio_flag = 0;
  70         void    *ptr;
  71         gfp_t   lflags;
  72
  73         ptr = kmem_zalloc(size, flags | KM_MAYFAIL);
  74         if (ptr)
  75                 return ptr;
  76
  77         /*
  78          * __vmalloc() will allocate data pages and auxillary structures (e.g.
  79          * pagetables) with GFP_KERNEL, yet we may be under GFP_NOFS context
  80          * here. Hence we need to tell memory reclaim that we are in such a
  81          * context via PF_MEMALLOC_NOIO to prevent memory reclaim re-entering
  82          * the filesystem here and potentially deadlocking.
  83          */
  84         if ((current->flags & PF_FSTRANS) || (flags & KM_NOFS))
  85                 noio_flag = memalloc_noio_save();
  86
  87         lflags = kmem_flags_convert(flags);
  88         ptr = __vmalloc(size, lflags | __GFP_HIGHMEM | __GFP_ZERO, PAGE_KERNEL);
  89
  90         if ((current->flags & PF_FSTRANS) || (flags & KM_NOFS))
  91                 memalloc_noio_restore(noio_flag);
  92
  93         return ptr;
  94 }
  95
  96 void *
  97 kmem_realloc(const void *old, size_t newsize, xfs_km_flags_t flags)
  98 {
  99         int     retries = 0;
 100         gfp_t   lflags = kmem_flags_convert(flags);
 101         void    *ptr;
 102
 103         do {
 104                 ptr = krealloc(old, newsize, lflags);
 105                 if (ptr || (flags & (KM_MAYFAIL|KM_NOSLEEP)))
 106                         return ptr;
 107                 if (!(++retries % 100))
 108                         xfs_err(NULL,
 109         "%s(%u) possible memory allocation deadlock size %zu in %s (mode:0x%x)",
 110                                 current->comm, current->pid,
 111                                 newsize, __func__, lflags);
 112                 congestion_wait(BLK_RW_ASYNC, HZ/50);
 113         } while (1);
 114 }
 115
 116 void *
 117 kmem_zone_alloc(kmem_zone_t *zone, xfs_km_flags_t flags)
 118 {
 119         int     retries = 0;
 120         gfp_t   lflags = kmem_flags_convert(flags);
 121         void    *ptr;
 122
 123         do {
 124                 ptr = kmem_cache_alloc(zone, lflags);
 125                 if (ptr || (flags & (KM_MAYFAIL|KM_NOSLEEP)))
 126                         return ptr;
 127                 if (!(++retries % 100))
 128                         xfs_err(NULL,
 129                 "%s(%u) possible memory allocation deadlock in %s (mode:0x%x)",
 130                                 current->comm, current->pid,
 131                                 __func__, lflags);
 132                 congestion_wait(BLK_RW_ASYNC, HZ/50);
 133         } while (1);
 134 }