arch/um/kernel/skas/uaccess.c

   1 /*
   2  * Copyright (C) 2002 - 2007 Jeff Dike (jdike@{addtoit,linux.intel}.com)
   3  * Licensed under the GPL
   4  */
   5
   6 #include "linux/err.h"
   7 #include "linux/highmem.h"
   8 #include "linux/mm.h"
   9 #include "asm/current.h"
  10 #include "asm/page.h"
  11 #include "asm/pgtable.h"
  12 #include "kern_util.h"
  13 #include "os.h"
  14
  15 static void *um_virt_to_phys(struct task_struct *task, unsigned long addr,
  16                              pte_t *pte_out)
  17 {
  18         pgd_t *pgd;
  19         pud_t *pud;
  20         pmd_t *pmd;
  21         pte_t *pte;
  22         pte_t ptent;
  23
  24         if (task->mm == NULL)
  25                 return ERR_PTR(-EINVAL);
  26         pgd = pgd_offset(task->mm, addr);
  27         if (!pgd_present(*pgd))
  28                 return ERR_PTR(-EINVAL);
  29
  30         pud = pud_offset(pgd, addr);
  31         if (!pud_present(*pud))
  32                 return ERR_PTR(-EINVAL);
  33
  34         pmd = pmd_offset(pud, addr);
  35         if (!pmd_present(*pmd))
  36                 return ERR_PTR(-EINVAL);
  37
  38         pte = pte_offset_kernel(pmd, addr);
  39         ptent = *pte;
  40         if (!pte_present(ptent))
  41                 return ERR_PTR(-EINVAL);
  42
  43         if (pte_out != NULL)
  44                 *pte_out = ptent;
  45         return (void *) (pte_val(ptent) & PAGE_MASK) + (addr & ~PAGE_MASK);
  46 }
  47
  48 static unsigned long maybe_map(unsigned long virt, int is_write)
  49 {
  50         pte_t pte;
  51         int err;
  52
  53         void *phys = um_virt_to_phys(current, virt, &pte);
  54         int dummy_code;
  55
  56         if (IS_ERR(phys) || (is_write && !pte_write(pte))) {
  57                 err = handle_page_fault(virt, 0, is_write, 1, &dummy_code);
  58                 if (err)
  59                         return -1UL;
  60                 phys = um_virt_to_phys(current, virt, NULL);
  61         }
  62         if (IS_ERR(phys))
  63                 phys = (void *) -1;
  64
  65         return (unsigned long) phys;
  66 }
  67
  68 static int do_op_one_page(unsigned long addr, int len, int is_write,
  69                  int (*op)(unsigned long addr, int len, void *arg), void *arg)
  70 {
  71         struct page *page;
  72         int n;
  73
  74         addr = maybe_map(addr, is_write);
  75         if (addr == -1UL)
  76                 return -1;
  77
  78         page = phys_to_page(addr);
  79         addr = (unsigned long) kmap_atomic(page, KM_UML_USERCOPY) +
  80                 (addr & ~PAGE_MASK);
  81
  82         n = (*op)(addr, len, arg);
  83
  84         kunmap_atomic(page, KM_UML_USERCOPY);
  85
  86         return n;
  87 }
  88
  89 static void do_buffer_op(void *jmpbuf, void *arg_ptr)
  90 {
  91         va_list args;
  92         unsigned long addr;
  93         int len, is_write, size, remain, n;
  94         int (*op)(unsigned long, int, void *);
  95         void *arg;
  96         int *res;
  97
  98         va_copy(args, *(va_list *)arg_ptr);
  99         addr = va_arg(args, unsigned long);
 100         len = va_arg(args, int);
 101         is_write = va_arg(args, int);
 102         op = va_arg(args, void *);
 103         arg = va_arg(args, void *);
 104         res = va_arg(args, int *);
 105         va_end(args);
 106         size = min(PAGE_ALIGN(addr) - addr, (unsigned long) len);
 107         remain = len;
 108
 109         current->thread.fault_catcher = jmpbuf;
 110         n = do_op_one_page(addr, size, is_write, op, arg);
 111         if (n != 0) {
 112                 *res = (n < 0 ? remain : 0);
 113                 goto out;
 114         }
 115
 116         addr += size;
 117         remain -= size;
 118         if (remain == 0) {
 119                 *res = 0;
 120                 goto out;
 121         }
 122
 123         while(addr < ((addr + remain) & PAGE_MASK)) {
 124                 n = do_op_one_page(addr, PAGE_SIZE, is_write, op, arg);
 125                 if (n != 0) {
 126                         *res = (n < 0 ? remain : 0);
 127                         goto out;
 128                 }
 129
 130                 addr += PAGE_SIZE;
 131                 remain -= PAGE_SIZE;
 132         }
 133         if (remain == 0) {
 134                 *res = 0;
 135                 goto out;
 136         }
 137
 138         n = do_op_one_page(addr, remain, is_write, op, arg);
 139         if (n != 0)
 140                 *res = (n < 0 ? remain : 0);
 141         else *res = 0;
 142  out:
 143         current->thread.fault_catcher = NULL;
 144 }
 145
 146 static int buffer_op(unsigned long addr, int len, int is_write,
 147                      int (*op)(unsigned long addr, int len, void *arg),
 148                      void *arg)
 149 {
 150         int faulted, res;
 151
 152         faulted = setjmp_wrapper(do_buffer_op, addr, len, is_write, op, arg,
 153                                  &res);
 154         if (!faulted)
 155                 return res;
 156
 157         return addr + len - (unsigned long) current->thread.fault_addr;
 158 }
 159
 160 static int copy_chunk_from_user(unsigned long from, int len, void *arg)
 161 {
 162         unsigned long *to_ptr = arg, to = *to_ptr;
 163
 164         memcpy((void *) to, (void *) from, len);
 165         *to_ptr += len;
 166         return 0;
 167 }
 168
 169 int copy_from_user(void *to, const void __user *from, int n)
 170 {
 171         if (segment_eq(get_fs(), KERNEL_DS)) {
 172                 memcpy(to, (__force void*)from, n);
 173                 return 0;
 174         }
 175
 176         return access_ok(VERIFY_READ, from, n) ?
 177                buffer_op((unsigned long) from, n, 0, copy_chunk_from_user, &to):
 178                n;
 179 }
 180
 181 static int copy_chunk_to_user(unsigned long to, int len, void *arg)
 182 {
 183         unsigned long *from_ptr = arg, from = *from_ptr;
 184
 185         memcpy((void *) to, (void *) from, len);
 186         *from_ptr += len;
 187         return 0;
 188 }
 189
 190 int copy_to_user(void __user *to, const void *from, int n)
 191 {
 192         if (segment_eq(get_fs(), KERNEL_DS)) {
 193                 memcpy((__force void *) to, from, n);
 194                 return 0;
 195         }
 196
 197         return access_ok(VERIFY_WRITE, to, n) ?
 198                buffer_op((unsigned long) to, n, 1, copy_chunk_to_user, &from) :
 199                n;
 200 }
 201
 202 static int strncpy_chunk_from_user(unsigned long from, int len, void *arg)
 203 {
 204         char **to_ptr = arg, *to = *to_ptr;
 205         int n;
 206
 207         strncpy(to, (void *) from, len);
 208         n = strnlen(to, len);
 209         *to_ptr += n;
 210
 211         if (n < len)
 212                 return 1;
 213         return 0;
 214 }
 215
 216 int strncpy_from_user(char *dst, const char __user *src, int count)
 217 {
 218         int n;
 219         char *ptr = dst;
 220
 221         if (segment_eq(get_fs(), KERNEL_DS)) {
 222                 strncpy(dst, (__force void *) src, count);
 223                 return strnlen(dst, count);
 224         }
 225
 226         if (!access_ok(VERIFY_READ, src, 1))
 227                 return -EFAULT;
 228
 229         n = buffer_op((unsigned long) src, count, 0, strncpy_chunk_from_user,
 230                       &ptr);
 231         if (n != 0)
 232                 return -EFAULT;
 233         return strnlen(dst, count);
 234 }
 235
 236 static int clear_chunk(unsigned long addr, int len, void *unused)
 237 {
 238         memset((void *) addr, 0, len);
 239         return 0;
 240 }
 241
 242 int __clear_user(void __user *mem, int len)
 243 {
 244         return buffer_op((unsigned long) mem, len, 1, clear_chunk, NULL);
 245 }
 246
 247 int clear_user(void __user *mem, int len)
 248 {
 249         if (segment_eq(get_fs(), KERNEL_DS)) {
 250                 memset((__force void*)mem, 0, len);
 251                 return 0;
 252         }
 253
 254         return access_ok(VERIFY_WRITE, mem, len) ?
 255                buffer_op((unsigned long) mem, len, 1, clear_chunk, NULL) : len;
 256 }
 257
 258 static int strnlen_chunk(unsigned long str, int len, void *arg)
 259 {
 260         int *len_ptr = arg, n;
 261
 262         n = strnlen((void *) str, len);
 263         *len_ptr += n;
 264
 265         if (n < len)
 266                 return 1;
 267         return 0;
 268 }
 269
 270 int strnlen_user(const void __user *str, int len)
 271 {
 272         int count = 0, n;
 273
 274         if (segment_eq(get_fs(), KERNEL_DS))
 275                 return strnlen((__force char*)str, len) + 1;
 276
 277         n = buffer_op((unsigned long) str, len, 0, strnlen_chunk, &count);
 278         if (n == 0)
 279                 return count + 1;
 280         return -EFAULT;
 281 }