arch/powerpc/kvm/powerpc.c

   1 /*
   2  * This program is free software; you can redistribute it and/or modify
   3  * it under the terms of the GNU General Public License, version 2, as
   4  * published by the Free Software Foundation.
   5  *
   6  * This program is distributed in the hope that it will be useful,
   7  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   8  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
   9  * GNU General Public License for more details.
  10  *
  11  * You should have received a copy of the GNU General Public License
  12  * along with this program; if not, write to the Free Software
  13  * Foundation, 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  14  *
  15  * Copyright IBM Corp. 2007
  16  *
  17  * Authors: Hollis Blanchard <hollisb@us.ibm.com>
  18  *          Christian Ehrhardt <ehrhardt@linux.vnet.ibm.com>
  19  */
  20
  21 #include <linux/errno.h>
  22 #include <linux/err.h>
  23 #include <linux/kvm_host.h>
  24 #include <linux/module.h>
  25 #include <linux/vmalloc.h>
  26 #include <linux/hrtimer.h>
  27 #include <linux/fs.h>
  28 #include <linux/slab.h>
  29 #include <asm/cputable.h>
  30 #include <asm/uaccess.h>
  31 #include <asm/kvm_ppc.h>
  32 #include <asm/tlbflush.h>
  33 #include "timing.h"
  34 #include "../mm/mmu_decl.h"
  35
  36 #define CREATE_TRACE_POINTS
  37 #include "trace.h"
  38
  39 int kvm_arch_vcpu_runnable(struct kvm_vcpu *v)
  40 {
  41         return !(v->arch.shared->msr & MSR_WE) ||
  42                !!(v->arch.pending_exceptions);
  43 }
  44
  45 int kvmppc_kvm_pv(struct kvm_vcpu *vcpu)
  46 {
  47         int nr = kvmppc_get_gpr(vcpu, 11);
  48         int r;
  49         unsigned long __maybe_unused param1 = kvmppc_get_gpr(vcpu, 3);
  50         unsigned long __maybe_unused param2 = kvmppc_get_gpr(vcpu, 4);
  51         unsigned long __maybe_unused param3 = kvmppc_get_gpr(vcpu, 5);
  52         unsigned long __maybe_unused param4 = kvmppc_get_gpr(vcpu, 6);
  53         unsigned long r2 = 0;
  54
  55         if (!(vcpu->arch.shared->msr & MSR_SF)) {
  56                 /* 32 bit mode */
  57                 param1 &= 0xffffffff;
  58                 param2 &= 0xffffffff;
  59                 param3 &= 0xffffffff;
  60                 param4 &= 0xffffffff;
  61         }
  62
  63         switch (nr) {
  64         case HC_VENDOR_KVM | KVM_HC_PPC_MAP_MAGIC_PAGE:
  65         {
  66                 vcpu->arch.magic_page_pa = param1;
  67                 vcpu->arch.magic_page_ea = param2;
  68
  69                 r2 = 0;
  70
  71                 r = HC_EV_SUCCESS;
  72                 break;
  73         }
  74         case HC_VENDOR_KVM | KVM_HC_FEATURES:
  75                 r = HC_EV_SUCCESS;
  76 #if defined(CONFIG_PPC_BOOK3S) /* XXX Missing magic page on BookE */
  77                 r2 |= (1 << KVM_FEATURE_MAGIC_PAGE);
  78 #endif
  79
  80                 /* Second return value is in r4 */
  81                 break;
  82         default:
  83                 r = HC_EV_UNIMPLEMENTED;
  84                 break;
  85         }
  86
  87         kvmppc_set_gpr(vcpu, 4, r2);
  88
  89         return r;
  90 }
  91
  92 int kvmppc_emulate_mmio(struct kvm_run *run, struct kvm_vcpu *vcpu)
  93 {
  94         enum emulation_result er;
  95         int r;
  96
  97         er = kvmppc_emulate_instruction(run, vcpu);
  98         switch (er) {
  99         case EMULATE_DONE:
 100                 /* Future optimization: only reload non-volatiles if they were
 101                  * actually modified. */
 102                 r = RESUME_GUEST_NV;
 103                 break;
 104         case EMULATE_DO_MMIO:
 105                 run->exit_reason = KVM_EXIT_MMIO;
 106                 /* We must reload nonvolatiles because "update" load/store
 107                  * instructions modify register state. */
 108                 /* Future optimization: only reload non-volatiles if they were
 109                  * actually modified. */
 110                 r = RESUME_HOST_NV;
 111                 break;
 112         case EMULATE_FAIL:
 113                 /* XXX Deliver Program interrupt to guest. */
 114                 printk(KERN_EMERG "%s: emulation failed (%08x)\n", __func__,
 115                        kvmppc_get_last_inst(vcpu));
 116                 r = RESUME_HOST;
 117                 break;
 118         default:
 119                 BUG();
 120         }
 121
 122         return r;
 123 }
 124
 125 int kvm_arch_hardware_enable(void *garbage)
 126 {
 127         return 0;
 128 }
 129
 130 void kvm_arch_hardware_disable(void *garbage)
 131 {
 132 }
 133
 134 int kvm_arch_hardware_setup(void)
 135 {
 136         return 0;
 137 }
 138
 139 void kvm_arch_hardware_unsetup(void)
 140 {
 141 }
 142
 143 void kvm_arch_check_processor_compat(void *rtn)
 144 {
 145         *(int *)rtn = kvmppc_core_check_processor_compat();
 146 }
 147
 148 struct kvm *kvm_arch_create_vm(void)
 149 {
 150         struct kvm *kvm;
 151
 152         kvm = kzalloc(sizeof(struct kvm), GFP_KERNEL);
 153         if (!kvm)
 154                 return ERR_PTR(-ENOMEM);
 155
 156         return kvm;
 157 }
 158
 159 static void kvmppc_free_vcpus(struct kvm *kvm)
 160 {
 161         unsigned int i;
 162         struct kvm_vcpu *vcpu;
 163
 164         kvm_for_each_vcpu(i, vcpu, kvm)
 165                 kvm_arch_vcpu_free(vcpu);
 166
 167         mutex_lock(&kvm->lock);
 168         for (i = 0; i < atomic_read(&kvm->online_vcpus); i++)
 169                 kvm->vcpus[i] = NULL;
 170
 171         atomic_set(&kvm->online_vcpus, 0);
 172         mutex_unlock(&kvm->lock);
 173 }
 174
 175 void kvm_arch_sync_events(struct kvm *kvm)
 176 {
 177 }
 178
 179 void kvm_arch_destroy_vm(struct kvm *kvm)
 180 {
 181         kvmppc_free_vcpus(kvm);
 182         kvm_free_physmem(kvm);
 183         cleanup_srcu_struct(&kvm->srcu);
 184         kfree(kvm);
 185 }
 186
 187 int kvm_dev_ioctl_check_extension(long ext)
 188 {
 189         int r;
 190
 191         switch (ext) {
 192         case KVM_CAP_PPC_SEGSTATE:
 193         case KVM_CAP_PPC_PAIRED_SINGLES:
 194         case KVM_CAP_PPC_UNSET_IRQ:
 195         case KVM_CAP_ENABLE_CAP:
 196         case KVM_CAP_PPC_OSI:
 197         case KVM_CAP_PPC_GET_PVINFO:
 198                 r = 1;
 199                 break;
 200         case KVM_CAP_COALESCED_MMIO:
 201                 r = KVM_COALESCED_MMIO_PAGE_OFFSET;
 202                 break;
 203         default:
 204                 r = 0;
 205                 break;
 206         }
 207         return r;
 208
 209 }
 210
 211 long kvm_arch_dev_ioctl(struct file *filp,
 212                         unsigned int ioctl, unsigned long arg)
 213 {
 214         return -EINVAL;
 215 }
 216
 217 int kvm_arch_prepare_memory_region(struct kvm *kvm,
 218                                    struct kvm_memory_slot *memslot,
 219                                    struct kvm_memory_slot old,
 220                                    struct kvm_userspace_memory_region *mem,
 221                                    int user_alloc)
 222 {
 223         return 0;
 224 }
 225
 226 void kvm_arch_commit_memory_region(struct kvm *kvm,
 227                struct kvm_userspace_memory_region *mem,
 228                struct kvm_memory_slot old,
 229                int user_alloc)
 230 {
 231        return;
 232 }
 233
 234
 235 void kvm_arch_flush_shadow(struct kvm *kvm)
 236 {
 237 }
 238
 239 struct kvm_vcpu *kvm_arch_vcpu_create(struct kvm *kvm, unsigned int id)
 240 {
 241         struct kvm_vcpu *vcpu;
 242         vcpu = kvmppc_core_vcpu_create(kvm, id);
 243         if (!IS_ERR(vcpu))
 244                 kvmppc_create_vcpu_debugfs(vcpu, id);
 245         return vcpu;
 246 }
 247
 248 void kvm_arch_vcpu_free(struct kvm_vcpu *vcpu)
 249 {
 250         /* Make sure we're not using the vcpu anymore */
 251         hrtimer_cancel(&vcpu->arch.dec_timer);
 252         tasklet_kill(&vcpu->arch.tasklet);
 253
 254         kvmppc_remove_vcpu_debugfs(vcpu);
 255         kvmppc_core_vcpu_free(vcpu);
 256 }
 257
 258 void kvm_arch_vcpu_destroy(struct kvm_vcpu *vcpu)
 259 {
 260         kvm_arch_vcpu_free(vcpu);
 261 }
 262
 263 int kvm_cpu_has_pending_timer(struct kvm_vcpu *vcpu)
 264 {
 265         return kvmppc_core_pending_dec(vcpu);
 266 }
 267
 268 static void kvmppc_decrementer_func(unsigned long data)
 269 {
 270         struct kvm_vcpu *vcpu = (struct kvm_vcpu *)data;
 271
 272         kvmppc_core_queue_dec(vcpu);
 273
 274         if (waitqueue_active(&vcpu->wq)) {
 275                 wake_up_interruptible(&vcpu->wq);
 276                 vcpu->stat.halt_wakeup++;
 277         }
 278 }
 279
 280 /*
 281  * low level hrtimer wake routine. Because this runs in hardirq context
 282  * we schedule a tasklet to do the real work.
 283  */
 284 enum hrtimer_restart kvmppc_decrementer_wakeup(struct hrtimer *timer)
 285 {
 286         struct kvm_vcpu *vcpu;
 287
 288         vcpu = container_of(timer, struct kvm_vcpu, arch.dec_timer);
 289         tasklet_schedule(&vcpu->arch.tasklet);
 290
 291         return HRTIMER_NORESTART;
 292 }
 293
 294 int kvm_arch_vcpu_init(struct kvm_vcpu *vcpu)
 295 {
 296         hrtimer_init(&vcpu->arch.dec_timer, CLOCK_REALTIME, HRTIMER_MODE_ABS);
 297         tasklet_init(&vcpu->arch.tasklet, kvmppc_decrementer_func, (ulong)vcpu);
 298         vcpu->arch.dec_timer.function = kvmppc_decrementer_wakeup;
 299
 300         return 0;
 301 }
 302
 303 void kvm_arch_vcpu_uninit(struct kvm_vcpu *vcpu)
 304 {
 305         kvmppc_mmu_destroy(vcpu);
 306 }
 307
 308 void kvm_arch_vcpu_load(struct kvm_vcpu *vcpu, int cpu)
 309 {
 310         kvmppc_core_vcpu_load(vcpu, cpu);
 311 }
 312
 313 void kvm_arch_vcpu_put(struct kvm_vcpu *vcpu)
 314 {
 315         kvmppc_core_vcpu_put(vcpu);
 316 }
 317
 318 int kvm_arch_vcpu_ioctl_set_guest_debug(struct kvm_vcpu *vcpu,
 319                                         struct kvm_guest_debug *dbg)
 320 {
 321         return -EINVAL;
 322 }
 323
 324 static void kvmppc_complete_dcr_load(struct kvm_vcpu *vcpu,
 325                                      struct kvm_run *run)
 326 {
 327         kvmppc_set_gpr(vcpu, vcpu->arch.io_gpr, run->dcr.data);
 328 }
 329
 330 static void kvmppc_complete_mmio_load(struct kvm_vcpu *vcpu,
 331                                       struct kvm_run *run)
 332 {
 333         u64 uninitialized_var(gpr);
 334
 335         if (run->mmio.len > sizeof(gpr)) {
 336                 printk(KERN_ERR "bad MMIO length: %d\n", run->mmio.len);
 337                 return;
 338         }
 339
 340         if (vcpu->arch.mmio_is_bigendian) {
 341                 switch (run->mmio.len) {
 342                 case 8: gpr = *(u64 *)run->mmio.data; break;
 343                 case 4: gpr = *(u32 *)run->mmio.data; break;
 344                 case 2: gpr = *(u16 *)run->mmio.data; break;
 345                 case 1: gpr = *(u8 *)run->mmio.data; break;
 346                 }
 347         } else {
 348                 /* Convert BE data from userland back to LE. */
 349                 switch (run->mmio.len) {
 350                 case 4: gpr = ld_le32((u32 *)run->mmio.data); break;
 351                 case 2: gpr = ld_le16((u16 *)run->mmio.data); break;
 352                 case 1: gpr = *(u8 *)run->mmio.data; break;
 353                 }
 354         }
 355
 356         if (vcpu->arch.mmio_sign_extend) {
 357                 switch (run->mmio.len) {
 358 #ifdef CONFIG_PPC64
 359                 case 4:
 360                         gpr = (s64)(s32)gpr;
 361                         break;
 362 #endif
 363                 case 2:
 364                         gpr = (s64)(s16)gpr;
 365                         break;
 366                 case 1:
 367                         gpr = (s64)(s8)gpr;
 368                         break;
 369                 }
 370         }
 371
 372         kvmppc_set_gpr(vcpu, vcpu->arch.io_gpr, gpr);
 373
 374         switch (vcpu->arch.io_gpr & KVM_REG_EXT_MASK) {
 375         case KVM_REG_GPR:
 376                 kvmppc_set_gpr(vcpu, vcpu->arch.io_gpr, gpr);
 377                 break;
 378         case KVM_REG_FPR:
 379                 vcpu->arch.fpr[vcpu->arch.io_gpr & KVM_REG_MASK] = gpr;
 380                 break;
 381 #ifdef CONFIG_PPC_BOOK3S
 382         case KVM_REG_QPR:
 383                 vcpu->arch.qpr[vcpu->arch.io_gpr & KVM_REG_MASK] = gpr;
 384                 break;
 385         case KVM_REG_FQPR:
 386                 vcpu->arch.fpr[vcpu->arch.io_gpr & KVM_REG_MASK] = gpr;
 387                 vcpu->arch.qpr[vcpu->arch.io_gpr & KVM_REG_MASK] = gpr;
 388                 break;
 389 #endif
 390         default:
 391                 BUG();
 392         }
 393 }
 394
 395 int kvmppc_handle_load(struct kvm_run *run, struct kvm_vcpu *vcpu,
 396                        unsigned int rt, unsigned int bytes, int is_bigendian)
 397 {
 398         if (bytes > sizeof(run->mmio.data)) {
 399                 printk(KERN_ERR "%s: bad MMIO length: %d\n", __func__,
 400                        run->mmio.len);
 401         }
 402
 403         run->mmio.phys_addr = vcpu->arch.paddr_accessed;
 404         run->mmio.len = bytes;
 405         run->mmio.is_write = 0;
 406
 407         vcpu->arch.io_gpr = rt;
 408         vcpu->arch.mmio_is_bigendian = is_bigendian;
 409         vcpu->mmio_needed = 1;
 410         vcpu->mmio_is_write = 0;
 411         vcpu->arch.mmio_sign_extend = 0;
 412
 413         return EMULATE_DO_MMIO;
 414 }
 415
 416 /* Same as above, but sign extends */
 417 int kvmppc_handle_loads(struct kvm_run *run, struct kvm_vcpu *vcpu,
 418                         unsigned int rt, unsigned int bytes, int is_bigendian)
 419 {
 420         int r;
 421
 422         r = kvmppc_handle_load(run, vcpu, rt, bytes, is_bigendian);
 423         vcpu->arch.mmio_sign_extend = 1;
 424
 425         return r;
 426 }
 427
 428 int kvmppc_handle_store(struct kvm_run *run, struct kvm_vcpu *vcpu,
 429                         u64 val, unsigned int bytes, int is_bigendian)
 430 {
 431         void *data = run->mmio.data;
 432
 433         if (bytes > sizeof(run->mmio.data)) {
 434                 printk(KERN_ERR "%s: bad MMIO length: %d\n", __func__,
 435                        run->mmio.len);
 436         }
 437
 438         run->mmio.phys_addr = vcpu->arch.paddr_accessed;
 439         run->mmio.len = bytes;
 440         run->mmio.is_write = 1;
 441         vcpu->mmio_needed = 1;
 442         vcpu->mmio_is_write = 1;
 443
 444         /* Store the value at the lowest bytes in 'data'. */
 445         if (is_bigendian) {
 446                 switch (bytes) {
 447                 case 8: *(u64 *)data = val; break;
 448                 case 4: *(u32 *)data = val; break;
 449                 case 2: *(u16 *)data = val; break;
 450                 case 1: *(u8  *)data = val; break;
 451                 }
 452         } else {
 453                 /* Store LE value into 'data'. */
 454                 switch (bytes) {
 455                 case 4: st_le32(data, val); break;
 456                 case 2: st_le16(data, val); break;
 457                 case 1: *(u8 *)data = val; break;
 458                 }
 459         }
 460
 461         return EMULATE_DO_MMIO;
 462 }
 463
 464 int kvm_arch_vcpu_ioctl_run(struct kvm_vcpu *vcpu, struct kvm_run *run)
 465 {
 466         int r;
 467         sigset_t sigsaved;
 468
 469         if (vcpu->sigset_active)
 470                 sigprocmask(SIG_SETMASK, &vcpu->sigset, &sigsaved);
 471
 472         if (vcpu->mmio_needed) {
 473                 if (!vcpu->mmio_is_write)
 474                         kvmppc_complete_mmio_load(vcpu, run);
 475                 vcpu->mmio_needed = 0;
 476         } else if (vcpu->arch.dcr_needed) {
 477                 if (!vcpu->arch.dcr_is_write)
 478                         kvmppc_complete_dcr_load(vcpu, run);
 479                 vcpu->arch.dcr_needed = 0;
 480         } else if (vcpu->arch.osi_needed) {
 481                 u64 *gprs = run->osi.gprs;
 482                 int i;
 483
 484                 for (i = 0; i < 32; i++)
 485                         kvmppc_set_gpr(vcpu, i, gprs[i]);
 486                 vcpu->arch.osi_needed = 0;
 487         }
 488
 489         kvmppc_core_deliver_interrupts(vcpu);
 490
 491         local_irq_disable();
 492         kvm_guest_enter();
 493         r = __kvmppc_vcpu_run(run, vcpu);
 494         kvm_guest_exit();
 495         local_irq_enable();
 496
 497         if (vcpu->sigset_active)
 498                 sigprocmask(SIG_SETMASK, &sigsaved, NULL);
 499
 500         return r;
 501 }
 502
 503 int kvm_vcpu_ioctl_interrupt(struct kvm_vcpu *vcpu, struct kvm_interrupt *irq)
 504 {
 505         if (irq->irq == KVM_INTERRUPT_UNSET)
 506                 kvmppc_core_dequeue_external(vcpu, irq);
 507         else
 508                 kvmppc_core_queue_external(vcpu, irq);
 509
 510         if (waitqueue_active(&vcpu->wq)) {
 511                 wake_up_interruptible(&vcpu->wq);
 512                 vcpu->stat.halt_wakeup++;
 513         }
 514
 515         return 0;
 516 }
 517
 518 static int kvm_vcpu_ioctl_enable_cap(struct kvm_vcpu *vcpu,
 519                                      struct kvm_enable_cap *cap)
 520 {
 521         int r;
 522
 523         if (cap->flags)
 524                 return -EINVAL;
 525
 526         switch (cap->cap) {
 527         case KVM_CAP_PPC_OSI:
 528                 r = 0;
 529                 vcpu->arch.osi_enabled = true;
 530                 break;
 531         default:
 532                 r = -EINVAL;
 533                 break;
 534         }
 535
 536         return r;
 537 }
 538
 539 int kvm_arch_vcpu_ioctl_get_mpstate(struct kvm_vcpu *vcpu,
 540                                     struct kvm_mp_state *mp_state)
 541 {
 542         return -EINVAL;
 543 }
 544
 545 int kvm_arch_vcpu_ioctl_set_mpstate(struct kvm_vcpu *vcpu,
 546                                     struct kvm_mp_state *mp_state)
 547 {
 548         return -EINVAL;
 549 }
 550
 551 long kvm_arch_vcpu_ioctl(struct file *filp,
 552                          unsigned int ioctl, unsigned long arg)
 553 {
 554         struct kvm_vcpu *vcpu = filp->private_data;
 555         void __user *argp = (void __user *)arg;
 556         long r;
 557
 558         switch (ioctl) {
 559         case KVM_INTERRUPT: {
 560                 struct kvm_interrupt irq;
 561                 r = -EFAULT;
 562                 if (copy_from_user(&irq, argp, sizeof(irq)))
 563                         goto out;
 564                 r = kvm_vcpu_ioctl_interrupt(vcpu, &irq);
 565                 goto out;
 566         }
 567
 568         case KVM_ENABLE_CAP:
 569         {
 570                 struct kvm_enable_cap cap;
 571                 r = -EFAULT;
 572                 if (copy_from_user(&cap, argp, sizeof(cap)))
 573                         goto out;
 574                 r = kvm_vcpu_ioctl_enable_cap(vcpu, &cap);
 575                 break;
 576         }
 577         default:
 578                 r = -EINVAL;
 579         }
 580
 581 out:
 582         return r;
 583 }
 584
 585 static int kvm_vm_ioctl_get_pvinfo(struct kvm_ppc_pvinfo *pvinfo)
 586 {
 587         u32 inst_lis = 0x3c000000;
 588         u32 inst_ori = 0x60000000;
 589         u32 inst_nop = 0x60000000;
 590         u32 inst_sc = 0x44000002;
 591         u32 inst_imm_mask = 0xffff;
 592
 593         /*
 594          * The hypercall to get into KVM from within guest context is as
 595          * follows:
 596          *
 597          *    lis r0, r0, KVM_SC_MAGIC_R0@h
 598          *    ori r0, KVM_SC_MAGIC_R0@l
 599          *    sc
 600          *    nop
 601          */
 602         pvinfo->hcall[0] = inst_lis | ((KVM_SC_MAGIC_R0 >> 16) & inst_imm_mask);
 603         pvinfo->hcall[1] = inst_ori | (KVM_SC_MAGIC_R0 & inst_imm_mask);
 604         pvinfo->hcall[2] = inst_sc;
 605         pvinfo->hcall[3] = inst_nop;
 606
 607         return 0;
 608 }
 609
 610 long kvm_arch_vm_ioctl(struct file *filp,
 611                        unsigned int ioctl, unsigned long arg)
 612 {
 613         void __user *argp = (void __user *)arg;
 614         long r;
 615
 616         switch (ioctl) {
 617         case KVM_PPC_GET_PVINFO: {
 618                 struct kvm_ppc_pvinfo pvinfo;
 619                 r = kvm_vm_ioctl_get_pvinfo(&pvinfo);
 620                 if (copy_to_user(argp, &pvinfo, sizeof(pvinfo))) {
 621                         r = -EFAULT;
 622                         goto out;
 623                 }
 624
 625                 break;
 626         }
 627         default:
 628                 r = -ENOTTY;
 629         }
 630
 631 out:
 632         return r;
 633 }
 634
 635 int kvm_arch_init(void *opaque)
 636 {
 637         return 0;
 638 }
 639
 640 void kvm_arch_exit(void)
 641 {
 642 }