drivers/gpu/drm/msm/msm_iommu.c

   1 /*
   2  * Copyright (C) 2013 Red Hat
   3  * Author: Rob Clark <robdclark@gmail.com>
   4  *
   5  * This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the GNU General Public License version 2 as published by
   7  * the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it will be useful, but WITHOUT
  10  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  11  * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License for
  12  * more details.
  13  *
  14  * You should have received a copy of the GNU General Public License along with
  15  * this program.  If not, see <http://www.gnu.org/licenses/>.
  16  */
  17
  18 #include "msm_drv.h"
  19 #include "msm_mmu.h"
  20
  21 struct msm_iommu {
  22         struct msm_mmu base;
  23         struct iommu_domain *domain;
  24 };
  25 #define to_msm_iommu(x) container_of(x, struct msm_iommu, base)
  26
  27 static int msm_fault_handler(struct iommu_domain *domain, struct device *dev,
  28                 unsigned long iova, int flags, void *arg)
  29 {
  30         struct msm_iommu *iommu = arg;
  31         if (iommu->base.handler)
  32                 return iommu->base.handler(iommu->base.arg, iova, flags);
  33         pr_warn_ratelimited("*** fault: iova=%08lx, flags=%d\n", iova, flags);
  34         return 0;
  35 }
  36
  37 static int msm_iommu_attach(struct msm_mmu *mmu, const char * const *names,
  38                             int cnt)
  39 {
  40         struct msm_iommu *iommu = to_msm_iommu(mmu);
  41         return iommu_attach_device(iommu->domain, mmu->dev);
  42 }
  43
  44 static void msm_iommu_detach(struct msm_mmu *mmu, const char * const *names,
  45                              int cnt)
  46 {
  47         struct msm_iommu *iommu = to_msm_iommu(mmu);
  48         iommu_detach_device(iommu->domain, mmu->dev);
  49 }
  50
  51 static int msm_iommu_map(struct msm_mmu *mmu, uint64_t iova,
  52                 struct sg_table *sgt, unsigned len, int prot)
  53 {
  54         struct msm_iommu *iommu = to_msm_iommu(mmu);
  55         struct iommu_domain *domain = iommu->domain;
  56         struct scatterlist *sg;
  57         unsigned long da = iova;
  58         unsigned int i, j;
  59         int ret;
  60
  61         if (!domain || !sgt)
  62                 return -EINVAL;
  63
  64         for_each_sg(sgt->sgl, sg, sgt->nents, i) {
  65                 dma_addr_t pa = sg_phys(sg) - sg->offset;
  66                 size_t bytes = sg->length + sg->offset;
  67
  68                 VERB("map[%d]: %08lx %08lx(%zx)", i, da, (unsigned long)pa, bytes);
  69
  70                 ret = iommu_map(domain, da, pa, bytes, prot);
  71                 if (ret)
  72                         goto fail;
  73
  74                 da += bytes;
  75         }
  76
  77         return 0;
  78
  79 fail:
  80         da = iova;
  81
  82         for_each_sg(sgt->sgl, sg, i, j) {
  83                 size_t bytes = sg->length + sg->offset;
  84                 iommu_unmap(domain, da, bytes);
  85                 da += bytes;
  86         }
  87         return ret;
  88 }
  89
  90 static int msm_iommu_unmap(struct msm_mmu *mmu, uint64_t iova,
  91                 struct sg_table *sgt, unsigned len)
  92 {
  93         struct msm_iommu *iommu = to_msm_iommu(mmu);
  94         struct iommu_domain *domain = iommu->domain;
  95         struct scatterlist *sg;
  96         unsigned long da = iova;
  97         int i;
  98
  99         for_each_sg(sgt->sgl, sg, sgt->nents, i) {
 100                 size_t bytes = sg->length + sg->offset;
 101                 size_t unmapped;
 102
 103                 unmapped = iommu_unmap(domain, da, bytes);
 104                 if (unmapped < bytes)
 105                         return unmapped;
 106
 107                 VERB("unmap[%d]: %08lx(%zx)", i, da, bytes);
 108
 109                 BUG_ON(!PAGE_ALIGNED(bytes));
 110
 111                 da += bytes;
 112         }
 113
 114         return 0;
 115 }
 116
 117 static void msm_iommu_destroy(struct msm_mmu *mmu)
 118 {
 119         struct msm_iommu *iommu = to_msm_iommu(mmu);
 120         iommu_domain_free(iommu->domain);
 121         kfree(iommu);
 122 }
 123
 124 static const struct msm_mmu_funcs funcs = {
 125                 .attach = msm_iommu_attach,
 126                 .detach = msm_iommu_detach,
 127                 .map = msm_iommu_map,
 128                 .unmap = msm_iommu_unmap,
 129                 .destroy = msm_iommu_destroy,
 130 };
 131
 132 struct msm_mmu *msm_iommu_new(struct device *dev, struct iommu_domain *domain)
 133 {
 134         struct msm_iommu *iommu;
 135
 136         iommu = kzalloc(sizeof(*iommu), GFP_KERNEL);
 137         if (!iommu)
 138                 return ERR_PTR(-ENOMEM);
 139
 140         iommu->domain = domain;
 141         msm_mmu_init(&iommu->base, dev, &funcs);
 142         iommu_set_fault_handler(domain, msm_fault_handler, iommu);
 143
 144         return &iommu->base;
 145 }