]> git.karo-electronics.de Git - mv-sheeva.git/blob - drivers/dma/sirf-dma.c
dmaengine: convert drivers/dma/* to use module_platform_driver()
[mv-sheeva.git] / drivers / dma / sirf-dma.c
1 /*
2  * DMA controller driver for CSR SiRFprimaII
3  *
4  * Copyright (c) 2011 Cambridge Silicon Radio Limited, a CSR plc group company.
5  *
6  * Licensed under GPLv2 or later.
7  */
8
9 #include <linux/module.h>
10 #include <linux/dmaengine.h>
11 #include <linux/dma-mapping.h>
12 #include <linux/interrupt.h>
13 #include <linux/io.h>
14 #include <linux/slab.h>
15 #include <linux/of_irq.h>
16 #include <linux/of_address.h>
17 #include <linux/of_device.h>
18 #include <linux/of_platform.h>
19 #include <linux/sirfsoc_dma.h>
20
21 #define SIRFSOC_DMA_DESCRIPTORS                 16
22 #define SIRFSOC_DMA_CHANNELS                    16
23
24 #define SIRFSOC_DMA_CH_ADDR                     0x00
25 #define SIRFSOC_DMA_CH_XLEN                     0x04
26 #define SIRFSOC_DMA_CH_YLEN                     0x08
27 #define SIRFSOC_DMA_CH_CTRL                     0x0C
28
29 #define SIRFSOC_DMA_WIDTH_0                     0x100
30 #define SIRFSOC_DMA_CH_VALID                    0x140
31 #define SIRFSOC_DMA_CH_INT                      0x144
32 #define SIRFSOC_DMA_INT_EN                      0x148
33 #define SIRFSOC_DMA_CH_LOOP_CTRL                0x150
34
35 #define SIRFSOC_DMA_MODE_CTRL_BIT               4
36 #define SIRFSOC_DMA_DIR_CTRL_BIT                5
37
38 /* xlen and dma_width register is in 4 bytes boundary */
39 #define SIRFSOC_DMA_WORD_LEN                    4
40
41 struct sirfsoc_dma_desc {
42         struct dma_async_tx_descriptor  desc;
43         struct list_head                node;
44
45         /* SiRFprimaII 2D-DMA parameters */
46
47         int             xlen;           /* DMA xlen */
48         int             ylen;           /* DMA ylen */
49         int             width;          /* DMA width */
50         int             dir;
51         bool            cyclic;         /* is loop DMA? */
52         u32             addr;           /* DMA buffer address */
53 };
54
55 struct sirfsoc_dma_chan {
56         struct dma_chan                 chan;
57         struct list_head                free;
58         struct list_head                prepared;
59         struct list_head                queued;
60         struct list_head                active;
61         struct list_head                completed;
62         dma_cookie_t                    completed_cookie;
63         unsigned long                   happened_cyclic;
64         unsigned long                   completed_cyclic;
65
66         /* Lock for this structure */
67         spinlock_t                      lock;
68
69         int                             mode;
70 };
71
72 struct sirfsoc_dma {
73         struct dma_device               dma;
74         struct tasklet_struct           tasklet;
75         struct sirfsoc_dma_chan         channels[SIRFSOC_DMA_CHANNELS];
76         void __iomem                    *base;
77         int                             irq;
78 };
79
80 #define DRV_NAME        "sirfsoc_dma"
81
82 /* Convert struct dma_chan to struct sirfsoc_dma_chan */
83 static inline
84 struct sirfsoc_dma_chan *dma_chan_to_sirfsoc_dma_chan(struct dma_chan *c)
85 {
86         return container_of(c, struct sirfsoc_dma_chan, chan);
87 }
88
89 /* Convert struct dma_chan to struct sirfsoc_dma */
90 static inline struct sirfsoc_dma *dma_chan_to_sirfsoc_dma(struct dma_chan *c)
91 {
92         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(c);
93         return container_of(schan, struct sirfsoc_dma, channels[c->chan_id]);
94 }
95
96 /* Execute all queued DMA descriptors */
97 static void sirfsoc_dma_execute(struct sirfsoc_dma_chan *schan)
98 {
99         struct sirfsoc_dma *sdma = dma_chan_to_sirfsoc_dma(&schan->chan);
100         int cid = schan->chan.chan_id;
101         struct sirfsoc_dma_desc *sdesc = NULL;
102
103         /*
104          * lock has been held by functions calling this, so we don't hold
105          * lock again
106          */
107
108         sdesc = list_first_entry(&schan->queued, struct sirfsoc_dma_desc,
109                 node);
110         /* Move the first queued descriptor to active list */
111         list_move_tail(&schan->queued, &schan->active);
112
113         /* Start the DMA transfer */
114         writel_relaxed(sdesc->width, sdma->base + SIRFSOC_DMA_WIDTH_0 +
115                 cid * 4);
116         writel_relaxed(cid | (schan->mode << SIRFSOC_DMA_MODE_CTRL_BIT) |
117                 (sdesc->dir << SIRFSOC_DMA_DIR_CTRL_BIT),
118                 sdma->base + cid * 0x10 + SIRFSOC_DMA_CH_CTRL);
119         writel_relaxed(sdesc->xlen, sdma->base + cid * 0x10 +
120                 SIRFSOC_DMA_CH_XLEN);
121         writel_relaxed(sdesc->ylen, sdma->base + cid * 0x10 +
122                 SIRFSOC_DMA_CH_YLEN);
123         writel_relaxed(readl_relaxed(sdma->base + SIRFSOC_DMA_INT_EN) |
124                 (1 << cid), sdma->base + SIRFSOC_DMA_INT_EN);
125
126         /*
127          * writel has an implict memory write barrier to make sure data is
128          * flushed into memory before starting DMA
129          */
130         writel(sdesc->addr >> 2, sdma->base + cid * 0x10 + SIRFSOC_DMA_CH_ADDR);
131
132         if (sdesc->cyclic) {
133                 writel((1 << cid) | 1 << (cid + 16) |
134                         readl_relaxed(sdma->base + SIRFSOC_DMA_CH_LOOP_CTRL),
135                         sdma->base + SIRFSOC_DMA_CH_LOOP_CTRL);
136                 schan->happened_cyclic = schan->completed_cyclic = 0;
137         }
138 }
139
140 /* Interrupt handler */
141 static irqreturn_t sirfsoc_dma_irq(int irq, void *data)
142 {
143         struct sirfsoc_dma *sdma = data;
144         struct sirfsoc_dma_chan *schan;
145         struct sirfsoc_dma_desc *sdesc = NULL;
146         u32 is;
147         int ch;
148
149         is = readl(sdma->base + SIRFSOC_DMA_CH_INT);
150         while ((ch = fls(is) - 1) >= 0) {
151                 is &= ~(1 << ch);
152                 writel_relaxed(1 << ch, sdma->base + SIRFSOC_DMA_CH_INT);
153                 schan = &sdma->channels[ch];
154
155                 spin_lock(&schan->lock);
156
157                 sdesc = list_first_entry(&schan->active, struct sirfsoc_dma_desc,
158                         node);
159                 if (!sdesc->cyclic) {
160                         /* Execute queued descriptors */
161                         list_splice_tail_init(&schan->active, &schan->completed);
162                         if (!list_empty(&schan->queued))
163                                 sirfsoc_dma_execute(schan);
164                 } else
165                         schan->happened_cyclic++;
166
167                 spin_unlock(&schan->lock);
168         }
169
170         /* Schedule tasklet */
171         tasklet_schedule(&sdma->tasklet);
172
173         return IRQ_HANDLED;
174 }
175
176 /* process completed descriptors */
177 static void sirfsoc_dma_process_completed(struct sirfsoc_dma *sdma)
178 {
179         dma_cookie_t last_cookie = 0;
180         struct sirfsoc_dma_chan *schan;
181         struct sirfsoc_dma_desc *sdesc;
182         struct dma_async_tx_descriptor *desc;
183         unsigned long flags;
184         unsigned long happened_cyclic;
185         LIST_HEAD(list);
186         int i;
187
188         for (i = 0; i < sdma->dma.chancnt; i++) {
189                 schan = &sdma->channels[i];
190
191                 /* Get all completed descriptors */
192                 spin_lock_irqsave(&schan->lock, flags);
193                 if (!list_empty(&schan->completed)) {
194                         list_splice_tail_init(&schan->completed, &list);
195                         spin_unlock_irqrestore(&schan->lock, flags);
196
197                         /* Execute callbacks and run dependencies */
198                         list_for_each_entry(sdesc, &list, node) {
199                                 desc = &sdesc->desc;
200
201                                 if (desc->callback)
202                                         desc->callback(desc->callback_param);
203
204                                 last_cookie = desc->cookie;
205                                 dma_run_dependencies(desc);
206                         }
207
208                         /* Free descriptors */
209                         spin_lock_irqsave(&schan->lock, flags);
210                         list_splice_tail_init(&list, &schan->free);
211                         schan->completed_cookie = last_cookie;
212                         spin_unlock_irqrestore(&schan->lock, flags);
213                 } else {
214                         /* for cyclic channel, desc is always in active list */
215                         sdesc = list_first_entry(&schan->active, struct sirfsoc_dma_desc,
216                                 node);
217
218                         if (!sdesc || (sdesc && !sdesc->cyclic)) {
219                                 /* without active cyclic DMA */
220                                 spin_unlock_irqrestore(&schan->lock, flags);
221                                 continue;
222                         }
223
224                         /* cyclic DMA */
225                         happened_cyclic = schan->happened_cyclic;
226                         spin_unlock_irqrestore(&schan->lock, flags);
227
228                         desc = &sdesc->desc;
229                         while (happened_cyclic != schan->completed_cyclic) {
230                                 if (desc->callback)
231                                         desc->callback(desc->callback_param);
232                                 schan->completed_cyclic++;
233                         }
234                 }
235         }
236 }
237
238 /* DMA Tasklet */
239 static void sirfsoc_dma_tasklet(unsigned long data)
240 {
241         struct sirfsoc_dma *sdma = (void *)data;
242
243         sirfsoc_dma_process_completed(sdma);
244 }
245
246 /* Submit descriptor to hardware */
247 static dma_cookie_t sirfsoc_dma_tx_submit(struct dma_async_tx_descriptor *txd)
248 {
249         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(txd->chan);
250         struct sirfsoc_dma_desc *sdesc;
251         unsigned long flags;
252         dma_cookie_t cookie;
253
254         sdesc = container_of(txd, struct sirfsoc_dma_desc, desc);
255
256         spin_lock_irqsave(&schan->lock, flags);
257
258         /* Move descriptor to queue */
259         list_move_tail(&sdesc->node, &schan->queued);
260
261         /* Update cookie */
262         cookie = schan->chan.cookie + 1;
263         if (cookie <= 0)
264                 cookie = 1;
265
266         schan->chan.cookie = cookie;
267         sdesc->desc.cookie = cookie;
268
269         spin_unlock_irqrestore(&schan->lock, flags);
270
271         return cookie;
272 }
273
274 static int sirfsoc_dma_slave_config(struct sirfsoc_dma_chan *schan,
275         struct dma_slave_config *config)
276 {
277         unsigned long flags;
278
279         if ((config->src_addr_width != DMA_SLAVE_BUSWIDTH_4_BYTES) ||
280                 (config->dst_addr_width != DMA_SLAVE_BUSWIDTH_4_BYTES))
281                 return -EINVAL;
282
283         spin_lock_irqsave(&schan->lock, flags);
284         schan->mode = (config->src_maxburst == 4 ? 1 : 0);
285         spin_unlock_irqrestore(&schan->lock, flags);
286
287         return 0;
288 }
289
290 static int sirfsoc_dma_terminate_all(struct sirfsoc_dma_chan *schan)
291 {
292         struct sirfsoc_dma *sdma = dma_chan_to_sirfsoc_dma(&schan->chan);
293         int cid = schan->chan.chan_id;
294         unsigned long flags;
295
296         writel_relaxed(readl_relaxed(sdma->base + SIRFSOC_DMA_INT_EN) &
297                 ~(1 << cid), sdma->base + SIRFSOC_DMA_INT_EN);
298         writel_relaxed(1 << cid, sdma->base + SIRFSOC_DMA_CH_VALID);
299
300         writel_relaxed(readl_relaxed(sdma->base + SIRFSOC_DMA_CH_LOOP_CTRL)
301                 & ~((1 << cid) | 1 << (cid + 16)),
302                         sdma->base + SIRFSOC_DMA_CH_LOOP_CTRL);
303
304         spin_lock_irqsave(&schan->lock, flags);
305         list_splice_tail_init(&schan->active, &schan->free);
306         list_splice_tail_init(&schan->queued, &schan->free);
307         spin_unlock_irqrestore(&schan->lock, flags);
308
309         return 0;
310 }
311
312 static int sirfsoc_dma_control(struct dma_chan *chan, enum dma_ctrl_cmd cmd,
313         unsigned long arg)
314 {
315         struct dma_slave_config *config;
316         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(chan);
317
318         switch (cmd) {
319         case DMA_TERMINATE_ALL:
320                 return sirfsoc_dma_terminate_all(schan);
321         case DMA_SLAVE_CONFIG:
322                 config = (struct dma_slave_config *)arg;
323                 return sirfsoc_dma_slave_config(schan, config);
324
325         default:
326                 break;
327         }
328
329         return -ENOSYS;
330 }
331
332 /* Alloc channel resources */
333 static int sirfsoc_dma_alloc_chan_resources(struct dma_chan *chan)
334 {
335         struct sirfsoc_dma *sdma = dma_chan_to_sirfsoc_dma(chan);
336         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(chan);
337         struct sirfsoc_dma_desc *sdesc;
338         unsigned long flags;
339         LIST_HEAD(descs);
340         int i;
341
342         /* Alloc descriptors for this channel */
343         for (i = 0; i < SIRFSOC_DMA_DESCRIPTORS; i++) {
344                 sdesc = kzalloc(sizeof(*sdesc), GFP_KERNEL);
345                 if (!sdesc) {
346                         dev_notice(sdma->dma.dev, "Memory allocation error. "
347                                 "Allocated only %u descriptors\n", i);
348                         break;
349                 }
350
351                 dma_async_tx_descriptor_init(&sdesc->desc, chan);
352                 sdesc->desc.flags = DMA_CTRL_ACK;
353                 sdesc->desc.tx_submit = sirfsoc_dma_tx_submit;
354
355                 list_add_tail(&sdesc->node, &descs);
356         }
357
358         /* Return error only if no descriptors were allocated */
359         if (i == 0)
360                 return -ENOMEM;
361
362         spin_lock_irqsave(&schan->lock, flags);
363
364         list_splice_tail_init(&descs, &schan->free);
365         spin_unlock_irqrestore(&schan->lock, flags);
366
367         return i;
368 }
369
370 /* Free channel resources */
371 static void sirfsoc_dma_free_chan_resources(struct dma_chan *chan)
372 {
373         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(chan);
374         struct sirfsoc_dma_desc *sdesc, *tmp;
375         unsigned long flags;
376         LIST_HEAD(descs);
377
378         spin_lock_irqsave(&schan->lock, flags);
379
380         /* Channel must be idle */
381         BUG_ON(!list_empty(&schan->prepared));
382         BUG_ON(!list_empty(&schan->queued));
383         BUG_ON(!list_empty(&schan->active));
384         BUG_ON(!list_empty(&schan->completed));
385
386         /* Move data */
387         list_splice_tail_init(&schan->free, &descs);
388
389         spin_unlock_irqrestore(&schan->lock, flags);
390
391         /* Free descriptors */
392         list_for_each_entry_safe(sdesc, tmp, &descs, node)
393                 kfree(sdesc);
394 }
395
396 /* Send pending descriptor to hardware */
397 static void sirfsoc_dma_issue_pending(struct dma_chan *chan)
398 {
399         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(chan);
400         unsigned long flags;
401
402         spin_lock_irqsave(&schan->lock, flags);
403
404         if (list_empty(&schan->active) && !list_empty(&schan->queued))
405                 sirfsoc_dma_execute(schan);
406
407         spin_unlock_irqrestore(&schan->lock, flags);
408 }
409
410 /* Check request completion status */
411 static enum dma_status
412 sirfsoc_dma_tx_status(struct dma_chan *chan, dma_cookie_t cookie,
413         struct dma_tx_state *txstate)
414 {
415         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(chan);
416         unsigned long flags;
417         dma_cookie_t last_used;
418         dma_cookie_t last_complete;
419
420         spin_lock_irqsave(&schan->lock, flags);
421         last_used = schan->chan.cookie;
422         last_complete = schan->completed_cookie;
423         spin_unlock_irqrestore(&schan->lock, flags);
424
425         dma_set_tx_state(txstate, last_complete, last_used, 0);
426         return dma_async_is_complete(cookie, last_complete, last_used);
427 }
428
429 static struct dma_async_tx_descriptor *sirfsoc_dma_prep_interleaved(
430         struct dma_chan *chan, struct dma_interleaved_template *xt,
431         unsigned long flags)
432 {
433         struct sirfsoc_dma *sdma = dma_chan_to_sirfsoc_dma(chan);
434         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(chan);
435         struct sirfsoc_dma_desc *sdesc = NULL;
436         unsigned long iflags;
437         int ret;
438
439         if ((xt->dir != DMA_MEM_TO_DEV) || (xt->dir != DMA_DEV_TO_MEM)) {
440                 ret = -EINVAL;
441                 goto err_dir;
442         }
443
444         /* Get free descriptor */
445         spin_lock_irqsave(&schan->lock, iflags);
446         if (!list_empty(&schan->free)) {
447                 sdesc = list_first_entry(&schan->free, struct sirfsoc_dma_desc,
448                         node);
449                 list_del(&sdesc->node);
450         }
451         spin_unlock_irqrestore(&schan->lock, iflags);
452
453         if (!sdesc) {
454                 /* try to free completed descriptors */
455                 sirfsoc_dma_process_completed(sdma);
456                 ret = 0;
457                 goto no_desc;
458         }
459
460         /* Place descriptor in prepared list */
461         spin_lock_irqsave(&schan->lock, iflags);
462
463         /*
464          * Number of chunks in a frame can only be 1 for prima2
465          * and ylen (number of frame - 1) must be at least 0
466          */
467         if ((xt->frame_size == 1) && (xt->numf > 0)) {
468                 sdesc->cyclic = 0;
469                 sdesc->xlen = xt->sgl[0].size / SIRFSOC_DMA_WORD_LEN;
470                 sdesc->width = (xt->sgl[0].size + xt->sgl[0].icg) /
471                                 SIRFSOC_DMA_WORD_LEN;
472                 sdesc->ylen = xt->numf - 1;
473                 if (xt->dir == DMA_MEM_TO_DEV) {
474                         sdesc->addr = xt->src_start;
475                         sdesc->dir = 1;
476                 } else {
477                         sdesc->addr = xt->dst_start;
478                         sdesc->dir = 0;
479                 }
480
481                 list_add_tail(&sdesc->node, &schan->prepared);
482         } else {
483                 pr_err("sirfsoc DMA Invalid xfer\n");
484                 ret = -EINVAL;
485                 goto err_xfer;
486         }
487         spin_unlock_irqrestore(&schan->lock, iflags);
488
489         return &sdesc->desc;
490 err_xfer:
491         spin_unlock_irqrestore(&schan->lock, iflags);
492 no_desc:
493 err_dir:
494         return ERR_PTR(ret);
495 }
496
497 static struct dma_async_tx_descriptor *
498 sirfsoc_dma_prep_cyclic(struct dma_chan *chan, dma_addr_t addr,
499         size_t buf_len, size_t period_len,
500         enum dma_transfer_direction direction)
501 {
502         struct sirfsoc_dma_chan *schan = dma_chan_to_sirfsoc_dma_chan(chan);
503         struct sirfsoc_dma_desc *sdesc = NULL;
504         unsigned long iflags;
505
506         /*
507          * we only support cycle transfer with 2 period
508          * If the X-length is set to 0, it would be the loop mode.
509          * The DMA address keeps increasing until reaching the end of a loop
510          * area whose size is defined by (DMA_WIDTH x (Y_LENGTH + 1)). Then
511          * the DMA address goes back to the beginning of this area.
512          * In loop mode, the DMA data region is divided into two parts, BUFA
513          * and BUFB. DMA controller generates interrupts twice in each loop:
514          * when the DMA address reaches the end of BUFA or the end of the
515          * BUFB
516          */
517         if (buf_len !=  2 * period_len)
518                 return ERR_PTR(-EINVAL);
519
520         /* Get free descriptor */
521         spin_lock_irqsave(&schan->lock, iflags);
522         if (!list_empty(&schan->free)) {
523                 sdesc = list_first_entry(&schan->free, struct sirfsoc_dma_desc,
524                         node);
525                 list_del(&sdesc->node);
526         }
527         spin_unlock_irqrestore(&schan->lock, iflags);
528
529         if (!sdesc)
530                 return 0;
531
532         /* Place descriptor in prepared list */
533         spin_lock_irqsave(&schan->lock, iflags);
534         sdesc->addr = addr;
535         sdesc->cyclic = 1;
536         sdesc->xlen = 0;
537         sdesc->ylen = buf_len / SIRFSOC_DMA_WORD_LEN - 1;
538         sdesc->width = 1;
539         list_add_tail(&sdesc->node, &schan->prepared);
540         spin_unlock_irqrestore(&schan->lock, iflags);
541
542         return &sdesc->desc;
543 }
544
545 /*
546  * The DMA controller consists of 16 independent DMA channels.
547  * Each channel is allocated to a different function
548  */
549 bool sirfsoc_dma_filter_id(struct dma_chan *chan, void *chan_id)
550 {
551         unsigned int ch_nr = (unsigned int) chan_id;
552
553         if (ch_nr == chan->chan_id +
554                 chan->device->dev_id * SIRFSOC_DMA_CHANNELS)
555                 return true;
556
557         return false;
558 }
559 EXPORT_SYMBOL(sirfsoc_dma_filter_id);
560
561 static int __devinit sirfsoc_dma_probe(struct platform_device *op)
562 {
563         struct device_node *dn = op->dev.of_node;
564         struct device *dev = &op->dev;
565         struct dma_device *dma;
566         struct sirfsoc_dma *sdma;
567         struct sirfsoc_dma_chan *schan;
568         struct resource res;
569         ulong regs_start, regs_size;
570         u32 id;
571         int ret, i;
572
573         sdma = devm_kzalloc(dev, sizeof(*sdma), GFP_KERNEL);
574         if (!sdma) {
575                 dev_err(dev, "Memory exhausted!\n");
576                 return -ENOMEM;
577         }
578
579         if (of_property_read_u32(dn, "cell-index", &id)) {
580                 dev_err(dev, "Fail to get DMAC index\n");
581                 ret = -ENODEV;
582                 goto free_mem;
583         }
584
585         sdma->irq = irq_of_parse_and_map(dn, 0);
586         if (sdma->irq == NO_IRQ) {
587                 dev_err(dev, "Error mapping IRQ!\n");
588                 ret = -EINVAL;
589                 goto free_mem;
590         }
591
592         ret = of_address_to_resource(dn, 0, &res);
593         if (ret) {
594                 dev_err(dev, "Error parsing memory region!\n");
595                 goto free_mem;
596         }
597
598         regs_start = res.start;
599         regs_size = resource_size(&res);
600
601         sdma->base = devm_ioremap(dev, regs_start, regs_size);
602         if (!sdma->base) {
603                 dev_err(dev, "Error mapping memory region!\n");
604                 ret = -ENOMEM;
605                 goto irq_dispose;
606         }
607
608         ret = devm_request_irq(dev, sdma->irq, &sirfsoc_dma_irq, 0, DRV_NAME,
609                 sdma);
610         if (ret) {
611                 dev_err(dev, "Error requesting IRQ!\n");
612                 ret = -EINVAL;
613                 goto unmap_mem;
614         }
615
616         dma = &sdma->dma;
617         dma->dev = dev;
618         dma->chancnt = SIRFSOC_DMA_CHANNELS;
619
620         dma->device_alloc_chan_resources = sirfsoc_dma_alloc_chan_resources;
621         dma->device_free_chan_resources = sirfsoc_dma_free_chan_resources;
622         dma->device_issue_pending = sirfsoc_dma_issue_pending;
623         dma->device_control = sirfsoc_dma_control;
624         dma->device_tx_status = sirfsoc_dma_tx_status;
625         dma->device_prep_interleaved_dma = sirfsoc_dma_prep_interleaved;
626         dma->device_prep_dma_cyclic = sirfsoc_dma_prep_cyclic;
627
628         INIT_LIST_HEAD(&dma->channels);
629         dma_cap_set(DMA_SLAVE, dma->cap_mask);
630         dma_cap_set(DMA_CYCLIC, dma->cap_mask);
631         dma_cap_set(DMA_INTERLEAVE, dma->cap_mask);
632         dma_cap_set(DMA_PRIVATE, dma->cap_mask);
633
634         for (i = 0; i < dma->chancnt; i++) {
635                 schan = &sdma->channels[i];
636
637                 schan->chan.device = dma;
638                 schan->chan.cookie = 1;
639                 schan->completed_cookie = schan->chan.cookie;
640
641                 INIT_LIST_HEAD(&schan->free);
642                 INIT_LIST_HEAD(&schan->prepared);
643                 INIT_LIST_HEAD(&schan->queued);
644                 INIT_LIST_HEAD(&schan->active);
645                 INIT_LIST_HEAD(&schan->completed);
646
647                 spin_lock_init(&schan->lock);
648                 list_add_tail(&schan->chan.device_node, &dma->channels);
649         }
650
651         tasklet_init(&sdma->tasklet, sirfsoc_dma_tasklet, (unsigned long)sdma);
652
653         /* Register DMA engine */
654         dev_set_drvdata(dev, sdma);
655         ret = dma_async_device_register(dma);
656         if (ret)
657                 goto free_irq;
658
659         dev_info(dev, "initialized SIRFSOC DMAC driver\n");
660
661         return 0;
662
663 free_irq:
664         devm_free_irq(dev, sdma->irq, sdma);
665 irq_dispose:
666         irq_dispose_mapping(sdma->irq);
667 unmap_mem:
668         iounmap(sdma->base);
669 free_mem:
670         devm_kfree(dev, sdma);
671         return ret;
672 }
673
674 static int __devexit sirfsoc_dma_remove(struct platform_device *op)
675 {
676         struct device *dev = &op->dev;
677         struct sirfsoc_dma *sdma = dev_get_drvdata(dev);
678
679         dma_async_device_unregister(&sdma->dma);
680         devm_free_irq(dev, sdma->irq, sdma);
681         irq_dispose_mapping(sdma->irq);
682         iounmap(sdma->base);
683         devm_kfree(dev, sdma);
684         return 0;
685 }
686
687 static struct of_device_id sirfsoc_dma_match[] = {
688         { .compatible = "sirf,prima2-dmac", },
689         {},
690 };
691
692 static struct platform_driver sirfsoc_dma_driver = {
693         .probe          = sirfsoc_dma_probe,
694         .remove         = __devexit_p(sirfsoc_dma_remove),
695         .driver = {
696                 .name = DRV_NAME,
697                 .owner = THIS_MODULE,
698                 .of_match_table = sirfsoc_dma_match,
699         },
700 };
701
702 module_platform_driver(sirfsoc_dma_driver);
703
704 MODULE_AUTHOR("Rongjun Ying <rongjun.ying@csr.com>, "
705         "Barry Song <baohua.song@csr.com>");
706 MODULE_DESCRIPTION("SIRFSOC DMA control driver");
707 MODULE_LICENSE("GPL v2");