]> git.karo-electronics.de Git - karo-tx-linux.git/blob - include/linux/sched.h
Merge tag 'nfsd-4.11' of git://linux-nfs.org/~bfields/linux
[karo-tx-linux.git] / include / linux / sched.h
1 #ifndef _LINUX_SCHED_H
2 #define _LINUX_SCHED_H
3
4 #include <uapi/linux/sched.h>
5
6 #include <linux/sched/prio.h>
7
8
9 struct sched_param {
10         int sched_priority;
11 };
12
13 #include <asm/param.h>  /* for HZ */
14
15 #include <linux/capability.h>
16 #include <linux/threads.h>
17 #include <linux/kernel.h>
18 #include <linux/types.h>
19 #include <linux/timex.h>
20 #include <linux/jiffies.h>
21 #include <linux/plist.h>
22 #include <linux/rbtree.h>
23 #include <linux/thread_info.h>
24 #include <linux/cpumask.h>
25 #include <linux/errno.h>
26 #include <linux/nodemask.h>
27 #include <linux/mm_types.h>
28 #include <linux/preempt.h>
29
30 #include <asm/page.h>
31 #include <asm/ptrace.h>
32
33 #include <linux/smp.h>
34 #include <linux/sem.h>
35 #include <linux/shm.h>
36 #include <linux/signal.h>
37 #include <linux/compiler.h>
38 #include <linux/completion.h>
39 #include <linux/pid.h>
40 #include <linux/percpu.h>
41 #include <linux/topology.h>
42 #include <linux/seccomp.h>
43 #include <linux/rcupdate.h>
44 #include <linux/rculist.h>
45 #include <linux/rtmutex.h>
46
47 #include <linux/time.h>
48 #include <linux/param.h>
49 #include <linux/resource.h>
50 #include <linux/timer.h>
51 #include <linux/hrtimer.h>
52 #include <linux/kcov.h>
53 #include <linux/task_io_accounting.h>
54 #include <linux/latencytop.h>
55 #include <linux/cred.h>
56 #include <linux/llist.h>
57 #include <linux/uidgid.h>
58 #include <linux/gfp.h>
59 #include <linux/magic.h>
60 #include <linux/cgroup-defs.h>
61
62 #include <asm/processor.h>
63
64 #define SCHED_ATTR_SIZE_VER0    48      /* sizeof first published struct */
65
66 /*
67  * Extended scheduling parameters data structure.
68  *
69  * This is needed because the original struct sched_param can not be
70  * altered without introducing ABI issues with legacy applications
71  * (e.g., in sched_getparam()).
72  *
73  * However, the possibility of specifying more than just a priority for
74  * the tasks may be useful for a wide variety of application fields, e.g.,
75  * multimedia, streaming, automation and control, and many others.
76  *
77  * This variant (sched_attr) is meant at describing a so-called
78  * sporadic time-constrained task. In such model a task is specified by:
79  *  - the activation period or minimum instance inter-arrival time;
80  *  - the maximum (or average, depending on the actual scheduling
81  *    discipline) computation time of all instances, a.k.a. runtime;
82  *  - the deadline (relative to the actual activation time) of each
83  *    instance.
84  * Very briefly, a periodic (sporadic) task asks for the execution of
85  * some specific computation --which is typically called an instance--
86  * (at most) every period. Moreover, each instance typically lasts no more
87  * than the runtime and must be completed by time instant t equal to
88  * the instance activation time + the deadline.
89  *
90  * This is reflected by the actual fields of the sched_attr structure:
91  *
92  *  @size               size of the structure, for fwd/bwd compat.
93  *
94  *  @sched_policy       task's scheduling policy
95  *  @sched_flags        for customizing the scheduler behaviour
96  *  @sched_nice         task's nice value      (SCHED_NORMAL/BATCH)
97  *  @sched_priority     task's static priority (SCHED_FIFO/RR)
98  *  @sched_deadline     representative of the task's deadline
99  *  @sched_runtime      representative of the task's runtime
100  *  @sched_period       representative of the task's period
101  *
102  * Given this task model, there are a multiplicity of scheduling algorithms
103  * and policies, that can be used to ensure all the tasks will make their
104  * timing constraints.
105  *
106  * As of now, the SCHED_DEADLINE policy (sched_dl scheduling class) is the
107  * only user of this new interface. More information about the algorithm
108  * available in the scheduling class file or in Documentation/.
109  */
110 struct sched_attr {
111         u32 size;
112
113         u32 sched_policy;
114         u64 sched_flags;
115
116         /* SCHED_NORMAL, SCHED_BATCH */
117         s32 sched_nice;
118
119         /* SCHED_FIFO, SCHED_RR */
120         u32 sched_priority;
121
122         /* SCHED_DEADLINE */
123         u64 sched_runtime;
124         u64 sched_deadline;
125         u64 sched_period;
126 };
127
128 struct futex_pi_state;
129 struct robust_list_head;
130 struct bio_list;
131 struct fs_struct;
132 struct perf_event_context;
133 struct blk_plug;
134 struct filename;
135 struct nameidata;
136
137 #define VMACACHE_BITS 2
138 #define VMACACHE_SIZE (1U << VMACACHE_BITS)
139 #define VMACACHE_MASK (VMACACHE_SIZE - 1)
140
141 /*
142  * These are the constant used to fake the fixed-point load-average
143  * counting. Some notes:
144  *  - 11 bit fractions expand to 22 bits by the multiplies: this gives
145  *    a load-average precision of 10 bits integer + 11 bits fractional
146  *  - if you want to count load-averages more often, you need more
147  *    precision, or rounding will get you. With 2-second counting freq,
148  *    the EXP_n values would be 1981, 2034 and 2043 if still using only
149  *    11 bit fractions.
150  */
151 extern unsigned long avenrun[];         /* Load averages */
152 extern void get_avenrun(unsigned long *loads, unsigned long offset, int shift);
153
154 #define FSHIFT          11              /* nr of bits of precision */
155 #define FIXED_1         (1<<FSHIFT)     /* 1.0 as fixed-point */
156 #define LOAD_FREQ       (5*HZ+1)        /* 5 sec intervals */
157 #define EXP_1           1884            /* 1/exp(5sec/1min) as fixed-point */
158 #define EXP_5           2014            /* 1/exp(5sec/5min) */
159 #define EXP_15          2037            /* 1/exp(5sec/15min) */
160
161 #define CALC_LOAD(load,exp,n) \
162         load *= exp; \
163         load += n*(FIXED_1-exp); \
164         load >>= FSHIFT;
165
166 extern unsigned long total_forks;
167 extern int nr_threads;
168 DECLARE_PER_CPU(unsigned long, process_counts);
169 extern int nr_processes(void);
170 extern unsigned long nr_running(void);
171 extern bool single_task_running(void);
172 extern unsigned long nr_iowait(void);
173 extern unsigned long nr_iowait_cpu(int cpu);
174 extern void get_iowait_load(unsigned long *nr_waiters, unsigned long *load);
175
176 extern void calc_global_load(unsigned long ticks);
177
178 #if defined(CONFIG_SMP) && defined(CONFIG_NO_HZ_COMMON)
179 extern void cpu_load_update_nohz_start(void);
180 extern void cpu_load_update_nohz_stop(void);
181 #else
182 static inline void cpu_load_update_nohz_start(void) { }
183 static inline void cpu_load_update_nohz_stop(void) { }
184 #endif
185
186 extern void dump_cpu_task(int cpu);
187
188 struct seq_file;
189 struct cfs_rq;
190 struct task_group;
191 #ifdef CONFIG_SCHED_DEBUG
192 extern void proc_sched_show_task(struct task_struct *p, struct seq_file *m);
193 extern void proc_sched_set_task(struct task_struct *p);
194 #endif
195
196 /*
197  * Task state bitmask. NOTE! These bits are also
198  * encoded in fs/proc/array.c: get_task_state().
199  *
200  * We have two separate sets of flags: task->state
201  * is about runnability, while task->exit_state are
202  * about the task exiting. Confusing, but this way
203  * modifying one set can't modify the other one by
204  * mistake.
205  */
206 #define TASK_RUNNING            0
207 #define TASK_INTERRUPTIBLE      1
208 #define TASK_UNINTERRUPTIBLE    2
209 #define __TASK_STOPPED          4
210 #define __TASK_TRACED           8
211 /* in tsk->exit_state */
212 #define EXIT_DEAD               16
213 #define EXIT_ZOMBIE             32
214 #define EXIT_TRACE              (EXIT_ZOMBIE | EXIT_DEAD)
215 /* in tsk->state again */
216 #define TASK_DEAD               64
217 #define TASK_WAKEKILL           128
218 #define TASK_WAKING             256
219 #define TASK_PARKED             512
220 #define TASK_NOLOAD             1024
221 #define TASK_NEW                2048
222 #define TASK_STATE_MAX          4096
223
224 #define TASK_STATE_TO_CHAR_STR "RSDTtXZxKWPNn"
225
226 extern char ___assert_task_state[1 - 2*!!(
227                 sizeof(TASK_STATE_TO_CHAR_STR)-1 != ilog2(TASK_STATE_MAX)+1)];
228
229 /* Convenience macros for the sake of set_current_state */
230 #define TASK_KILLABLE           (TASK_WAKEKILL | TASK_UNINTERRUPTIBLE)
231 #define TASK_STOPPED            (TASK_WAKEKILL | __TASK_STOPPED)
232 #define TASK_TRACED             (TASK_WAKEKILL | __TASK_TRACED)
233
234 #define TASK_IDLE               (TASK_UNINTERRUPTIBLE | TASK_NOLOAD)
235
236 /* Convenience macros for the sake of wake_up */
237 #define TASK_NORMAL             (TASK_INTERRUPTIBLE | TASK_UNINTERRUPTIBLE)
238 #define TASK_ALL                (TASK_NORMAL | __TASK_STOPPED | __TASK_TRACED)
239
240 /* get_task_state() */
241 #define TASK_REPORT             (TASK_RUNNING | TASK_INTERRUPTIBLE | \
242                                  TASK_UNINTERRUPTIBLE | __TASK_STOPPED | \
243                                  __TASK_TRACED | EXIT_ZOMBIE | EXIT_DEAD)
244
245 #define task_is_traced(task)    ((task->state & __TASK_TRACED) != 0)
246 #define task_is_stopped(task)   ((task->state & __TASK_STOPPED) != 0)
247 #define task_is_stopped_or_traced(task) \
248                         ((task->state & (__TASK_STOPPED | __TASK_TRACED)) != 0)
249 #define task_contributes_to_load(task)  \
250                                 ((task->state & TASK_UNINTERRUPTIBLE) != 0 && \
251                                  (task->flags & PF_FROZEN) == 0 && \
252                                  (task->state & TASK_NOLOAD) == 0)
253
254 #ifdef CONFIG_DEBUG_ATOMIC_SLEEP
255
256 #define __set_current_state(state_value)                        \
257         do {                                                    \
258                 current->task_state_change = _THIS_IP_;         \
259                 current->state = (state_value);                 \
260         } while (0)
261 #define set_current_state(state_value)                          \
262         do {                                                    \
263                 current->task_state_change = _THIS_IP_;         \
264                 smp_store_mb(current->state, (state_value));    \
265         } while (0)
266
267 #else
268 /*
269  * set_current_state() includes a barrier so that the write of current->state
270  * is correctly serialised wrt the caller's subsequent test of whether to
271  * actually sleep:
272  *
273  *   for (;;) {
274  *      set_current_state(TASK_UNINTERRUPTIBLE);
275  *      if (!need_sleep)
276  *              break;
277  *
278  *      schedule();
279  *   }
280  *   __set_current_state(TASK_RUNNING);
281  *
282  * If the caller does not need such serialisation (because, for instance, the
283  * condition test and condition change and wakeup are under the same lock) then
284  * use __set_current_state().
285  *
286  * The above is typically ordered against the wakeup, which does:
287  *
288  *      need_sleep = false;
289  *      wake_up_state(p, TASK_UNINTERRUPTIBLE);
290  *
291  * Where wake_up_state() (and all other wakeup primitives) imply enough
292  * barriers to order the store of the variable against wakeup.
293  *
294  * Wakeup will do: if (@state & p->state) p->state = TASK_RUNNING, that is,
295  * once it observes the TASK_UNINTERRUPTIBLE store the waking CPU can issue a
296  * TASK_RUNNING store which can collide with __set_current_state(TASK_RUNNING).
297  *
298  * This is obviously fine, since they both store the exact same value.
299  *
300  * Also see the comments of try_to_wake_up().
301  */
302 #define __set_current_state(state_value)                \
303         do { current->state = (state_value); } while (0)
304 #define set_current_state(state_value)                  \
305         smp_store_mb(current->state, (state_value))
306
307 #endif
308
309 /* Task command name length */
310 #define TASK_COMM_LEN 16
311
312 #include <linux/spinlock.h>
313
314 /*
315  * This serializes "schedule()" and also protects
316  * the run-queue from deletions/modifications (but
317  * _adding_ to the beginning of the run-queue has
318  * a separate lock).
319  */
320 extern rwlock_t tasklist_lock;
321 extern spinlock_t mmlist_lock;
322
323 struct task_struct;
324
325 #ifdef CONFIG_PROVE_RCU
326 extern int lockdep_tasklist_lock_is_held(void);
327 #endif /* #ifdef CONFIG_PROVE_RCU */
328
329 extern void sched_init(void);
330 extern void sched_init_smp(void);
331 extern asmlinkage void schedule_tail(struct task_struct *prev);
332 extern void init_idle(struct task_struct *idle, int cpu);
333 extern void init_idle_bootup_task(struct task_struct *idle);
334
335 extern cpumask_var_t cpu_isolated_map;
336
337 extern int runqueue_is_locked(int cpu);
338
339 #if defined(CONFIG_SMP) && defined(CONFIG_NO_HZ_COMMON)
340 extern void nohz_balance_enter_idle(int cpu);
341 extern void set_cpu_sd_state_idle(void);
342 extern int get_nohz_timer_target(void);
343 #else
344 static inline void nohz_balance_enter_idle(int cpu) { }
345 static inline void set_cpu_sd_state_idle(void) { }
346 #endif
347
348 /*
349  * Only dump TASK_* tasks. (0 for all tasks)
350  */
351 extern void show_state_filter(unsigned long state_filter);
352
353 static inline void show_state(void)
354 {
355         show_state_filter(0);
356 }
357
358 extern void show_regs(struct pt_regs *);
359
360 /*
361  * TASK is a pointer to the task whose backtrace we want to see (or NULL for current
362  * task), SP is the stack pointer of the first frame that should be shown in the back
363  * trace (or NULL if the entire call-chain of the task should be shown).
364  */
365 extern void show_stack(struct task_struct *task, unsigned long *sp);
366
367 extern void cpu_init (void);
368 extern void trap_init(void);
369 extern void update_process_times(int user);
370 extern void scheduler_tick(void);
371 extern int sched_cpu_starting(unsigned int cpu);
372 extern int sched_cpu_activate(unsigned int cpu);
373 extern int sched_cpu_deactivate(unsigned int cpu);
374
375 #ifdef CONFIG_HOTPLUG_CPU
376 extern int sched_cpu_dying(unsigned int cpu);
377 #else
378 # define sched_cpu_dying        NULL
379 #endif
380
381 extern void sched_show_task(struct task_struct *p);
382
383 #ifdef CONFIG_LOCKUP_DETECTOR
384 extern void touch_softlockup_watchdog_sched(void);
385 extern void touch_softlockup_watchdog(void);
386 extern void touch_softlockup_watchdog_sync(void);
387 extern void touch_all_softlockup_watchdogs(void);
388 extern int proc_dowatchdog_thresh(struct ctl_table *table, int write,
389                                   void __user *buffer,
390                                   size_t *lenp, loff_t *ppos);
391 extern unsigned int  softlockup_panic;
392 extern unsigned int  hardlockup_panic;
393 void lockup_detector_init(void);
394 #else
395 static inline void touch_softlockup_watchdog_sched(void)
396 {
397 }
398 static inline void touch_softlockup_watchdog(void)
399 {
400 }
401 static inline void touch_softlockup_watchdog_sync(void)
402 {
403 }
404 static inline void touch_all_softlockup_watchdogs(void)
405 {
406 }
407 static inline void lockup_detector_init(void)
408 {
409 }
410 #endif
411
412 #ifdef CONFIG_DETECT_HUNG_TASK
413 void reset_hung_task_detector(void);
414 #else
415 static inline void reset_hung_task_detector(void)
416 {
417 }
418 #endif
419
420 /* Attach to any functions which should be ignored in wchan output. */
421 #define __sched         __attribute__((__section__(".sched.text")))
422
423 /* Linker adds these: start and end of __sched functions */
424 extern char __sched_text_start[], __sched_text_end[];
425
426 /* Is this address in the __sched functions? */
427 extern int in_sched_functions(unsigned long addr);
428
429 #define MAX_SCHEDULE_TIMEOUT    LONG_MAX
430 extern signed long schedule_timeout(signed long timeout);
431 extern signed long schedule_timeout_interruptible(signed long timeout);
432 extern signed long schedule_timeout_killable(signed long timeout);
433 extern signed long schedule_timeout_uninterruptible(signed long timeout);
434 extern signed long schedule_timeout_idle(signed long timeout);
435 asmlinkage void schedule(void);
436 extern void schedule_preempt_disabled(void);
437
438 extern int __must_check io_schedule_prepare(void);
439 extern void io_schedule_finish(int token);
440 extern long io_schedule_timeout(long timeout);
441 extern void io_schedule(void);
442
443 void __noreturn do_task_dead(void);
444
445 struct nsproxy;
446 struct user_namespace;
447
448 #ifdef CONFIG_MMU
449 extern void arch_pick_mmap_layout(struct mm_struct *mm);
450 extern unsigned long
451 arch_get_unmapped_area(struct file *, unsigned long, unsigned long,
452                        unsigned long, unsigned long);
453 extern unsigned long
454 arch_get_unmapped_area_topdown(struct file *filp, unsigned long addr,
455                           unsigned long len, unsigned long pgoff,
456                           unsigned long flags);
457 #else
458 static inline void arch_pick_mmap_layout(struct mm_struct *mm) {}
459 #endif
460
461 #define SUID_DUMP_DISABLE       0       /* No setuid dumping */
462 #define SUID_DUMP_USER          1       /* Dump as user of process */
463 #define SUID_DUMP_ROOT          2       /* Dump as root */
464
465 /* mm flags */
466
467 /* for SUID_DUMP_* above */
468 #define MMF_DUMPABLE_BITS 2
469 #define MMF_DUMPABLE_MASK ((1 << MMF_DUMPABLE_BITS) - 1)
470
471 extern void set_dumpable(struct mm_struct *mm, int value);
472 /*
473  * This returns the actual value of the suid_dumpable flag. For things
474  * that are using this for checking for privilege transitions, it must
475  * test against SUID_DUMP_USER rather than treating it as a boolean
476  * value.
477  */
478 static inline int __get_dumpable(unsigned long mm_flags)
479 {
480         return mm_flags & MMF_DUMPABLE_MASK;
481 }
482
483 static inline int get_dumpable(struct mm_struct *mm)
484 {
485         return __get_dumpable(mm->flags);
486 }
487
488 /* coredump filter bits */
489 #define MMF_DUMP_ANON_PRIVATE   2
490 #define MMF_DUMP_ANON_SHARED    3
491 #define MMF_DUMP_MAPPED_PRIVATE 4
492 #define MMF_DUMP_MAPPED_SHARED  5
493 #define MMF_DUMP_ELF_HEADERS    6
494 #define MMF_DUMP_HUGETLB_PRIVATE 7
495 #define MMF_DUMP_HUGETLB_SHARED  8
496 #define MMF_DUMP_DAX_PRIVATE    9
497 #define MMF_DUMP_DAX_SHARED     10
498
499 #define MMF_DUMP_FILTER_SHIFT   MMF_DUMPABLE_BITS
500 #define MMF_DUMP_FILTER_BITS    9
501 #define MMF_DUMP_FILTER_MASK \
502         (((1 << MMF_DUMP_FILTER_BITS) - 1) << MMF_DUMP_FILTER_SHIFT)
503 #define MMF_DUMP_FILTER_DEFAULT \
504         ((1 << MMF_DUMP_ANON_PRIVATE) | (1 << MMF_DUMP_ANON_SHARED) |\
505          (1 << MMF_DUMP_HUGETLB_PRIVATE) | MMF_DUMP_MASK_DEFAULT_ELF)
506
507 #ifdef CONFIG_CORE_DUMP_DEFAULT_ELF_HEADERS
508 # define MMF_DUMP_MASK_DEFAULT_ELF      (1 << MMF_DUMP_ELF_HEADERS)
509 #else
510 # define MMF_DUMP_MASK_DEFAULT_ELF      0
511 #endif
512                                         /* leave room for more dump flags */
513 #define MMF_VM_MERGEABLE        16      /* KSM may merge identical pages */
514 #define MMF_VM_HUGEPAGE         17      /* set when VM_HUGEPAGE is set on vma */
515 /*
516  * This one-shot flag is dropped due to necessity of changing exe once again
517  * on NFS restore
518  */
519 //#define MMF_EXE_FILE_CHANGED  18      /* see prctl_set_mm_exe_file() */
520
521 #define MMF_HAS_UPROBES         19      /* has uprobes */
522 #define MMF_RECALC_UPROBES      20      /* MMF_HAS_UPROBES can be wrong */
523 #define MMF_OOM_SKIP            21      /* mm is of no interest for the OOM killer */
524 #define MMF_UNSTABLE            22      /* mm is unstable for copy_from_user */
525 #define MMF_HUGE_ZERO_PAGE      23      /* mm has ever used the global huge zero page */
526
527 #define MMF_INIT_MASK           (MMF_DUMPABLE_MASK | MMF_DUMP_FILTER_MASK)
528
529 struct sighand_struct {
530         atomic_t                count;
531         struct k_sigaction      action[_NSIG];
532         spinlock_t              siglock;
533         wait_queue_head_t       signalfd_wqh;
534 };
535
536 struct pacct_struct {
537         int                     ac_flag;
538         long                    ac_exitcode;
539         unsigned long           ac_mem;
540         u64                     ac_utime, ac_stime;
541         unsigned long           ac_minflt, ac_majflt;
542 };
543
544 struct cpu_itimer {
545         u64 expires;
546         u64 incr;
547 };
548
549 /**
550  * struct prev_cputime - snaphsot of system and user cputime
551  * @utime: time spent in user mode
552  * @stime: time spent in system mode
553  * @lock: protects the above two fields
554  *
555  * Stores previous user/system time values such that we can guarantee
556  * monotonicity.
557  */
558 struct prev_cputime {
559 #ifndef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
560         u64 utime;
561         u64 stime;
562         raw_spinlock_t lock;
563 #endif
564 };
565
566 static inline void prev_cputime_init(struct prev_cputime *prev)
567 {
568 #ifndef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
569         prev->utime = prev->stime = 0;
570         raw_spin_lock_init(&prev->lock);
571 #endif
572 }
573
574 /**
575  * struct task_cputime - collected CPU time counts
576  * @utime:              time spent in user mode, in nanoseconds
577  * @stime:              time spent in kernel mode, in nanoseconds
578  * @sum_exec_runtime:   total time spent on the CPU, in nanoseconds
579  *
580  * This structure groups together three kinds of CPU time that are tracked for
581  * threads and thread groups.  Most things considering CPU time want to group
582  * these counts together and treat all three of them in parallel.
583  */
584 struct task_cputime {
585         u64 utime;
586         u64 stime;
587         unsigned long long sum_exec_runtime;
588 };
589
590 /* Alternate field names when used to cache expirations. */
591 #define virt_exp        utime
592 #define prof_exp        stime
593 #define sched_exp       sum_exec_runtime
594
595 /*
596  * This is the atomic variant of task_cputime, which can be used for
597  * storing and updating task_cputime statistics without locking.
598  */
599 struct task_cputime_atomic {
600         atomic64_t utime;
601         atomic64_t stime;
602         atomic64_t sum_exec_runtime;
603 };
604
605 #define INIT_CPUTIME_ATOMIC \
606         (struct task_cputime_atomic) {                          \
607                 .utime = ATOMIC64_INIT(0),                      \
608                 .stime = ATOMIC64_INIT(0),                      \
609                 .sum_exec_runtime = ATOMIC64_INIT(0),           \
610         }
611
612 #define PREEMPT_DISABLED        (PREEMPT_DISABLE_OFFSET + PREEMPT_ENABLED)
613
614 /*
615  * Disable preemption until the scheduler is running -- use an unconditional
616  * value so that it also works on !PREEMPT_COUNT kernels.
617  *
618  * Reset by start_kernel()->sched_init()->init_idle()->init_idle_preempt_count().
619  */
620 #define INIT_PREEMPT_COUNT      PREEMPT_OFFSET
621
622 /*
623  * Initial preempt_count value; reflects the preempt_count schedule invariant
624  * which states that during context switches:
625  *
626  *    preempt_count() == 2*PREEMPT_DISABLE_OFFSET
627  *
628  * Note: PREEMPT_DISABLE_OFFSET is 0 for !PREEMPT_COUNT kernels.
629  * Note: See finish_task_switch().
630  */
631 #define FORK_PREEMPT_COUNT      (2*PREEMPT_DISABLE_OFFSET + PREEMPT_ENABLED)
632
633 /**
634  * struct thread_group_cputimer - thread group interval timer counts
635  * @cputime_atomic:     atomic thread group interval timers.
636  * @running:            true when there are timers running and
637  *                      @cputime_atomic receives updates.
638  * @checking_timer:     true when a thread in the group is in the
639  *                      process of checking for thread group timers.
640  *
641  * This structure contains the version of task_cputime, above, that is
642  * used for thread group CPU timer calculations.
643  */
644 struct thread_group_cputimer {
645         struct task_cputime_atomic cputime_atomic;
646         bool running;
647         bool checking_timer;
648 };
649
650 #include <linux/rwsem.h>
651 struct autogroup;
652
653 /*
654  * NOTE! "signal_struct" does not have its own
655  * locking, because a shared signal_struct always
656  * implies a shared sighand_struct, so locking
657  * sighand_struct is always a proper superset of
658  * the locking of signal_struct.
659  */
660 struct signal_struct {
661         atomic_t                sigcnt;
662         atomic_t                live;
663         int                     nr_threads;
664         struct list_head        thread_head;
665
666         wait_queue_head_t       wait_chldexit;  /* for wait4() */
667
668         /* current thread group signal load-balancing target: */
669         struct task_struct      *curr_target;
670
671         /* shared signal handling: */
672         struct sigpending       shared_pending;
673
674         /* thread group exit support */
675         int                     group_exit_code;
676         /* overloaded:
677          * - notify group_exit_task when ->count is equal to notify_count
678          * - everyone except group_exit_task is stopped during signal delivery
679          *   of fatal signals, group_exit_task processes the signal.
680          */
681         int                     notify_count;
682         struct task_struct      *group_exit_task;
683
684         /* thread group stop support, overloads group_exit_code too */
685         int                     group_stop_count;
686         unsigned int            flags; /* see SIGNAL_* flags below */
687
688         /*
689          * PR_SET_CHILD_SUBREAPER marks a process, like a service
690          * manager, to re-parent orphan (double-forking) child processes
691          * to this process instead of 'init'. The service manager is
692          * able to receive SIGCHLD signals and is able to investigate
693          * the process until it calls wait(). All children of this
694          * process will inherit a flag if they should look for a
695          * child_subreaper process at exit.
696          */
697         unsigned int            is_child_subreaper:1;
698         unsigned int            has_child_subreaper:1;
699
700 #ifdef CONFIG_POSIX_TIMERS
701
702         /* POSIX.1b Interval Timers */
703         int                     posix_timer_id;
704         struct list_head        posix_timers;
705
706         /* ITIMER_REAL timer for the process */
707         struct hrtimer real_timer;
708         ktime_t it_real_incr;
709
710         /*
711          * ITIMER_PROF and ITIMER_VIRTUAL timers for the process, we use
712          * CPUCLOCK_PROF and CPUCLOCK_VIRT for indexing array as these
713          * values are defined to 0 and 1 respectively
714          */
715         struct cpu_itimer it[2];
716
717         /*
718          * Thread group totals for process CPU timers.
719          * See thread_group_cputimer(), et al, for details.
720          */
721         struct thread_group_cputimer cputimer;
722
723         /* Earliest-expiration cache. */
724         struct task_cputime cputime_expires;
725
726         struct list_head cpu_timers[3];
727
728 #endif
729
730         struct pid *leader_pid;
731
732 #ifdef CONFIG_NO_HZ_FULL
733         atomic_t tick_dep_mask;
734 #endif
735
736         struct pid *tty_old_pgrp;
737
738         /* boolean value for session group leader */
739         int leader;
740
741         struct tty_struct *tty; /* NULL if no tty */
742
743 #ifdef CONFIG_SCHED_AUTOGROUP
744         struct autogroup *autogroup;
745 #endif
746         /*
747          * Cumulative resource counters for dead threads in the group,
748          * and for reaped dead child processes forked by this group.
749          * Live threads maintain their own counters and add to these
750          * in __exit_signal, except for the group leader.
751          */
752         seqlock_t stats_lock;
753         u64 utime, stime, cutime, cstime;
754         u64 gtime;
755         u64 cgtime;
756         struct prev_cputime prev_cputime;
757         unsigned long nvcsw, nivcsw, cnvcsw, cnivcsw;
758         unsigned long min_flt, maj_flt, cmin_flt, cmaj_flt;
759         unsigned long inblock, oublock, cinblock, coublock;
760         unsigned long maxrss, cmaxrss;
761         struct task_io_accounting ioac;
762
763         /*
764          * Cumulative ns of schedule CPU time fo dead threads in the
765          * group, not including a zombie group leader, (This only differs
766          * from jiffies_to_ns(utime + stime) if sched_clock uses something
767          * other than jiffies.)
768          */
769         unsigned long long sum_sched_runtime;
770
771         /*
772          * We don't bother to synchronize most readers of this at all,
773          * because there is no reader checking a limit that actually needs
774          * to get both rlim_cur and rlim_max atomically, and either one
775          * alone is a single word that can safely be read normally.
776          * getrlimit/setrlimit use task_lock(current->group_leader) to
777          * protect this instead of the siglock, because they really
778          * have no need to disable irqs.
779          */
780         struct rlimit rlim[RLIM_NLIMITS];
781
782 #ifdef CONFIG_BSD_PROCESS_ACCT
783         struct pacct_struct pacct;      /* per-process accounting information */
784 #endif
785 #ifdef CONFIG_TASKSTATS
786         struct taskstats *stats;
787 #endif
788 #ifdef CONFIG_AUDIT
789         unsigned audit_tty;
790         struct tty_audit_buf *tty_audit_buf;
791 #endif
792
793         /*
794          * Thread is the potential origin of an oom condition; kill first on
795          * oom
796          */
797         bool oom_flag_origin;
798         short oom_score_adj;            /* OOM kill score adjustment */
799         short oom_score_adj_min;        /* OOM kill score adjustment min value.
800                                          * Only settable by CAP_SYS_RESOURCE. */
801         struct mm_struct *oom_mm;       /* recorded mm when the thread group got
802                                          * killed by the oom killer */
803
804         struct mutex cred_guard_mutex;  /* guard against foreign influences on
805                                          * credential calculations
806                                          * (notably. ptrace) */
807 };
808
809 /*
810  * Bits in flags field of signal_struct.
811  */
812 #define SIGNAL_STOP_STOPPED     0x00000001 /* job control stop in effect */
813 #define SIGNAL_STOP_CONTINUED   0x00000002 /* SIGCONT since WCONTINUED reap */
814 #define SIGNAL_GROUP_EXIT       0x00000004 /* group exit in progress */
815 #define SIGNAL_GROUP_COREDUMP   0x00000008 /* coredump in progress */
816 /*
817  * Pending notifications to parent.
818  */
819 #define SIGNAL_CLD_STOPPED      0x00000010
820 #define SIGNAL_CLD_CONTINUED    0x00000020
821 #define SIGNAL_CLD_MASK         (SIGNAL_CLD_STOPPED|SIGNAL_CLD_CONTINUED)
822
823 #define SIGNAL_UNKILLABLE       0x00000040 /* for init: ignore fatal signals */
824
825 #define SIGNAL_STOP_MASK (SIGNAL_CLD_MASK | SIGNAL_STOP_STOPPED | \
826                           SIGNAL_STOP_CONTINUED)
827
828 static inline void signal_set_stop_flags(struct signal_struct *sig,
829                                          unsigned int flags)
830 {
831         WARN_ON(sig->flags & (SIGNAL_GROUP_EXIT|SIGNAL_GROUP_COREDUMP));
832         sig->flags = (sig->flags & ~SIGNAL_STOP_MASK) | flags;
833 }
834
835 /* If true, all threads except ->group_exit_task have pending SIGKILL */
836 static inline int signal_group_exit(const struct signal_struct *sig)
837 {
838         return  (sig->flags & SIGNAL_GROUP_EXIT) ||
839                 (sig->group_exit_task != NULL);
840 }
841
842 /*
843  * Some day this will be a full-fledged user tracking system..
844  */
845 struct user_struct {
846         atomic_t __count;       /* reference count */
847         atomic_t processes;     /* How many processes does this user have? */
848         atomic_t sigpending;    /* How many pending signals does this user have? */
849 #ifdef CONFIG_FANOTIFY
850         atomic_t fanotify_listeners;
851 #endif
852 #ifdef CONFIG_EPOLL
853         atomic_long_t epoll_watches; /* The number of file descriptors currently watched */
854 #endif
855 #ifdef CONFIG_POSIX_MQUEUE
856         /* protected by mq_lock */
857         unsigned long mq_bytes; /* How many bytes can be allocated to mqueue? */
858 #endif
859         unsigned long locked_shm; /* How many pages of mlocked shm ? */
860         unsigned long unix_inflight;    /* How many files in flight in unix sockets */
861         atomic_long_t pipe_bufs;  /* how many pages are allocated in pipe buffers */
862
863 #ifdef CONFIG_KEYS
864         struct key *uid_keyring;        /* UID specific keyring */
865         struct key *session_keyring;    /* UID's default session keyring */
866 #endif
867
868         /* Hash table maintenance information */
869         struct hlist_node uidhash_node;
870         kuid_t uid;
871
872 #if defined(CONFIG_PERF_EVENTS) || defined(CONFIG_BPF_SYSCALL)
873         atomic_long_t locked_vm;
874 #endif
875 };
876
877 extern int uids_sysfs_init(void);
878
879 extern struct user_struct *find_user(kuid_t);
880
881 extern struct user_struct root_user;
882 #define INIT_USER (&root_user)
883
884
885 struct backing_dev_info;
886 struct reclaim_state;
887
888 #ifdef CONFIG_SCHED_INFO
889 struct sched_info {
890         /* cumulative counters */
891         unsigned long pcount;         /* # of times run on this cpu */
892         unsigned long long run_delay; /* time spent waiting on a runqueue */
893
894         /* timestamps */
895         unsigned long long last_arrival,/* when we last ran on a cpu */
896                            last_queued; /* when we were last queued to run */
897 };
898 #endif /* CONFIG_SCHED_INFO */
899
900 #ifdef CONFIG_TASK_DELAY_ACCT
901 struct task_delay_info {
902         spinlock_t      lock;
903         unsigned int    flags;  /* Private per-task flags */
904
905         /* For each stat XXX, add following, aligned appropriately
906          *
907          * struct timespec XXX_start, XXX_end;
908          * u64 XXX_delay;
909          * u32 XXX_count;
910          *
911          * Atomicity of updates to XXX_delay, XXX_count protected by
912          * single lock above (split into XXX_lock if contention is an issue).
913          */
914
915         /*
916          * XXX_count is incremented on every XXX operation, the delay
917          * associated with the operation is added to XXX_delay.
918          * XXX_delay contains the accumulated delay time in nanoseconds.
919          */
920         u64 blkio_start;        /* Shared by blkio, swapin */
921         u64 blkio_delay;        /* wait for sync block io completion */
922         u64 swapin_delay;       /* wait for swapin block io completion */
923         u32 blkio_count;        /* total count of the number of sync block */
924                                 /* io operations performed */
925         u32 swapin_count;       /* total count of the number of swapin block */
926                                 /* io operations performed */
927
928         u64 freepages_start;
929         u64 freepages_delay;    /* wait for memory reclaim */
930         u32 freepages_count;    /* total count of memory reclaim */
931 };
932 #endif  /* CONFIG_TASK_DELAY_ACCT */
933
934 static inline int sched_info_on(void)
935 {
936 #ifdef CONFIG_SCHEDSTATS
937         return 1;
938 #elif defined(CONFIG_TASK_DELAY_ACCT)
939         extern int delayacct_on;
940         return delayacct_on;
941 #else
942         return 0;
943 #endif
944 }
945
946 #ifdef CONFIG_SCHEDSTATS
947 void force_schedstat_enabled(void);
948 #endif
949
950 enum cpu_idle_type {
951         CPU_IDLE,
952         CPU_NOT_IDLE,
953         CPU_NEWLY_IDLE,
954         CPU_MAX_IDLE_TYPES
955 };
956
957 /*
958  * Integer metrics need fixed point arithmetic, e.g., sched/fair
959  * has a few: load, load_avg, util_avg, freq, and capacity.
960  *
961  * We define a basic fixed point arithmetic range, and then formalize
962  * all these metrics based on that basic range.
963  */
964 # define SCHED_FIXEDPOINT_SHIFT 10
965 # define SCHED_FIXEDPOINT_SCALE (1L << SCHED_FIXEDPOINT_SHIFT)
966
967 /*
968  * Increase resolution of cpu_capacity calculations
969  */
970 #define SCHED_CAPACITY_SHIFT    SCHED_FIXEDPOINT_SHIFT
971 #define SCHED_CAPACITY_SCALE    (1L << SCHED_CAPACITY_SHIFT)
972
973 /*
974  * Wake-queues are lists of tasks with a pending wakeup, whose
975  * callers have already marked the task as woken internally,
976  * and can thus carry on. A common use case is being able to
977  * do the wakeups once the corresponding user lock as been
978  * released.
979  *
980  * We hold reference to each task in the list across the wakeup,
981  * thus guaranteeing that the memory is still valid by the time
982  * the actual wakeups are performed in wake_up_q().
983  *
984  * One per task suffices, because there's never a need for a task to be
985  * in two wake queues simultaneously; it is forbidden to abandon a task
986  * in a wake queue (a call to wake_up_q() _must_ follow), so if a task is
987  * already in a wake queue, the wakeup will happen soon and the second
988  * waker can just skip it.
989  *
990  * The DEFINE_WAKE_Q macro declares and initializes the list head.
991  * wake_up_q() does NOT reinitialize the list; it's expected to be
992  * called near the end of a function. Otherwise, the list can be
993  * re-initialized for later re-use by wake_q_init().
994  *
995  * Note that this can cause spurious wakeups. schedule() callers
996  * must ensure the call is done inside a loop, confirming that the
997  * wakeup condition has in fact occurred.
998  */
999 struct wake_q_node {
1000         struct wake_q_node *next;
1001 };
1002
1003 struct wake_q_head {
1004         struct wake_q_node *first;
1005         struct wake_q_node **lastp;
1006 };
1007
1008 #define WAKE_Q_TAIL ((struct wake_q_node *) 0x01)
1009
1010 #define DEFINE_WAKE_Q(name)                             \
1011         struct wake_q_head name = { WAKE_Q_TAIL, &name.first }
1012
1013 static inline void wake_q_init(struct wake_q_head *head)
1014 {
1015         head->first = WAKE_Q_TAIL;
1016         head->lastp = &head->first;
1017 }
1018
1019 extern void wake_q_add(struct wake_q_head *head,
1020                        struct task_struct *task);
1021 extern void wake_up_q(struct wake_q_head *head);
1022
1023 /*
1024  * sched-domains (multiprocessor balancing) declarations:
1025  */
1026 #ifdef CONFIG_SMP
1027 #define SD_LOAD_BALANCE         0x0001  /* Do load balancing on this domain. */
1028 #define SD_BALANCE_NEWIDLE      0x0002  /* Balance when about to become idle */
1029 #define SD_BALANCE_EXEC         0x0004  /* Balance on exec */
1030 #define SD_BALANCE_FORK         0x0008  /* Balance on fork, clone */
1031 #define SD_BALANCE_WAKE         0x0010  /* Balance on wakeup */
1032 #define SD_WAKE_AFFINE          0x0020  /* Wake task to waking CPU */
1033 #define SD_ASYM_CPUCAPACITY     0x0040  /* Groups have different max cpu capacities */
1034 #define SD_SHARE_CPUCAPACITY    0x0080  /* Domain members share cpu capacity */
1035 #define SD_SHARE_POWERDOMAIN    0x0100  /* Domain members share power domain */
1036 #define SD_SHARE_PKG_RESOURCES  0x0200  /* Domain members share cpu pkg resources */
1037 #define SD_SERIALIZE            0x0400  /* Only a single load balancing instance */
1038 #define SD_ASYM_PACKING         0x0800  /* Place busy groups earlier in the domain */
1039 #define SD_PREFER_SIBLING       0x1000  /* Prefer to place tasks in a sibling domain */
1040 #define SD_OVERLAP              0x2000  /* sched_domains of this level overlap */
1041 #define SD_NUMA                 0x4000  /* cross-node balancing */
1042
1043 #ifdef CONFIG_SCHED_SMT
1044 static inline int cpu_smt_flags(void)
1045 {
1046         return SD_SHARE_CPUCAPACITY | SD_SHARE_PKG_RESOURCES;
1047 }
1048 #endif
1049
1050 #ifdef CONFIG_SCHED_MC
1051 static inline int cpu_core_flags(void)
1052 {
1053         return SD_SHARE_PKG_RESOURCES;
1054 }
1055 #endif
1056
1057 #ifdef CONFIG_NUMA
1058 static inline int cpu_numa_flags(void)
1059 {
1060         return SD_NUMA;
1061 }
1062 #endif
1063
1064 extern int arch_asym_cpu_priority(int cpu);
1065
1066 struct sched_domain_attr {
1067         int relax_domain_level;
1068 };
1069
1070 #define SD_ATTR_INIT    (struct sched_domain_attr) {    \
1071         .relax_domain_level = -1,                       \
1072 }
1073
1074 extern int sched_domain_level_max;
1075
1076 struct sched_group;
1077
1078 struct sched_domain_shared {
1079         atomic_t        ref;
1080         atomic_t        nr_busy_cpus;
1081         int             has_idle_cores;
1082 };
1083
1084 struct sched_domain {
1085         /* These fields must be setup */
1086         struct sched_domain *parent;    /* top domain must be null terminated */
1087         struct sched_domain *child;     /* bottom domain must be null terminated */
1088         struct sched_group *groups;     /* the balancing groups of the domain */
1089         unsigned long min_interval;     /* Minimum balance interval ms */
1090         unsigned long max_interval;     /* Maximum balance interval ms */
1091         unsigned int busy_factor;       /* less balancing by factor if busy */
1092         unsigned int imbalance_pct;     /* No balance until over watermark */
1093         unsigned int cache_nice_tries;  /* Leave cache hot tasks for # tries */
1094         unsigned int busy_idx;
1095         unsigned int idle_idx;
1096         unsigned int newidle_idx;
1097         unsigned int wake_idx;
1098         unsigned int forkexec_idx;
1099         unsigned int smt_gain;
1100
1101         int nohz_idle;                  /* NOHZ IDLE status */
1102         int flags;                      /* See SD_* */
1103         int level;
1104
1105         /* Runtime fields. */
1106         unsigned long last_balance;     /* init to jiffies. units in jiffies */
1107         unsigned int balance_interval;  /* initialise to 1. units in ms. */
1108         unsigned int nr_balance_failed; /* initialise to 0 */
1109
1110         /* idle_balance() stats */
1111         u64 max_newidle_lb_cost;
1112         unsigned long next_decay_max_lb_cost;
1113
1114         u64 avg_scan_cost;              /* select_idle_sibling */
1115
1116 #ifdef CONFIG_SCHEDSTATS
1117         /* load_balance() stats */
1118         unsigned int lb_count[CPU_MAX_IDLE_TYPES];
1119         unsigned int lb_failed[CPU_MAX_IDLE_TYPES];
1120         unsigned int lb_balanced[CPU_MAX_IDLE_TYPES];
1121         unsigned int lb_imbalance[CPU_MAX_IDLE_TYPES];
1122         unsigned int lb_gained[CPU_MAX_IDLE_TYPES];
1123         unsigned int lb_hot_gained[CPU_MAX_IDLE_TYPES];
1124         unsigned int lb_nobusyg[CPU_MAX_IDLE_TYPES];
1125         unsigned int lb_nobusyq[CPU_MAX_IDLE_TYPES];
1126
1127         /* Active load balancing */
1128         unsigned int alb_count;
1129         unsigned int alb_failed;
1130         unsigned int alb_pushed;
1131
1132         /* SD_BALANCE_EXEC stats */
1133         unsigned int sbe_count;
1134         unsigned int sbe_balanced;
1135         unsigned int sbe_pushed;
1136
1137         /* SD_BALANCE_FORK stats */
1138         unsigned int sbf_count;
1139         unsigned int sbf_balanced;
1140         unsigned int sbf_pushed;
1141
1142         /* try_to_wake_up() stats */
1143         unsigned int ttwu_wake_remote;
1144         unsigned int ttwu_move_affine;
1145         unsigned int ttwu_move_balance;
1146 #endif
1147 #ifdef CONFIG_SCHED_DEBUG
1148         char *name;
1149 #endif
1150         union {
1151                 void *private;          /* used during construction */
1152                 struct rcu_head rcu;    /* used during destruction */
1153         };
1154         struct sched_domain_shared *shared;
1155
1156         unsigned int span_weight;
1157         /*
1158          * Span of all CPUs in this domain.
1159          *
1160          * NOTE: this field is variable length. (Allocated dynamically
1161          * by attaching extra space to the end of the structure,
1162          * depending on how many CPUs the kernel has booted up with)
1163          */
1164         unsigned long span[0];
1165 };
1166
1167 static inline struct cpumask *sched_domain_span(struct sched_domain *sd)
1168 {
1169         return to_cpumask(sd->span);
1170 }
1171
1172 extern void partition_sched_domains(int ndoms_new, cpumask_var_t doms_new[],
1173                                     struct sched_domain_attr *dattr_new);
1174
1175 /* Allocate an array of sched domains, for partition_sched_domains(). */
1176 cpumask_var_t *alloc_sched_domains(unsigned int ndoms);
1177 void free_sched_domains(cpumask_var_t doms[], unsigned int ndoms);
1178
1179 bool cpus_share_cache(int this_cpu, int that_cpu);
1180
1181 typedef const struct cpumask *(*sched_domain_mask_f)(int cpu);
1182 typedef int (*sched_domain_flags_f)(void);
1183
1184 #define SDTL_OVERLAP    0x01
1185
1186 struct sd_data {
1187         struct sched_domain **__percpu sd;
1188         struct sched_domain_shared **__percpu sds;
1189         struct sched_group **__percpu sg;
1190         struct sched_group_capacity **__percpu sgc;
1191 };
1192
1193 struct sched_domain_topology_level {
1194         sched_domain_mask_f mask;
1195         sched_domain_flags_f sd_flags;
1196         int                 flags;
1197         int                 numa_level;
1198         struct sd_data      data;
1199 #ifdef CONFIG_SCHED_DEBUG
1200         char                *name;
1201 #endif
1202 };
1203
1204 extern void set_sched_topology(struct sched_domain_topology_level *tl);
1205 extern void wake_up_if_idle(int cpu);
1206
1207 #ifdef CONFIG_SCHED_DEBUG
1208 # define SD_INIT_NAME(type)             .name = #type
1209 #else
1210 # define SD_INIT_NAME(type)
1211 #endif
1212
1213 #else /* CONFIG_SMP */
1214
1215 struct sched_domain_attr;
1216
1217 static inline void
1218 partition_sched_domains(int ndoms_new, cpumask_var_t doms_new[],
1219                         struct sched_domain_attr *dattr_new)
1220 {
1221 }
1222
1223 static inline bool cpus_share_cache(int this_cpu, int that_cpu)
1224 {
1225         return true;
1226 }
1227
1228 #endif  /* !CONFIG_SMP */
1229
1230
1231 struct io_context;                      /* See blkdev.h */
1232
1233
1234 #ifdef ARCH_HAS_PREFETCH_SWITCH_STACK
1235 extern void prefetch_stack(struct task_struct *t);
1236 #else
1237 static inline void prefetch_stack(struct task_struct *t) { }
1238 #endif
1239
1240 struct audit_context;           /* See audit.c */
1241 struct mempolicy;
1242 struct pipe_inode_info;
1243 struct uts_namespace;
1244
1245 struct load_weight {
1246         unsigned long weight;
1247         u32 inv_weight;
1248 };
1249
1250 /*
1251  * The load_avg/util_avg accumulates an infinite geometric series
1252  * (see __update_load_avg() in kernel/sched/fair.c).
1253  *
1254  * [load_avg definition]
1255  *
1256  *   load_avg = runnable% * scale_load_down(load)
1257  *
1258  * where runnable% is the time ratio that a sched_entity is runnable.
1259  * For cfs_rq, it is the aggregated load_avg of all runnable and
1260  * blocked sched_entities.
1261  *
1262  * load_avg may also take frequency scaling into account:
1263  *
1264  *   load_avg = runnable% * scale_load_down(load) * freq%
1265  *
1266  * where freq% is the CPU frequency normalized to the highest frequency.
1267  *
1268  * [util_avg definition]
1269  *
1270  *   util_avg = running% * SCHED_CAPACITY_SCALE
1271  *
1272  * where running% is the time ratio that a sched_entity is running on
1273  * a CPU. For cfs_rq, it is the aggregated util_avg of all runnable
1274  * and blocked sched_entities.
1275  *
1276  * util_avg may also factor frequency scaling and CPU capacity scaling:
1277  *
1278  *   util_avg = running% * SCHED_CAPACITY_SCALE * freq% * capacity%
1279  *
1280  * where freq% is the same as above, and capacity% is the CPU capacity
1281  * normalized to the greatest capacity (due to uarch differences, etc).
1282  *
1283  * N.B., the above ratios (runnable%, running%, freq%, and capacity%)
1284  * themselves are in the range of [0, 1]. To do fixed point arithmetics,
1285  * we therefore scale them to as large a range as necessary. This is for
1286  * example reflected by util_avg's SCHED_CAPACITY_SCALE.
1287  *
1288  * [Overflow issue]
1289  *
1290  * The 64-bit load_sum can have 4353082796 (=2^64/47742/88761) entities
1291  * with the highest load (=88761), always runnable on a single cfs_rq,
1292  * and should not overflow as the number already hits PID_MAX_LIMIT.
1293  *
1294  * For all other cases (including 32-bit kernels), struct load_weight's
1295  * weight will overflow first before we do, because:
1296  *
1297  *    Max(load_avg) <= Max(load.weight)
1298  *
1299  * Then it is the load_weight's responsibility to consider overflow
1300  * issues.
1301  */
1302 struct sched_avg {
1303         u64 last_update_time, load_sum;
1304         u32 util_sum, period_contrib;
1305         unsigned long load_avg, util_avg;
1306 };
1307
1308 #ifdef CONFIG_SCHEDSTATS
1309 struct sched_statistics {
1310         u64                     wait_start;
1311         u64                     wait_max;
1312         u64                     wait_count;
1313         u64                     wait_sum;
1314         u64                     iowait_count;
1315         u64                     iowait_sum;
1316
1317         u64                     sleep_start;
1318         u64                     sleep_max;
1319         s64                     sum_sleep_runtime;
1320
1321         u64                     block_start;
1322         u64                     block_max;
1323         u64                     exec_max;
1324         u64                     slice_max;
1325
1326         u64                     nr_migrations_cold;
1327         u64                     nr_failed_migrations_affine;
1328         u64                     nr_failed_migrations_running;
1329         u64                     nr_failed_migrations_hot;
1330         u64                     nr_forced_migrations;
1331
1332         u64                     nr_wakeups;
1333         u64                     nr_wakeups_sync;
1334         u64                     nr_wakeups_migrate;
1335         u64                     nr_wakeups_local;
1336         u64                     nr_wakeups_remote;
1337         u64                     nr_wakeups_affine;
1338         u64                     nr_wakeups_affine_attempts;
1339         u64                     nr_wakeups_passive;
1340         u64                     nr_wakeups_idle;
1341 };
1342 #endif
1343
1344 struct sched_entity {
1345         struct load_weight      load;           /* for load-balancing */
1346         struct rb_node          run_node;
1347         struct list_head        group_node;
1348         unsigned int            on_rq;
1349
1350         u64                     exec_start;
1351         u64                     sum_exec_runtime;
1352         u64                     vruntime;
1353         u64                     prev_sum_exec_runtime;
1354
1355         u64                     nr_migrations;
1356
1357 #ifdef CONFIG_SCHEDSTATS
1358         struct sched_statistics statistics;
1359 #endif
1360
1361 #ifdef CONFIG_FAIR_GROUP_SCHED
1362         int                     depth;
1363         struct sched_entity     *parent;
1364         /* rq on which this entity is (to be) queued: */
1365         struct cfs_rq           *cfs_rq;
1366         /* rq "owned" by this entity/group: */
1367         struct cfs_rq           *my_q;
1368 #endif
1369
1370 #ifdef CONFIG_SMP
1371         /*
1372          * Per entity load average tracking.
1373          *
1374          * Put into separate cache line so it does not
1375          * collide with read-mostly values above.
1376          */
1377         struct sched_avg        avg ____cacheline_aligned_in_smp;
1378 #endif
1379 };
1380
1381 struct sched_rt_entity {
1382         struct list_head run_list;
1383         unsigned long timeout;
1384         unsigned long watchdog_stamp;
1385         unsigned int time_slice;
1386         unsigned short on_rq;
1387         unsigned short on_list;
1388
1389         struct sched_rt_entity *back;
1390 #ifdef CONFIG_RT_GROUP_SCHED
1391         struct sched_rt_entity  *parent;
1392         /* rq on which this entity is (to be) queued: */
1393         struct rt_rq            *rt_rq;
1394         /* rq "owned" by this entity/group: */
1395         struct rt_rq            *my_q;
1396 #endif
1397 };
1398
1399 struct sched_dl_entity {
1400         struct rb_node  rb_node;
1401
1402         /*
1403          * Original scheduling parameters. Copied here from sched_attr
1404          * during sched_setattr(), they will remain the same until
1405          * the next sched_setattr().
1406          */
1407         u64 dl_runtime;         /* maximum runtime for each instance    */
1408         u64 dl_deadline;        /* relative deadline of each instance   */
1409         u64 dl_period;          /* separation of two instances (period) */
1410         u64 dl_bw;              /* dl_runtime / dl_deadline             */
1411
1412         /*
1413          * Actual scheduling parameters. Initialized with the values above,
1414          * they are continously updated during task execution. Note that
1415          * the remaining runtime could be < 0 in case we are in overrun.
1416          */
1417         s64 runtime;            /* remaining runtime for this instance  */
1418         u64 deadline;           /* absolute deadline for this instance  */
1419         unsigned int flags;     /* specifying the scheduler behaviour   */
1420
1421         /*
1422          * Some bool flags:
1423          *
1424          * @dl_throttled tells if we exhausted the runtime. If so, the
1425          * task has to wait for a replenishment to be performed at the
1426          * next firing of dl_timer.
1427          *
1428          * @dl_boosted tells if we are boosted due to DI. If so we are
1429          * outside bandwidth enforcement mechanism (but only until we
1430          * exit the critical section);
1431          *
1432          * @dl_yielded tells if task gave up the cpu before consuming
1433          * all its available runtime during the last job.
1434          */
1435         int dl_throttled, dl_boosted, dl_yielded;
1436
1437         /*
1438          * Bandwidth enforcement timer. Each -deadline task has its
1439          * own bandwidth to be enforced, thus we need one timer per task.
1440          */
1441         struct hrtimer dl_timer;
1442 };
1443
1444 union rcu_special {
1445         struct {
1446                 u8 blocked;
1447                 u8 need_qs;
1448                 u8 exp_need_qs;
1449                 u8 pad; /* Otherwise the compiler can store garbage here. */
1450         } b; /* Bits. */
1451         u32 s; /* Set of bits. */
1452 };
1453 struct rcu_node;
1454
1455 enum perf_event_task_context {
1456         perf_invalid_context = -1,
1457         perf_hw_context = 0,
1458         perf_sw_context,
1459         perf_nr_task_contexts,
1460 };
1461
1462 /* Track pages that require TLB flushes */
1463 struct tlbflush_unmap_batch {
1464         /*
1465          * Each bit set is a CPU that potentially has a TLB entry for one of
1466          * the PFNs being flushed. See set_tlb_ubc_flush_pending().
1467          */
1468         struct cpumask cpumask;
1469
1470         /* True if any bit in cpumask is set */
1471         bool flush_required;
1472
1473         /*
1474          * If true then the PTE was dirty when unmapped. The entry must be
1475          * flushed before IO is initiated or a stale TLB entry potentially
1476          * allows an update without redirtying the page.
1477          */
1478         bool writable;
1479 };
1480
1481 struct task_struct {
1482 #ifdef CONFIG_THREAD_INFO_IN_TASK
1483         /*
1484          * For reasons of header soup (see current_thread_info()), this
1485          * must be the first element of task_struct.
1486          */
1487         struct thread_info thread_info;
1488 #endif
1489         volatile long state;    /* -1 unrunnable, 0 runnable, >0 stopped */
1490         void *stack;
1491         atomic_t usage;
1492         unsigned int flags;     /* per process flags, defined below */
1493         unsigned int ptrace;
1494
1495 #ifdef CONFIG_SMP
1496         struct llist_node wake_entry;
1497         int on_cpu;
1498 #ifdef CONFIG_THREAD_INFO_IN_TASK
1499         unsigned int cpu;       /* current CPU */
1500 #endif
1501         unsigned int wakee_flips;
1502         unsigned long wakee_flip_decay_ts;
1503         struct task_struct *last_wakee;
1504
1505         int wake_cpu;
1506 #endif
1507         int on_rq;
1508
1509         int prio, static_prio, normal_prio;
1510         unsigned int rt_priority;
1511         const struct sched_class *sched_class;
1512         struct sched_entity se;
1513         struct sched_rt_entity rt;
1514 #ifdef CONFIG_CGROUP_SCHED
1515         struct task_group *sched_task_group;
1516 #endif
1517         struct sched_dl_entity dl;
1518
1519 #ifdef CONFIG_PREEMPT_NOTIFIERS
1520         /* list of struct preempt_notifier: */
1521         struct hlist_head preempt_notifiers;
1522 #endif
1523
1524 #ifdef CONFIG_BLK_DEV_IO_TRACE
1525         unsigned int btrace_seq;
1526 #endif
1527
1528         unsigned int policy;
1529         int nr_cpus_allowed;
1530         cpumask_t cpus_allowed;
1531
1532 #ifdef CONFIG_PREEMPT_RCU
1533         int rcu_read_lock_nesting;
1534         union rcu_special rcu_read_unlock_special;
1535         struct list_head rcu_node_entry;
1536         struct rcu_node *rcu_blocked_node;
1537 #endif /* #ifdef CONFIG_PREEMPT_RCU */
1538 #ifdef CONFIG_TASKS_RCU
1539         unsigned long rcu_tasks_nvcsw;
1540         bool rcu_tasks_holdout;
1541         struct list_head rcu_tasks_holdout_list;
1542         int rcu_tasks_idle_cpu;
1543 #endif /* #ifdef CONFIG_TASKS_RCU */
1544
1545 #ifdef CONFIG_SCHED_INFO
1546         struct sched_info sched_info;
1547 #endif
1548
1549         struct list_head tasks;
1550 #ifdef CONFIG_SMP
1551         struct plist_node pushable_tasks;
1552         struct rb_node pushable_dl_tasks;
1553 #endif
1554
1555         struct mm_struct *mm, *active_mm;
1556         /* per-thread vma caching */
1557         u32 vmacache_seqnum;
1558         struct vm_area_struct *vmacache[VMACACHE_SIZE];
1559 #if defined(SPLIT_RSS_COUNTING)
1560         struct task_rss_stat    rss_stat;
1561 #endif
1562 /* task state */
1563         int exit_state;
1564         int exit_code, exit_signal;
1565         int pdeath_signal;  /*  The signal sent when the parent dies  */
1566         unsigned long jobctl;   /* JOBCTL_*, siglock protected */
1567
1568         /* Used for emulating ABI behavior of previous Linux versions */
1569         unsigned int personality;
1570
1571         /* scheduler bits, serialized by scheduler locks */
1572         unsigned sched_reset_on_fork:1;
1573         unsigned sched_contributes_to_load:1;
1574         unsigned sched_migrated:1;
1575         unsigned sched_remote_wakeup:1;
1576         unsigned :0; /* force alignment to the next boundary */
1577
1578         /* unserialized, strictly 'current' */
1579         unsigned in_execve:1; /* bit to tell LSMs we're in execve */
1580         unsigned in_iowait:1;
1581 #if !defined(TIF_RESTORE_SIGMASK)
1582         unsigned restore_sigmask:1;
1583 #endif
1584 #ifdef CONFIG_MEMCG
1585         unsigned memcg_may_oom:1;
1586 #ifndef CONFIG_SLOB
1587         unsigned memcg_kmem_skip_account:1;
1588 #endif
1589 #endif
1590 #ifdef CONFIG_COMPAT_BRK
1591         unsigned brk_randomized:1;
1592 #endif
1593
1594         unsigned long atomic_flags; /* Flags needing atomic access. */
1595
1596         struct restart_block restart_block;
1597
1598         pid_t pid;
1599         pid_t tgid;
1600
1601 #ifdef CONFIG_CC_STACKPROTECTOR
1602         /* Canary value for the -fstack-protector gcc feature */
1603         unsigned long stack_canary;
1604 #endif
1605         /*
1606          * pointers to (original) parent process, youngest child, younger sibling,
1607          * older sibling, respectively.  (p->father can be replaced with
1608          * p->real_parent->pid)
1609          */
1610         struct task_struct __rcu *real_parent; /* real parent process */
1611         struct task_struct __rcu *parent; /* recipient of SIGCHLD, wait4() reports */
1612         /*
1613          * children/sibling forms the list of my natural children
1614          */
1615         struct list_head children;      /* list of my children */
1616         struct list_head sibling;       /* linkage in my parent's children list */
1617         struct task_struct *group_leader;       /* threadgroup leader */
1618
1619         /*
1620          * ptraced is the list of tasks this task is using ptrace on.
1621          * This includes both natural children and PTRACE_ATTACH targets.
1622          * p->ptrace_entry is p's link on the p->parent->ptraced list.
1623          */
1624         struct list_head ptraced;
1625         struct list_head ptrace_entry;
1626
1627         /* PID/PID hash table linkage. */
1628         struct pid_link pids[PIDTYPE_MAX];
1629         struct list_head thread_group;
1630         struct list_head thread_node;
1631
1632         struct completion *vfork_done;          /* for vfork() */
1633         int __user *set_child_tid;              /* CLONE_CHILD_SETTID */
1634         int __user *clear_child_tid;            /* CLONE_CHILD_CLEARTID */
1635
1636         u64 utime, stime;
1637 #ifdef CONFIG_ARCH_HAS_SCALED_CPUTIME
1638         u64 utimescaled, stimescaled;
1639 #endif
1640         u64 gtime;
1641         struct prev_cputime prev_cputime;
1642 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_GEN
1643         seqcount_t vtime_seqcount;
1644         unsigned long long vtime_snap;
1645         enum {
1646                 /* Task is sleeping or running in a CPU with VTIME inactive */
1647                 VTIME_INACTIVE = 0,
1648                 /* Task runs in userspace in a CPU with VTIME active */
1649                 VTIME_USER,
1650                 /* Task runs in kernelspace in a CPU with VTIME active */
1651                 VTIME_SYS,
1652         } vtime_snap_whence;
1653 #endif
1654
1655 #ifdef CONFIG_NO_HZ_FULL
1656         atomic_t tick_dep_mask;
1657 #endif
1658         unsigned long nvcsw, nivcsw; /* context switch counts */
1659         u64 start_time;         /* monotonic time in nsec */
1660         u64 real_start_time;    /* boot based time in nsec */
1661 /* mm fault and swap info: this can arguably be seen as either mm-specific or thread-specific */
1662         unsigned long min_flt, maj_flt;
1663
1664 #ifdef CONFIG_POSIX_TIMERS
1665         struct task_cputime cputime_expires;
1666         struct list_head cpu_timers[3];
1667 #endif
1668
1669 /* process credentials */
1670         const struct cred __rcu *ptracer_cred; /* Tracer's credentials at attach */
1671         const struct cred __rcu *real_cred; /* objective and real subjective task
1672                                          * credentials (COW) */
1673         const struct cred __rcu *cred;  /* effective (overridable) subjective task
1674                                          * credentials (COW) */
1675         char comm[TASK_COMM_LEN]; /* executable name excluding path
1676                                      - access with [gs]et_task_comm (which lock
1677                                        it with task_lock())
1678                                      - initialized normally by setup_new_exec */
1679 /* file system info */
1680         struct nameidata *nameidata;
1681 #ifdef CONFIG_SYSVIPC
1682 /* ipc stuff */
1683         struct sysv_sem sysvsem;
1684         struct sysv_shm sysvshm;
1685 #endif
1686 #ifdef CONFIG_DETECT_HUNG_TASK
1687 /* hung task detection */
1688         unsigned long last_switch_count;
1689 #endif
1690 /* filesystem information */
1691         struct fs_struct *fs;
1692 /* open file information */
1693         struct files_struct *files;
1694 /* namespaces */
1695         struct nsproxy *nsproxy;
1696 /* signal handlers */
1697         struct signal_struct *signal;
1698         struct sighand_struct *sighand;
1699
1700         sigset_t blocked, real_blocked;
1701         sigset_t saved_sigmask; /* restored if set_restore_sigmask() was used */
1702         struct sigpending pending;
1703
1704         unsigned long sas_ss_sp;
1705         size_t sas_ss_size;
1706         unsigned sas_ss_flags;
1707
1708         struct callback_head *task_works;
1709
1710         struct audit_context *audit_context;
1711 #ifdef CONFIG_AUDITSYSCALL
1712         kuid_t loginuid;
1713         unsigned int sessionid;
1714 #endif
1715         struct seccomp seccomp;
1716
1717 /* Thread group tracking */
1718         u32 parent_exec_id;
1719         u32 self_exec_id;
1720 /* Protection of (de-)allocation: mm, files, fs, tty, keyrings, mems_allowed,
1721  * mempolicy */
1722         spinlock_t alloc_lock;
1723
1724         /* Protection of the PI data structures: */
1725         raw_spinlock_t pi_lock;
1726
1727         struct wake_q_node wake_q;
1728
1729 #ifdef CONFIG_RT_MUTEXES
1730         /* PI waiters blocked on a rt_mutex held by this task */
1731         struct rb_root pi_waiters;
1732         struct rb_node *pi_waiters_leftmost;
1733         /* Deadlock detection and priority inheritance handling */
1734         struct rt_mutex_waiter *pi_blocked_on;
1735 #endif
1736
1737 #ifdef CONFIG_DEBUG_MUTEXES
1738         /* mutex deadlock detection */
1739         struct mutex_waiter *blocked_on;
1740 #endif
1741 #ifdef CONFIG_TRACE_IRQFLAGS
1742         unsigned int irq_events;
1743         unsigned long hardirq_enable_ip;
1744         unsigned long hardirq_disable_ip;
1745         unsigned int hardirq_enable_event;
1746         unsigned int hardirq_disable_event;
1747         int hardirqs_enabled;
1748         int hardirq_context;
1749         unsigned long softirq_disable_ip;
1750         unsigned long softirq_enable_ip;
1751         unsigned int softirq_disable_event;
1752         unsigned int softirq_enable_event;
1753         int softirqs_enabled;
1754         int softirq_context;
1755 #endif
1756 #ifdef CONFIG_LOCKDEP
1757 # define MAX_LOCK_DEPTH 48UL
1758         u64 curr_chain_key;
1759         int lockdep_depth;
1760         unsigned int lockdep_recursion;
1761         struct held_lock held_locks[MAX_LOCK_DEPTH];
1762         gfp_t lockdep_reclaim_gfp;
1763 #endif
1764 #ifdef CONFIG_UBSAN
1765         unsigned int in_ubsan;
1766 #endif
1767
1768 /* journalling filesystem info */
1769         void *journal_info;
1770
1771 /* stacked block device info */
1772         struct bio_list *bio_list;
1773
1774 #ifdef CONFIG_BLOCK
1775 /* stack plugging */
1776         struct blk_plug *plug;
1777 #endif
1778
1779 /* VM state */
1780         struct reclaim_state *reclaim_state;
1781
1782         struct backing_dev_info *backing_dev_info;
1783
1784         struct io_context *io_context;
1785
1786         unsigned long ptrace_message;
1787         siginfo_t *last_siginfo; /* For ptrace use.  */
1788         struct task_io_accounting ioac;
1789 #if defined(CONFIG_TASK_XACCT)
1790         u64 acct_rss_mem1;      /* accumulated rss usage */
1791         u64 acct_vm_mem1;       /* accumulated virtual memory usage */
1792         u64 acct_timexpd;       /* stime + utime since last update */
1793 #endif
1794 #ifdef CONFIG_CPUSETS
1795         nodemask_t mems_allowed;        /* Protected by alloc_lock */
1796         seqcount_t mems_allowed_seq;    /* Seqence no to catch updates */
1797         int cpuset_mem_spread_rotor;
1798         int cpuset_slab_spread_rotor;
1799 #endif
1800 #ifdef CONFIG_CGROUPS
1801         /* Control Group info protected by css_set_lock */
1802         struct css_set __rcu *cgroups;
1803         /* cg_list protected by css_set_lock and tsk->alloc_lock */
1804         struct list_head cg_list;
1805 #endif
1806 #ifdef CONFIG_INTEL_RDT_A
1807         int closid;
1808 #endif
1809 #ifdef CONFIG_FUTEX
1810         struct robust_list_head __user *robust_list;
1811 #ifdef CONFIG_COMPAT
1812         struct compat_robust_list_head __user *compat_robust_list;
1813 #endif
1814         struct list_head pi_state_list;
1815         struct futex_pi_state *pi_state_cache;
1816 #endif
1817 #ifdef CONFIG_PERF_EVENTS
1818         struct perf_event_context *perf_event_ctxp[perf_nr_task_contexts];
1819         struct mutex perf_event_mutex;
1820         struct list_head perf_event_list;
1821 #endif
1822 #ifdef CONFIG_DEBUG_PREEMPT
1823         unsigned long preempt_disable_ip;
1824 #endif
1825 #ifdef CONFIG_NUMA
1826         struct mempolicy *mempolicy;    /* Protected by alloc_lock */
1827         short il_next;
1828         short pref_node_fork;
1829 #endif
1830 #ifdef CONFIG_NUMA_BALANCING
1831         int numa_scan_seq;
1832         unsigned int numa_scan_period;
1833         unsigned int numa_scan_period_max;
1834         int numa_preferred_nid;
1835         unsigned long numa_migrate_retry;
1836         u64 node_stamp;                 /* migration stamp  */
1837         u64 last_task_numa_placement;
1838         u64 last_sum_exec_runtime;
1839         struct callback_head numa_work;
1840
1841         struct list_head numa_entry;
1842         struct numa_group *numa_group;
1843
1844         /*
1845          * numa_faults is an array split into four regions:
1846          * faults_memory, faults_cpu, faults_memory_buffer, faults_cpu_buffer
1847          * in this precise order.
1848          *
1849          * faults_memory: Exponential decaying average of faults on a per-node
1850          * basis. Scheduling placement decisions are made based on these
1851          * counts. The values remain static for the duration of a PTE scan.
1852          * faults_cpu: Track the nodes the process was running on when a NUMA
1853          * hinting fault was incurred.
1854          * faults_memory_buffer and faults_cpu_buffer: Record faults per node
1855          * during the current scan window. When the scan completes, the counts
1856          * in faults_memory and faults_cpu decay and these values are copied.
1857          */
1858         unsigned long *numa_faults;
1859         unsigned long total_numa_faults;
1860
1861         /*
1862          * numa_faults_locality tracks if faults recorded during the last
1863          * scan window were remote/local or failed to migrate. The task scan
1864          * period is adapted based on the locality of the faults with different
1865          * weights depending on whether they were shared or private faults
1866          */
1867         unsigned long numa_faults_locality[3];
1868
1869         unsigned long numa_pages_migrated;
1870 #endif /* CONFIG_NUMA_BALANCING */
1871
1872 #ifdef CONFIG_ARCH_WANT_BATCHED_UNMAP_TLB_FLUSH
1873         struct tlbflush_unmap_batch tlb_ubc;
1874 #endif
1875
1876         struct rcu_head rcu;
1877
1878         /*
1879          * cache last used pipe for splice
1880          */
1881         struct pipe_inode_info *splice_pipe;
1882
1883         struct page_frag task_frag;
1884
1885 #ifdef  CONFIG_TASK_DELAY_ACCT
1886         struct task_delay_info *delays;
1887 #endif
1888 #ifdef CONFIG_FAULT_INJECTION
1889         int make_it_fail;
1890 #endif
1891         /*
1892          * when (nr_dirtied >= nr_dirtied_pause), it's time to call
1893          * balance_dirty_pages() for some dirty throttling pause
1894          */
1895         int nr_dirtied;
1896         int nr_dirtied_pause;
1897         unsigned long dirty_paused_when; /* start of a write-and-pause period */
1898
1899 #ifdef CONFIG_LATENCYTOP
1900         int latency_record_count;
1901         struct latency_record latency_record[LT_SAVECOUNT];
1902 #endif
1903         /*
1904          * time slack values; these are used to round up poll() and
1905          * select() etc timeout values. These are in nanoseconds.
1906          */
1907         u64 timer_slack_ns;
1908         u64 default_timer_slack_ns;
1909
1910 #ifdef CONFIG_KASAN
1911         unsigned int kasan_depth;
1912 #endif
1913 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
1914         /* Index of current stored address in ret_stack */
1915         int curr_ret_stack;
1916         /* Stack of return addresses for return function tracing */
1917         struct ftrace_ret_stack *ret_stack;
1918         /* time stamp for last schedule */
1919         unsigned long long ftrace_timestamp;
1920         /*
1921          * Number of functions that haven't been traced
1922          * because of depth overrun.
1923          */
1924         atomic_t trace_overrun;
1925         /* Pause for the tracing */
1926         atomic_t tracing_graph_pause;
1927 #endif
1928 #ifdef CONFIG_TRACING
1929         /* state flags for use by tracers */
1930         unsigned long trace;
1931         /* bitmask and counter of trace recursion */
1932         unsigned long trace_recursion;
1933 #endif /* CONFIG_TRACING */
1934 #ifdef CONFIG_KCOV
1935         /* Coverage collection mode enabled for this task (0 if disabled). */
1936         enum kcov_mode kcov_mode;
1937         /* Size of the kcov_area. */
1938         unsigned        kcov_size;
1939         /* Buffer for coverage collection. */
1940         void            *kcov_area;
1941         /* kcov desciptor wired with this task or NULL. */
1942         struct kcov     *kcov;
1943 #endif
1944 #ifdef CONFIG_MEMCG
1945         struct mem_cgroup *memcg_in_oom;
1946         gfp_t memcg_oom_gfp_mask;
1947         int memcg_oom_order;
1948
1949         /* number of pages to reclaim on returning to userland */
1950         unsigned int memcg_nr_pages_over_high;
1951 #endif
1952 #ifdef CONFIG_UPROBES
1953         struct uprobe_task *utask;
1954 #endif
1955 #if defined(CONFIG_BCACHE) || defined(CONFIG_BCACHE_MODULE)
1956         unsigned int    sequential_io;
1957         unsigned int    sequential_io_avg;
1958 #endif
1959 #ifdef CONFIG_DEBUG_ATOMIC_SLEEP
1960         unsigned long   task_state_change;
1961 #endif
1962         int pagefault_disabled;
1963 #ifdef CONFIG_MMU
1964         struct task_struct *oom_reaper_list;
1965 #endif
1966 #ifdef CONFIG_VMAP_STACK
1967         struct vm_struct *stack_vm_area;
1968 #endif
1969 #ifdef CONFIG_THREAD_INFO_IN_TASK
1970         /* A live task holds one reference. */
1971         atomic_t stack_refcount;
1972 #endif
1973 /* CPU-specific state of this task */
1974         struct thread_struct thread;
1975 /*
1976  * WARNING: on x86, 'thread_struct' contains a variable-sized
1977  * structure.  It *MUST* be at the end of 'task_struct'.
1978  *
1979  * Do not put anything below here!
1980  */
1981 };
1982
1983 #ifdef CONFIG_ARCH_WANTS_DYNAMIC_TASK_STRUCT
1984 extern int arch_task_struct_size __read_mostly;
1985 #else
1986 # define arch_task_struct_size (sizeof(struct task_struct))
1987 #endif
1988
1989 #ifdef CONFIG_VMAP_STACK
1990 static inline struct vm_struct *task_stack_vm_area(const struct task_struct *t)
1991 {
1992         return t->stack_vm_area;
1993 }
1994 #else
1995 static inline struct vm_struct *task_stack_vm_area(const struct task_struct *t)
1996 {
1997         return NULL;
1998 }
1999 #endif
2000
2001 /* Future-safe accessor for struct task_struct's cpus_allowed. */
2002 #define tsk_cpus_allowed(tsk) (&(tsk)->cpus_allowed)
2003
2004 static inline int tsk_nr_cpus_allowed(struct task_struct *p)
2005 {
2006         return p->nr_cpus_allowed;
2007 }
2008
2009 #define TNF_MIGRATED    0x01
2010 #define TNF_NO_GROUP    0x02
2011 #define TNF_SHARED      0x04
2012 #define TNF_FAULT_LOCAL 0x08
2013 #define TNF_MIGRATE_FAIL 0x10
2014
2015 static inline bool in_vfork(struct task_struct *tsk)
2016 {
2017         bool ret;
2018
2019         /*
2020          * need RCU to access ->real_parent if CLONE_VM was used along with
2021          * CLONE_PARENT.
2022          *
2023          * We check real_parent->mm == tsk->mm because CLONE_VFORK does not
2024          * imply CLONE_VM
2025          *
2026          * CLONE_VFORK can be used with CLONE_PARENT/CLONE_THREAD and thus
2027          * ->real_parent is not necessarily the task doing vfork(), so in
2028          * theory we can't rely on task_lock() if we want to dereference it.
2029          *
2030          * And in this case we can't trust the real_parent->mm == tsk->mm
2031          * check, it can be false negative. But we do not care, if init or
2032          * another oom-unkillable task does this it should blame itself.
2033          */
2034         rcu_read_lock();
2035         ret = tsk->vfork_done && tsk->real_parent->mm == tsk->mm;
2036         rcu_read_unlock();
2037
2038         return ret;
2039 }
2040
2041 #ifdef CONFIG_NUMA_BALANCING
2042 extern void task_numa_fault(int last_node, int node, int pages, int flags);
2043 extern pid_t task_numa_group_id(struct task_struct *p);
2044 extern void set_numabalancing_state(bool enabled);
2045 extern void task_numa_free(struct task_struct *p);
2046 extern bool should_numa_migrate_memory(struct task_struct *p, struct page *page,
2047                                         int src_nid, int dst_cpu);
2048 #else
2049 static inline void task_numa_fault(int last_node, int node, int pages,
2050                                    int flags)
2051 {
2052 }
2053 static inline pid_t task_numa_group_id(struct task_struct *p)
2054 {
2055         return 0;
2056 }
2057 static inline void set_numabalancing_state(bool enabled)
2058 {
2059 }
2060 static inline void task_numa_free(struct task_struct *p)
2061 {
2062 }
2063 static inline bool should_numa_migrate_memory(struct task_struct *p,
2064                                 struct page *page, int src_nid, int dst_cpu)
2065 {
2066         return true;
2067 }
2068 #endif
2069
2070 static inline struct pid *task_pid(struct task_struct *task)
2071 {
2072         return task->pids[PIDTYPE_PID].pid;
2073 }
2074
2075 static inline struct pid *task_tgid(struct task_struct *task)
2076 {
2077         return task->group_leader->pids[PIDTYPE_PID].pid;
2078 }
2079
2080 /*
2081  * Without tasklist or rcu lock it is not safe to dereference
2082  * the result of task_pgrp/task_session even if task == current,
2083  * we can race with another thread doing sys_setsid/sys_setpgid.
2084  */
2085 static inline struct pid *task_pgrp(struct task_struct *task)
2086 {
2087         return task->group_leader->pids[PIDTYPE_PGID].pid;
2088 }
2089
2090 static inline struct pid *task_session(struct task_struct *task)
2091 {
2092         return task->group_leader->pids[PIDTYPE_SID].pid;
2093 }
2094
2095 struct pid_namespace;
2096
2097 /*
2098  * the helpers to get the task's different pids as they are seen
2099  * from various namespaces
2100  *
2101  * task_xid_nr()     : global id, i.e. the id seen from the init namespace;
2102  * task_xid_vnr()    : virtual id, i.e. the id seen from the pid namespace of
2103  *                     current.
2104  * task_xid_nr_ns()  : id seen from the ns specified;
2105  *
2106  * set_task_vxid()   : assigns a virtual id to a task;
2107  *
2108  * see also pid_nr() etc in include/linux/pid.h
2109  */
2110 pid_t __task_pid_nr_ns(struct task_struct *task, enum pid_type type,
2111                         struct pid_namespace *ns);
2112
2113 static inline pid_t task_pid_nr(struct task_struct *tsk)
2114 {
2115         return tsk->pid;
2116 }
2117
2118 static inline pid_t task_pid_nr_ns(struct task_struct *tsk,
2119                                         struct pid_namespace *ns)
2120 {
2121         return __task_pid_nr_ns(tsk, PIDTYPE_PID, ns);
2122 }
2123
2124 static inline pid_t task_pid_vnr(struct task_struct *tsk)
2125 {
2126         return __task_pid_nr_ns(tsk, PIDTYPE_PID, NULL);
2127 }
2128
2129
2130 static inline pid_t task_tgid_nr(struct task_struct *tsk)
2131 {
2132         return tsk->tgid;
2133 }
2134
2135 pid_t task_tgid_nr_ns(struct task_struct *tsk, struct pid_namespace *ns);
2136
2137 static inline pid_t task_tgid_vnr(struct task_struct *tsk)
2138 {
2139         return pid_vnr(task_tgid(tsk));
2140 }
2141
2142
2143 static inline int pid_alive(const struct task_struct *p);
2144 static inline pid_t task_ppid_nr_ns(const struct task_struct *tsk, struct pid_namespace *ns)
2145 {
2146         pid_t pid = 0;
2147
2148         rcu_read_lock();
2149         if (pid_alive(tsk))
2150                 pid = task_tgid_nr_ns(rcu_dereference(tsk->real_parent), ns);
2151         rcu_read_unlock();
2152
2153         return pid;
2154 }
2155
2156 static inline pid_t task_ppid_nr(const struct task_struct *tsk)
2157 {
2158         return task_ppid_nr_ns(tsk, &init_pid_ns);
2159 }
2160
2161 static inline pid_t task_pgrp_nr_ns(struct task_struct *tsk,
2162                                         struct pid_namespace *ns)
2163 {
2164         return __task_pid_nr_ns(tsk, PIDTYPE_PGID, ns);
2165 }
2166
2167 static inline pid_t task_pgrp_vnr(struct task_struct *tsk)
2168 {
2169         return __task_pid_nr_ns(tsk, PIDTYPE_PGID, NULL);
2170 }
2171
2172
2173 static inline pid_t task_session_nr_ns(struct task_struct *tsk,
2174                                         struct pid_namespace *ns)
2175 {
2176         return __task_pid_nr_ns(tsk, PIDTYPE_SID, ns);
2177 }
2178
2179 static inline pid_t task_session_vnr(struct task_struct *tsk)
2180 {
2181         return __task_pid_nr_ns(tsk, PIDTYPE_SID, NULL);
2182 }
2183
2184 /* obsolete, do not use */
2185 static inline pid_t task_pgrp_nr(struct task_struct *tsk)
2186 {
2187         return task_pgrp_nr_ns(tsk, &init_pid_ns);
2188 }
2189
2190 /**
2191  * pid_alive - check that a task structure is not stale
2192  * @p: Task structure to be checked.
2193  *
2194  * Test if a process is not yet dead (at most zombie state)
2195  * If pid_alive fails, then pointers within the task structure
2196  * can be stale and must not be dereferenced.
2197  *
2198  * Return: 1 if the process is alive. 0 otherwise.
2199  */
2200 static inline int pid_alive(const struct task_struct *p)
2201 {
2202         return p->pids[PIDTYPE_PID].pid != NULL;
2203 }
2204
2205 /**
2206  * is_global_init - check if a task structure is init. Since init
2207  * is free to have sub-threads we need to check tgid.
2208  * @tsk: Task structure to be checked.
2209  *
2210  * Check if a task structure is the first user space task the kernel created.
2211  *
2212  * Return: 1 if the task structure is init. 0 otherwise.
2213  */
2214 static inline int is_global_init(struct task_struct *tsk)
2215 {
2216         return task_tgid_nr(tsk) == 1;
2217 }
2218
2219 extern struct pid *cad_pid;
2220
2221 extern void free_task(struct task_struct *tsk);
2222 #define get_task_struct(tsk) do { atomic_inc(&(tsk)->usage); } while(0)
2223
2224 extern void __put_task_struct(struct task_struct *t);
2225
2226 static inline void put_task_struct(struct task_struct *t)
2227 {
2228         if (atomic_dec_and_test(&t->usage))
2229                 __put_task_struct(t);
2230 }
2231
2232 struct task_struct *task_rcu_dereference(struct task_struct **ptask);
2233 struct task_struct *try_get_task_struct(struct task_struct **ptask);
2234
2235 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_GEN
2236 extern void task_cputime(struct task_struct *t,
2237                          u64 *utime, u64 *stime);
2238 extern u64 task_gtime(struct task_struct *t);
2239 #else
2240 static inline void task_cputime(struct task_struct *t,
2241                                 u64 *utime, u64 *stime)
2242 {
2243         *utime = t->utime;
2244         *stime = t->stime;
2245 }
2246
2247 static inline u64 task_gtime(struct task_struct *t)
2248 {
2249         return t->gtime;
2250 }
2251 #endif
2252
2253 #ifdef CONFIG_ARCH_HAS_SCALED_CPUTIME
2254 static inline void task_cputime_scaled(struct task_struct *t,
2255                                        u64 *utimescaled,
2256                                        u64 *stimescaled)
2257 {
2258         *utimescaled = t->utimescaled;
2259         *stimescaled = t->stimescaled;
2260 }
2261 #else
2262 static inline void task_cputime_scaled(struct task_struct *t,
2263                                        u64 *utimescaled,
2264                                        u64 *stimescaled)
2265 {
2266         task_cputime(t, utimescaled, stimescaled);
2267 }
2268 #endif
2269
2270 extern void task_cputime_adjusted(struct task_struct *p, u64 *ut, u64 *st);
2271 extern void thread_group_cputime_adjusted(struct task_struct *p, u64 *ut, u64 *st);
2272
2273 /*
2274  * Per process flags
2275  */
2276 #define PF_IDLE         0x00000002      /* I am an IDLE thread */
2277 #define PF_EXITING      0x00000004      /* getting shut down */
2278 #define PF_EXITPIDONE   0x00000008      /* pi exit done on shut down */
2279 #define PF_VCPU         0x00000010      /* I'm a virtual CPU */
2280 #define PF_WQ_WORKER    0x00000020      /* I'm a workqueue worker */
2281 #define PF_FORKNOEXEC   0x00000040      /* forked but didn't exec */
2282 #define PF_MCE_PROCESS  0x00000080      /* process policy on mce errors */
2283 #define PF_SUPERPRIV    0x00000100      /* used super-user privileges */
2284 #define PF_DUMPCORE     0x00000200      /* dumped core */
2285 #define PF_SIGNALED     0x00000400      /* killed by a signal */
2286 #define PF_MEMALLOC     0x00000800      /* Allocating memory */
2287 #define PF_NPROC_EXCEEDED 0x00001000    /* set_user noticed that RLIMIT_NPROC was exceeded */
2288 #define PF_USED_MATH    0x00002000      /* if unset the fpu must be initialized before use */
2289 #define PF_USED_ASYNC   0x00004000      /* used async_schedule*(), used by module init */
2290 #define PF_NOFREEZE     0x00008000      /* this thread should not be frozen */
2291 #define PF_FROZEN       0x00010000      /* frozen for system suspend */
2292 #define PF_FSTRANS      0x00020000      /* inside a filesystem transaction */
2293 #define PF_KSWAPD       0x00040000      /* I am kswapd */
2294 #define PF_MEMALLOC_NOIO 0x00080000     /* Allocating memory without IO involved */
2295 #define PF_LESS_THROTTLE 0x00100000     /* Throttle me less: I clean memory */
2296 #define PF_KTHREAD      0x00200000      /* I am a kernel thread */
2297 #define PF_RANDOMIZE    0x00400000      /* randomize virtual address space */
2298 #define PF_SWAPWRITE    0x00800000      /* Allowed to write to swap */
2299 #define PF_NO_SETAFFINITY 0x04000000    /* Userland is not allowed to meddle with cpus_allowed */
2300 #define PF_MCE_EARLY    0x08000000      /* Early kill for mce process policy */
2301 #define PF_MUTEX_TESTER 0x20000000      /* Thread belongs to the rt mutex tester */
2302 #define PF_FREEZER_SKIP 0x40000000      /* Freezer should not count it as freezable */
2303 #define PF_SUSPEND_TASK 0x80000000      /* this thread called freeze_processes and should not be frozen */
2304
2305 /*
2306  * Only the _current_ task can read/write to tsk->flags, but other
2307  * tasks can access tsk->flags in readonly mode for example
2308  * with tsk_used_math (like during threaded core dumping).
2309  * There is however an exception to this rule during ptrace
2310  * or during fork: the ptracer task is allowed to write to the
2311  * child->flags of its traced child (same goes for fork, the parent
2312  * can write to the child->flags), because we're guaranteed the
2313  * child is not running and in turn not changing child->flags
2314  * at the same time the parent does it.
2315  */
2316 #define clear_stopped_child_used_math(child) do { (child)->flags &= ~PF_USED_MATH; } while (0)
2317 #define set_stopped_child_used_math(child) do { (child)->flags |= PF_USED_MATH; } while (0)
2318 #define clear_used_math() clear_stopped_child_used_math(current)
2319 #define set_used_math() set_stopped_child_used_math(current)
2320 #define conditional_stopped_child_used_math(condition, child) \
2321         do { (child)->flags &= ~PF_USED_MATH, (child)->flags |= (condition) ? PF_USED_MATH : 0; } while (0)
2322 #define conditional_used_math(condition) \
2323         conditional_stopped_child_used_math(condition, current)
2324 #define copy_to_stopped_child_used_math(child) \
2325         do { (child)->flags &= ~PF_USED_MATH, (child)->flags |= current->flags & PF_USED_MATH; } while (0)
2326 /* NOTE: this will return 0 or PF_USED_MATH, it will never return 1 */
2327 #define tsk_used_math(p) ((p)->flags & PF_USED_MATH)
2328 #define used_math() tsk_used_math(current)
2329
2330 /* __GFP_IO isn't allowed if PF_MEMALLOC_NOIO is set in current->flags
2331  * __GFP_FS is also cleared as it implies __GFP_IO.
2332  */
2333 static inline gfp_t memalloc_noio_flags(gfp_t flags)
2334 {
2335         if (unlikely(current->flags & PF_MEMALLOC_NOIO))
2336                 flags &= ~(__GFP_IO | __GFP_FS);
2337         return flags;
2338 }
2339
2340 static inline unsigned int memalloc_noio_save(void)
2341 {
2342         unsigned int flags = current->flags & PF_MEMALLOC_NOIO;
2343         current->flags |= PF_MEMALLOC_NOIO;
2344         return flags;
2345 }
2346
2347 static inline void memalloc_noio_restore(unsigned int flags)
2348 {
2349         current->flags = (current->flags & ~PF_MEMALLOC_NOIO) | flags;
2350 }
2351
2352 /* Per-process atomic flags. */
2353 #define PFA_NO_NEW_PRIVS 0      /* May not gain new privileges. */
2354 #define PFA_SPREAD_PAGE  1      /* Spread page cache over cpuset */
2355 #define PFA_SPREAD_SLAB  2      /* Spread some slab caches over cpuset */
2356 #define PFA_LMK_WAITING  3      /* Lowmemorykiller is waiting */
2357
2358
2359 #define TASK_PFA_TEST(name, func)                                       \
2360         static inline bool task_##func(struct task_struct *p)           \
2361         { return test_bit(PFA_##name, &p->atomic_flags); }
2362 #define TASK_PFA_SET(name, func)                                        \
2363         static inline void task_set_##func(struct task_struct *p)       \
2364         { set_bit(PFA_##name, &p->atomic_flags); }
2365 #define TASK_PFA_CLEAR(name, func)                                      \
2366         static inline void task_clear_##func(struct task_struct *p)     \
2367         { clear_bit(PFA_##name, &p->atomic_flags); }
2368
2369 TASK_PFA_TEST(NO_NEW_PRIVS, no_new_privs)
2370 TASK_PFA_SET(NO_NEW_PRIVS, no_new_privs)
2371
2372 TASK_PFA_TEST(SPREAD_PAGE, spread_page)
2373 TASK_PFA_SET(SPREAD_PAGE, spread_page)
2374 TASK_PFA_CLEAR(SPREAD_PAGE, spread_page)
2375
2376 TASK_PFA_TEST(SPREAD_SLAB, spread_slab)
2377 TASK_PFA_SET(SPREAD_SLAB, spread_slab)
2378 TASK_PFA_CLEAR(SPREAD_SLAB, spread_slab)
2379
2380 TASK_PFA_TEST(LMK_WAITING, lmk_waiting)
2381 TASK_PFA_SET(LMK_WAITING, lmk_waiting)
2382
2383 /*
2384  * task->jobctl flags
2385  */
2386 #define JOBCTL_STOP_SIGMASK     0xffff  /* signr of the last group stop */
2387
2388 #define JOBCTL_STOP_DEQUEUED_BIT 16     /* stop signal dequeued */
2389 #define JOBCTL_STOP_PENDING_BIT 17      /* task should stop for group stop */
2390 #define JOBCTL_STOP_CONSUME_BIT 18      /* consume group stop count */
2391 #define JOBCTL_TRAP_STOP_BIT    19      /* trap for STOP */
2392 #define JOBCTL_TRAP_NOTIFY_BIT  20      /* trap for NOTIFY */
2393 #define JOBCTL_TRAPPING_BIT     21      /* switching to TRACED */
2394 #define JOBCTL_LISTENING_BIT    22      /* ptracer is listening for events */
2395
2396 #define JOBCTL_STOP_DEQUEUED    (1UL << JOBCTL_STOP_DEQUEUED_BIT)
2397 #define JOBCTL_STOP_PENDING     (1UL << JOBCTL_STOP_PENDING_BIT)
2398 #define JOBCTL_STOP_CONSUME     (1UL << JOBCTL_STOP_CONSUME_BIT)
2399 #define JOBCTL_TRAP_STOP        (1UL << JOBCTL_TRAP_STOP_BIT)
2400 #define JOBCTL_TRAP_NOTIFY      (1UL << JOBCTL_TRAP_NOTIFY_BIT)
2401 #define JOBCTL_TRAPPING         (1UL << JOBCTL_TRAPPING_BIT)
2402 #define JOBCTL_LISTENING        (1UL << JOBCTL_LISTENING_BIT)
2403
2404 #define JOBCTL_TRAP_MASK        (JOBCTL_TRAP_STOP | JOBCTL_TRAP_NOTIFY)
2405 #define JOBCTL_PENDING_MASK     (JOBCTL_STOP_PENDING | JOBCTL_TRAP_MASK)
2406
2407 extern bool task_set_jobctl_pending(struct task_struct *task,
2408                                     unsigned long mask);
2409 extern void task_clear_jobctl_trapping(struct task_struct *task);
2410 extern void task_clear_jobctl_pending(struct task_struct *task,
2411                                       unsigned long mask);
2412
2413 static inline void rcu_copy_process(struct task_struct *p)
2414 {
2415 #ifdef CONFIG_PREEMPT_RCU
2416         p->rcu_read_lock_nesting = 0;
2417         p->rcu_read_unlock_special.s = 0;
2418         p->rcu_blocked_node = NULL;
2419         INIT_LIST_HEAD(&p->rcu_node_entry);
2420 #endif /* #ifdef CONFIG_PREEMPT_RCU */
2421 #ifdef CONFIG_TASKS_RCU
2422         p->rcu_tasks_holdout = false;
2423         INIT_LIST_HEAD(&p->rcu_tasks_holdout_list);
2424         p->rcu_tasks_idle_cpu = -1;
2425 #endif /* #ifdef CONFIG_TASKS_RCU */
2426 }
2427
2428 static inline void tsk_restore_flags(struct task_struct *task,
2429                                 unsigned long orig_flags, unsigned long flags)
2430 {
2431         task->flags &= ~flags;
2432         task->flags |= orig_flags & flags;
2433 }
2434
2435 extern int cpuset_cpumask_can_shrink(const struct cpumask *cur,
2436                                      const struct cpumask *trial);
2437 extern int task_can_attach(struct task_struct *p,
2438                            const struct cpumask *cs_cpus_allowed);
2439 #ifdef CONFIG_SMP
2440 extern void do_set_cpus_allowed(struct task_struct *p,
2441                                const struct cpumask *new_mask);
2442
2443 extern int set_cpus_allowed_ptr(struct task_struct *p,
2444                                 const struct cpumask *new_mask);
2445 #else
2446 static inline void do_set_cpus_allowed(struct task_struct *p,
2447                                       const struct cpumask *new_mask)
2448 {
2449 }
2450 static inline int set_cpus_allowed_ptr(struct task_struct *p,
2451                                        const struct cpumask *new_mask)
2452 {
2453         if (!cpumask_test_cpu(0, new_mask))
2454                 return -EINVAL;
2455         return 0;
2456 }
2457 #endif
2458
2459 #ifdef CONFIG_NO_HZ_COMMON
2460 void calc_load_enter_idle(void);
2461 void calc_load_exit_idle(void);
2462 #else
2463 static inline void calc_load_enter_idle(void) { }
2464 static inline void calc_load_exit_idle(void) { }
2465 #endif /* CONFIG_NO_HZ_COMMON */
2466
2467 #ifndef cpu_relax_yield
2468 #define cpu_relax_yield() cpu_relax()
2469 #endif
2470
2471 /*
2472  * Do not use outside of architecture code which knows its limitations.
2473  *
2474  * sched_clock() has no promise of monotonicity or bounded drift between
2475  * CPUs, use (which you should not) requires disabling IRQs.
2476  *
2477  * Please use one of the three interfaces below.
2478  */
2479 extern unsigned long long notrace sched_clock(void);
2480 /*
2481  * See the comment in kernel/sched/clock.c
2482  */
2483 extern u64 running_clock(void);
2484 extern u64 sched_clock_cpu(int cpu);
2485
2486
2487 extern void sched_clock_init(void);
2488
2489 #ifndef CONFIG_HAVE_UNSTABLE_SCHED_CLOCK
2490 static inline void sched_clock_init_late(void)
2491 {
2492 }
2493
2494 static inline void sched_clock_tick(void)
2495 {
2496 }
2497
2498 static inline void clear_sched_clock_stable(void)
2499 {
2500 }
2501
2502 static inline void sched_clock_idle_sleep_event(void)
2503 {
2504 }
2505
2506 static inline void sched_clock_idle_wakeup_event(u64 delta_ns)
2507 {
2508 }
2509
2510 static inline u64 cpu_clock(int cpu)
2511 {
2512         return sched_clock();
2513 }
2514
2515 static inline u64 local_clock(void)
2516 {
2517         return sched_clock();
2518 }
2519 #else
2520 extern void sched_clock_init_late(void);
2521 /*
2522  * Architectures can set this to 1 if they have specified
2523  * CONFIG_HAVE_UNSTABLE_SCHED_CLOCK in their arch Kconfig,
2524  * but then during bootup it turns out that sched_clock()
2525  * is reliable after all:
2526  */
2527 extern int sched_clock_stable(void);
2528 extern void clear_sched_clock_stable(void);
2529
2530 extern void sched_clock_tick(void);
2531 extern void sched_clock_idle_sleep_event(void);
2532 extern void sched_clock_idle_wakeup_event(u64 delta_ns);
2533
2534 /*
2535  * As outlined in clock.c, provides a fast, high resolution, nanosecond
2536  * time source that is monotonic per cpu argument and has bounded drift
2537  * between cpus.
2538  *
2539  * ######################### BIG FAT WARNING ##########################
2540  * # when comparing cpu_clock(i) to cpu_clock(j) for i != j, time can #
2541  * # go backwards !!                                                  #
2542  * ####################################################################
2543  */
2544 static inline u64 cpu_clock(int cpu)
2545 {
2546         return sched_clock_cpu(cpu);
2547 }
2548
2549 static inline u64 local_clock(void)
2550 {
2551         return sched_clock_cpu(raw_smp_processor_id());
2552 }
2553 #endif
2554
2555 #ifdef CONFIG_IRQ_TIME_ACCOUNTING
2556 /*
2557  * An i/f to runtime opt-in for irq time accounting based off of sched_clock.
2558  * The reason for this explicit opt-in is not to have perf penalty with
2559  * slow sched_clocks.
2560  */
2561 extern void enable_sched_clock_irqtime(void);
2562 extern void disable_sched_clock_irqtime(void);
2563 #else
2564 static inline void enable_sched_clock_irqtime(void) {}
2565 static inline void disable_sched_clock_irqtime(void) {}
2566 #endif
2567
2568 extern unsigned long long
2569 task_sched_runtime(struct task_struct *task);
2570
2571 /* sched_exec is called by processes performing an exec */
2572 #ifdef CONFIG_SMP
2573 extern void sched_exec(void);
2574 #else
2575 #define sched_exec()   {}
2576 #endif
2577
2578 extern void sched_clock_idle_sleep_event(void);
2579 extern void sched_clock_idle_wakeup_event(u64 delta_ns);
2580
2581 #ifdef CONFIG_HOTPLUG_CPU
2582 extern void idle_task_exit(void);
2583 #else
2584 static inline void idle_task_exit(void) {}
2585 #endif
2586
2587 #if defined(CONFIG_NO_HZ_COMMON) && defined(CONFIG_SMP)
2588 extern void wake_up_nohz_cpu(int cpu);
2589 #else
2590 static inline void wake_up_nohz_cpu(int cpu) { }
2591 #endif
2592
2593 #ifdef CONFIG_NO_HZ_FULL
2594 extern u64 scheduler_tick_max_deferment(void);
2595 #endif
2596
2597 #ifdef CONFIG_SCHED_AUTOGROUP
2598 extern void sched_autogroup_create_attach(struct task_struct *p);
2599 extern void sched_autogroup_detach(struct task_struct *p);
2600 extern void sched_autogroup_fork(struct signal_struct *sig);
2601 extern void sched_autogroup_exit(struct signal_struct *sig);
2602 extern void sched_autogroup_exit_task(struct task_struct *p);
2603 #ifdef CONFIG_PROC_FS
2604 extern void proc_sched_autogroup_show_task(struct task_struct *p, struct seq_file *m);
2605 extern int proc_sched_autogroup_set_nice(struct task_struct *p, int nice);
2606 #endif
2607 #else
2608 static inline void sched_autogroup_create_attach(struct task_struct *p) { }
2609 static inline void sched_autogroup_detach(struct task_struct *p) { }
2610 static inline void sched_autogroup_fork(struct signal_struct *sig) { }
2611 static inline void sched_autogroup_exit(struct signal_struct *sig) { }
2612 static inline void sched_autogroup_exit_task(struct task_struct *p) { }
2613 #endif
2614
2615 extern int yield_to(struct task_struct *p, bool preempt);
2616 extern void set_user_nice(struct task_struct *p, long nice);
2617 extern int task_prio(const struct task_struct *p);
2618 /**
2619  * task_nice - return the nice value of a given task.
2620  * @p: the task in question.
2621  *
2622  * Return: The nice value [ -20 ... 0 ... 19 ].
2623  */
2624 static inline int task_nice(const struct task_struct *p)
2625 {
2626         return PRIO_TO_NICE((p)->static_prio);
2627 }
2628 extern int can_nice(const struct task_struct *p, const int nice);
2629 extern int task_curr(const struct task_struct *p);
2630 extern int idle_cpu(int cpu);
2631 extern int sched_setscheduler(struct task_struct *, int,
2632                               const struct sched_param *);
2633 extern int sched_setscheduler_nocheck(struct task_struct *, int,
2634                                       const struct sched_param *);
2635 extern int sched_setattr(struct task_struct *,
2636                          const struct sched_attr *);
2637 extern struct task_struct *idle_task(int cpu);
2638 /**
2639  * is_idle_task - is the specified task an idle task?
2640  * @p: the task in question.
2641  *
2642  * Return: 1 if @p is an idle task. 0 otherwise.
2643  */
2644 static inline bool is_idle_task(const struct task_struct *p)
2645 {
2646         return !!(p->flags & PF_IDLE);
2647 }
2648 extern struct task_struct *curr_task(int cpu);
2649 extern void ia64_set_curr_task(int cpu, struct task_struct *p);
2650
2651 void yield(void);
2652
2653 union thread_union {
2654 #ifndef CONFIG_THREAD_INFO_IN_TASK
2655         struct thread_info thread_info;
2656 #endif
2657         unsigned long stack[THREAD_SIZE/sizeof(long)];
2658 };
2659
2660 #ifndef __HAVE_ARCH_KSTACK_END
2661 static inline int kstack_end(void *addr)
2662 {
2663         /* Reliable end of stack detection:
2664          * Some APM bios versions misalign the stack
2665          */
2666         return !(((unsigned long)addr+sizeof(void*)-1) & (THREAD_SIZE-sizeof(void*)));
2667 }
2668 #endif
2669
2670 extern union thread_union init_thread_union;
2671 extern struct task_struct init_task;
2672
2673 extern struct   mm_struct init_mm;
2674
2675 extern struct pid_namespace init_pid_ns;
2676
2677 /*
2678  * find a task by one of its numerical ids
2679  *
2680  * find_task_by_pid_ns():
2681  *      finds a task by its pid in the specified namespace
2682  * find_task_by_vpid():
2683  *      finds a task by its virtual pid
2684  *
2685  * see also find_vpid() etc in include/linux/pid.h
2686  */
2687
2688 extern struct task_struct *find_task_by_vpid(pid_t nr);
2689 extern struct task_struct *find_task_by_pid_ns(pid_t nr,
2690                 struct pid_namespace *ns);
2691
2692 /* per-UID process charging. */
2693 extern struct user_struct * alloc_uid(kuid_t);
2694 static inline struct user_struct *get_uid(struct user_struct *u)
2695 {
2696         atomic_inc(&u->__count);
2697         return u;
2698 }
2699 extern void free_uid(struct user_struct *);
2700
2701 #include <asm/current.h>
2702
2703 extern void xtime_update(unsigned long ticks);
2704
2705 extern int wake_up_state(struct task_struct *tsk, unsigned int state);
2706 extern int wake_up_process(struct task_struct *tsk);
2707 extern void wake_up_new_task(struct task_struct *tsk);
2708 #ifdef CONFIG_SMP
2709  extern void kick_process(struct task_struct *tsk);
2710 #else
2711  static inline void kick_process(struct task_struct *tsk) { }
2712 #endif
2713 extern int sched_fork(unsigned long clone_flags, struct task_struct *p);
2714 extern void sched_dead(struct task_struct *p);
2715
2716 extern void proc_caches_init(void);
2717 extern void flush_signals(struct task_struct *);
2718 extern void ignore_signals(struct task_struct *);
2719 extern void flush_signal_handlers(struct task_struct *, int force_default);
2720 extern int dequeue_signal(struct task_struct *tsk, sigset_t *mask, siginfo_t *info);
2721
2722 static inline int kernel_dequeue_signal(siginfo_t *info)
2723 {
2724         struct task_struct *tsk = current;
2725         siginfo_t __info;
2726         int ret;
2727
2728         spin_lock_irq(&tsk->sighand->siglock);
2729         ret = dequeue_signal(tsk, &tsk->blocked, info ?: &__info);
2730         spin_unlock_irq(&tsk->sighand->siglock);
2731
2732         return ret;
2733 }
2734
2735 static inline void kernel_signal_stop(void)
2736 {
2737         spin_lock_irq(&current->sighand->siglock);
2738         if (current->jobctl & JOBCTL_STOP_DEQUEUED)
2739                 __set_current_state(TASK_STOPPED);
2740         spin_unlock_irq(&current->sighand->siglock);
2741
2742         schedule();
2743 }
2744
2745 extern void release_task(struct task_struct * p);
2746 extern int send_sig_info(int, struct siginfo *, struct task_struct *);
2747 extern int force_sigsegv(int, struct task_struct *);
2748 extern int force_sig_info(int, struct siginfo *, struct task_struct *);
2749 extern int __kill_pgrp_info(int sig, struct siginfo *info, struct pid *pgrp);
2750 extern int kill_pid_info(int sig, struct siginfo *info, struct pid *pid);
2751 extern int kill_pid_info_as_cred(int, struct siginfo *, struct pid *,
2752                                 const struct cred *, u32);
2753 extern int kill_pgrp(struct pid *pid, int sig, int priv);
2754 extern int kill_pid(struct pid *pid, int sig, int priv);
2755 extern int kill_proc_info(int, struct siginfo *, pid_t);
2756 extern __must_check bool do_notify_parent(struct task_struct *, int);
2757 extern void __wake_up_parent(struct task_struct *p, struct task_struct *parent);
2758 extern void force_sig(int, struct task_struct *);
2759 extern int send_sig(int, struct task_struct *, int);
2760 extern int zap_other_threads(struct task_struct *p);
2761 extern struct sigqueue *sigqueue_alloc(void);
2762 extern void sigqueue_free(struct sigqueue *);
2763 extern int send_sigqueue(struct sigqueue *,  struct task_struct *, int group);
2764 extern int do_sigaction(int, struct k_sigaction *, struct k_sigaction *);
2765
2766 #ifdef TIF_RESTORE_SIGMASK
2767 /*
2768  * Legacy restore_sigmask accessors.  These are inefficient on
2769  * SMP architectures because they require atomic operations.
2770  */
2771
2772 /**
2773  * set_restore_sigmask() - make sure saved_sigmask processing gets done
2774  *
2775  * This sets TIF_RESTORE_SIGMASK and ensures that the arch signal code
2776  * will run before returning to user mode, to process the flag.  For
2777  * all callers, TIF_SIGPENDING is already set or it's no harm to set
2778  * it.  TIF_RESTORE_SIGMASK need not be in the set of bits that the
2779  * arch code will notice on return to user mode, in case those bits
2780  * are scarce.  We set TIF_SIGPENDING here to ensure that the arch
2781  * signal code always gets run when TIF_RESTORE_SIGMASK is set.
2782  */
2783 static inline void set_restore_sigmask(void)
2784 {
2785         set_thread_flag(TIF_RESTORE_SIGMASK);
2786         WARN_ON(!test_thread_flag(TIF_SIGPENDING));
2787 }
2788 static inline void clear_restore_sigmask(void)
2789 {
2790         clear_thread_flag(TIF_RESTORE_SIGMASK);
2791 }
2792 static inline bool test_restore_sigmask(void)
2793 {
2794         return test_thread_flag(TIF_RESTORE_SIGMASK);
2795 }
2796 static inline bool test_and_clear_restore_sigmask(void)
2797 {
2798         return test_and_clear_thread_flag(TIF_RESTORE_SIGMASK);
2799 }
2800
2801 #else   /* TIF_RESTORE_SIGMASK */
2802
2803 /* Higher-quality implementation, used if TIF_RESTORE_SIGMASK doesn't exist. */
2804 static inline void set_restore_sigmask(void)
2805 {
2806         current->restore_sigmask = true;
2807         WARN_ON(!test_thread_flag(TIF_SIGPENDING));
2808 }
2809 static inline void clear_restore_sigmask(void)
2810 {
2811         current->restore_sigmask = false;
2812 }
2813 static inline bool test_restore_sigmask(void)
2814 {
2815         return current->restore_sigmask;
2816 }
2817 static inline bool test_and_clear_restore_sigmask(void)
2818 {
2819         if (!current->restore_sigmask)
2820                 return false;
2821         current->restore_sigmask = false;
2822         return true;
2823 }
2824 #endif
2825
2826 static inline void restore_saved_sigmask(void)
2827 {
2828         if (test_and_clear_restore_sigmask())
2829                 __set_current_blocked(&current->saved_sigmask);
2830 }
2831
2832 static inline sigset_t *sigmask_to_save(void)
2833 {
2834         sigset_t *res = &current->blocked;
2835         if (unlikely(test_restore_sigmask()))
2836                 res = &current->saved_sigmask;
2837         return res;
2838 }
2839
2840 static inline int kill_cad_pid(int sig, int priv)
2841 {
2842         return kill_pid(cad_pid, sig, priv);
2843 }
2844
2845 /* These can be the second arg to send_sig_info/send_group_sig_info.  */
2846 #define SEND_SIG_NOINFO ((struct siginfo *) 0)
2847 #define SEND_SIG_PRIV   ((struct siginfo *) 1)
2848 #define SEND_SIG_FORCED ((struct siginfo *) 2)
2849
2850 /*
2851  * True if we are on the alternate signal stack.
2852  */
2853 static inline int on_sig_stack(unsigned long sp)
2854 {
2855         /*
2856          * If the signal stack is SS_AUTODISARM then, by construction, we
2857          * can't be on the signal stack unless user code deliberately set
2858          * SS_AUTODISARM when we were already on it.
2859          *
2860          * This improves reliability: if user state gets corrupted such that
2861          * the stack pointer points very close to the end of the signal stack,
2862          * then this check will enable the signal to be handled anyway.
2863          */
2864         if (current->sas_ss_flags & SS_AUTODISARM)
2865                 return 0;
2866
2867 #ifdef CONFIG_STACK_GROWSUP
2868         return sp >= current->sas_ss_sp &&
2869                 sp - current->sas_ss_sp < current->sas_ss_size;
2870 #else
2871         return sp > current->sas_ss_sp &&
2872                 sp - current->sas_ss_sp <= current->sas_ss_size;
2873 #endif
2874 }
2875
2876 static inline int sas_ss_flags(unsigned long sp)
2877 {
2878         if (!current->sas_ss_size)
2879                 return SS_DISABLE;
2880
2881         return on_sig_stack(sp) ? SS_ONSTACK : 0;
2882 }
2883
2884 static inline void sas_ss_reset(struct task_struct *p)
2885 {
2886         p->sas_ss_sp = 0;
2887         p->sas_ss_size = 0;
2888         p->sas_ss_flags = SS_DISABLE;
2889 }
2890
2891 static inline unsigned long sigsp(unsigned long sp, struct ksignal *ksig)
2892 {
2893         if (unlikely((ksig->ka.sa.sa_flags & SA_ONSTACK)) && ! sas_ss_flags(sp))
2894 #ifdef CONFIG_STACK_GROWSUP
2895                 return current->sas_ss_sp;
2896 #else
2897                 return current->sas_ss_sp + current->sas_ss_size;
2898 #endif
2899         return sp;
2900 }
2901
2902 /*
2903  * Routines for handling mm_structs
2904  */
2905 extern struct mm_struct * mm_alloc(void);
2906
2907 /**
2908  * mmgrab() - Pin a &struct mm_struct.
2909  * @mm: The &struct mm_struct to pin.
2910  *
2911  * Make sure that @mm will not get freed even after the owning task
2912  * exits. This doesn't guarantee that the associated address space
2913  * will still exist later on and mmget_not_zero() has to be used before
2914  * accessing it.
2915  *
2916  * This is a preferred way to to pin @mm for a longer/unbounded amount
2917  * of time.
2918  *
2919  * Use mmdrop() to release the reference acquired by mmgrab().
2920  *
2921  * See also <Documentation/vm/active_mm.txt> for an in-depth explanation
2922  * of &mm_struct.mm_count vs &mm_struct.mm_users.
2923  */
2924 static inline void mmgrab(struct mm_struct *mm)
2925 {
2926         atomic_inc(&mm->mm_count);
2927 }
2928
2929 /* mmdrop drops the mm and the page tables */
2930 extern void __mmdrop(struct mm_struct *);
2931 static inline void mmdrop(struct mm_struct *mm)
2932 {
2933         if (unlikely(atomic_dec_and_test(&mm->mm_count)))
2934                 __mmdrop(mm);
2935 }
2936
2937 static inline void mmdrop_async_fn(struct work_struct *work)
2938 {
2939         struct mm_struct *mm = container_of(work, struct mm_struct, async_put_work);
2940         __mmdrop(mm);
2941 }
2942
2943 static inline void mmdrop_async(struct mm_struct *mm)
2944 {
2945         if (unlikely(atomic_dec_and_test(&mm->mm_count))) {
2946                 INIT_WORK(&mm->async_put_work, mmdrop_async_fn);
2947                 schedule_work(&mm->async_put_work);
2948         }
2949 }
2950
2951 /**
2952  * mmget() - Pin the address space associated with a &struct mm_struct.
2953  * @mm: The address space to pin.
2954  *
2955  * Make sure that the address space of the given &struct mm_struct doesn't
2956  * go away. This does not protect against parts of the address space being
2957  * modified or freed, however.
2958  *
2959  * Never use this function to pin this address space for an
2960  * unbounded/indefinite amount of time.
2961  *
2962  * Use mmput() to release the reference acquired by mmget().
2963  *
2964  * See also <Documentation/vm/active_mm.txt> for an in-depth explanation
2965  * of &mm_struct.mm_count vs &mm_struct.mm_users.
2966  */
2967 static inline void mmget(struct mm_struct *mm)
2968 {
2969         atomic_inc(&mm->mm_users);
2970 }
2971
2972 static inline bool mmget_not_zero(struct mm_struct *mm)
2973 {
2974         return atomic_inc_not_zero(&mm->mm_users);
2975 }
2976
2977 /* mmput gets rid of the mappings and all user-space */
2978 extern void mmput(struct mm_struct *);
2979 #ifdef CONFIG_MMU
2980 /* same as above but performs the slow path from the async context. Can
2981  * be called from the atomic context as well
2982  */
2983 extern void mmput_async(struct mm_struct *);
2984 #endif
2985
2986 /* Grab a reference to a task's mm, if it is not already going away */
2987 extern struct mm_struct *get_task_mm(struct task_struct *task);
2988 /*
2989  * Grab a reference to a task's mm, if it is not already going away
2990  * and ptrace_may_access with the mode parameter passed to it
2991  * succeeds.
2992  */
2993 extern struct mm_struct *mm_access(struct task_struct *task, unsigned int mode);
2994 /* Remove the current tasks stale references to the old mm_struct */
2995 extern void mm_release(struct task_struct *, struct mm_struct *);
2996
2997 #ifdef CONFIG_HAVE_COPY_THREAD_TLS
2998 extern int copy_thread_tls(unsigned long, unsigned long, unsigned long,
2999                         struct task_struct *, unsigned long);
3000 #else
3001 extern int copy_thread(unsigned long, unsigned long, unsigned long,
3002                         struct task_struct *);
3003
3004 /* Architectures that haven't opted into copy_thread_tls get the tls argument
3005  * via pt_regs, so ignore the tls argument passed via C. */
3006 static inline int copy_thread_tls(
3007                 unsigned long clone_flags, unsigned long sp, unsigned long arg,
3008                 struct task_struct *p, unsigned long tls)
3009 {
3010         return copy_thread(clone_flags, sp, arg, p);
3011 }
3012 #endif
3013 extern void flush_thread(void);
3014
3015 #ifdef CONFIG_HAVE_EXIT_THREAD
3016 extern void exit_thread(struct task_struct *tsk);
3017 #else
3018 static inline void exit_thread(struct task_struct *tsk)
3019 {
3020 }
3021 #endif
3022
3023 extern void exit_files(struct task_struct *);
3024 extern void __cleanup_sighand(struct sighand_struct *);
3025
3026 extern void exit_itimers(struct signal_struct *);
3027 extern void flush_itimer_signals(void);
3028
3029 extern void do_group_exit(int);
3030
3031 extern int do_execve(struct filename *,
3032                      const char __user * const __user *,
3033                      const char __user * const __user *);
3034 extern int do_execveat(int, struct filename *,
3035                        const char __user * const __user *,
3036                        const char __user * const __user *,
3037                        int);
3038 extern long _do_fork(unsigned long, unsigned long, unsigned long, int __user *, int __user *, unsigned long);
3039 extern long do_fork(unsigned long, unsigned long, unsigned long, int __user *, int __user *);
3040 struct task_struct *fork_idle(int);
3041 extern pid_t kernel_thread(int (*fn)(void *), void *arg, unsigned long flags);
3042
3043 extern void __set_task_comm(struct task_struct *tsk, const char *from, bool exec);
3044 static inline void set_task_comm(struct task_struct *tsk, const char *from)
3045 {
3046         __set_task_comm(tsk, from, false);
3047 }
3048 extern char *get_task_comm(char *to, struct task_struct *tsk);
3049
3050 #ifdef CONFIG_SMP
3051 void scheduler_ipi(void);
3052 extern unsigned long wait_task_inactive(struct task_struct *, long match_state);
3053 #else
3054 static inline void scheduler_ipi(void) { }
3055 static inline unsigned long wait_task_inactive(struct task_struct *p,
3056                                                long match_state)
3057 {
3058         return 1;
3059 }
3060 #endif
3061
3062 #define tasklist_empty() \
3063         list_empty(&init_task.tasks)
3064
3065 #define next_task(p) \
3066         list_entry_rcu((p)->tasks.next, struct task_struct, tasks)
3067
3068 #define for_each_process(p) \
3069         for (p = &init_task ; (p = next_task(p)) != &init_task ; )
3070
3071 extern bool current_is_single_threaded(void);
3072
3073 /*
3074  * Careful: do_each_thread/while_each_thread is a double loop so
3075  *          'break' will not work as expected - use goto instead.
3076  */
3077 #define do_each_thread(g, t) \
3078         for (g = t = &init_task ; (g = t = next_task(g)) != &init_task ; ) do
3079
3080 #define while_each_thread(g, t) \
3081         while ((t = next_thread(t)) != g)
3082
3083 #define __for_each_thread(signal, t)    \
3084         list_for_each_entry_rcu(t, &(signal)->thread_head, thread_node)
3085
3086 #define for_each_thread(p, t)           \
3087         __for_each_thread((p)->signal, t)
3088
3089 /* Careful: this is a double loop, 'break' won't work as expected. */
3090 #define for_each_process_thread(p, t)   \
3091         for_each_process(p) for_each_thread(p, t)
3092
3093 typedef int (*proc_visitor)(struct task_struct *p, void *data);
3094 void walk_process_tree(struct task_struct *top, proc_visitor, void *);
3095
3096 static inline int get_nr_threads(struct task_struct *tsk)
3097 {
3098         return tsk->signal->nr_threads;
3099 }
3100
3101 static inline bool thread_group_leader(struct task_struct *p)
3102 {
3103         return p->exit_signal >= 0;
3104 }
3105
3106 /* Do to the insanities of de_thread it is possible for a process
3107  * to have the pid of the thread group leader without actually being
3108  * the thread group leader.  For iteration through the pids in proc
3109  * all we care about is that we have a task with the appropriate
3110  * pid, we don't actually care if we have the right task.
3111  */
3112 static inline bool has_group_leader_pid(struct task_struct *p)
3113 {
3114         return task_pid(p) == p->signal->leader_pid;
3115 }
3116
3117 static inline
3118 bool same_thread_group(struct task_struct *p1, struct task_struct *p2)
3119 {
3120         return p1->signal == p2->signal;
3121 }
3122
3123 static inline struct task_struct *next_thread(const struct task_struct *p)
3124 {
3125         return list_entry_rcu(p->thread_group.next,
3126                               struct task_struct, thread_group);
3127 }
3128
3129 static inline int thread_group_empty(struct task_struct *p)
3130 {
3131         return list_empty(&p->thread_group);
3132 }
3133
3134 #define delay_group_leader(p) \
3135                 (thread_group_leader(p) && !thread_group_empty(p))
3136
3137 /*
3138  * Protects ->fs, ->files, ->mm, ->group_info, ->comm, keyring
3139  * subscriptions and synchronises with wait4().  Also used in procfs.  Also
3140  * pins the final release of task.io_context.  Also protects ->cpuset and
3141  * ->cgroup.subsys[]. And ->vfork_done.
3142  *
3143  * Nests both inside and outside of read_lock(&tasklist_lock).
3144  * It must not be nested with write_lock_irq(&tasklist_lock),
3145  * neither inside nor outside.
3146  */
3147 static inline void task_lock(struct task_struct *p)
3148 {
3149         spin_lock(&p->alloc_lock);
3150 }
3151
3152 static inline void task_unlock(struct task_struct *p)
3153 {
3154         spin_unlock(&p->alloc_lock);
3155 }
3156
3157 extern struct sighand_struct *__lock_task_sighand(struct task_struct *tsk,
3158                                                         unsigned long *flags);
3159
3160 static inline struct sighand_struct *lock_task_sighand(struct task_struct *tsk,
3161                                                        unsigned long *flags)
3162 {
3163         struct sighand_struct *ret;
3164
3165         ret = __lock_task_sighand(tsk, flags);
3166         (void)__cond_lock(&tsk->sighand->siglock, ret);
3167         return ret;
3168 }
3169
3170 static inline void unlock_task_sighand(struct task_struct *tsk,
3171                                                 unsigned long *flags)
3172 {
3173         spin_unlock_irqrestore(&tsk->sighand->siglock, *flags);
3174 }
3175
3176 /**
3177  * threadgroup_change_begin - mark the beginning of changes to a threadgroup
3178  * @tsk: task causing the changes
3179  *
3180  * All operations which modify a threadgroup - a new thread joining the
3181  * group, death of a member thread (the assertion of PF_EXITING) and
3182  * exec(2) dethreading the process and replacing the leader - are wrapped
3183  * by threadgroup_change_{begin|end}().  This is to provide a place which
3184  * subsystems needing threadgroup stability can hook into for
3185  * synchronization.
3186  */
3187 static inline void threadgroup_change_begin(struct task_struct *tsk)
3188 {
3189         might_sleep();
3190         cgroup_threadgroup_change_begin(tsk);
3191 }
3192
3193 /**
3194  * threadgroup_change_end - mark the end of changes to a threadgroup
3195  * @tsk: task causing the changes
3196  *
3197  * See threadgroup_change_begin().
3198  */
3199 static inline void threadgroup_change_end(struct task_struct *tsk)
3200 {
3201         cgroup_threadgroup_change_end(tsk);
3202 }
3203
3204 #ifdef CONFIG_THREAD_INFO_IN_TASK
3205
3206 static inline struct thread_info *task_thread_info(struct task_struct *task)
3207 {
3208         return &task->thread_info;
3209 }
3210
3211 /*
3212  * When accessing the stack of a non-current task that might exit, use
3213  * try_get_task_stack() instead.  task_stack_page will return a pointer
3214  * that could get freed out from under you.
3215  */
3216 static inline void *task_stack_page(const struct task_struct *task)
3217 {
3218         return task->stack;
3219 }
3220
3221 #define setup_thread_stack(new,old)     do { } while(0)
3222
3223 static inline unsigned long *end_of_stack(const struct task_struct *task)
3224 {
3225         return task->stack;
3226 }
3227
3228 #elif !defined(__HAVE_THREAD_FUNCTIONS)
3229
3230 #define task_thread_info(task)  ((struct thread_info *)(task)->stack)
3231 #define task_stack_page(task)   ((void *)(task)->stack)
3232
3233 static inline void setup_thread_stack(struct task_struct *p, struct task_struct *org)
3234 {
3235         *task_thread_info(p) = *task_thread_info(org);
3236         task_thread_info(p)->task = p;
3237 }
3238
3239 /*
3240  * Return the address of the last usable long on the stack.
3241  *
3242  * When the stack grows down, this is just above the thread
3243  * info struct. Going any lower will corrupt the threadinfo.
3244  *
3245  * When the stack grows up, this is the highest address.
3246  * Beyond that position, we corrupt data on the next page.
3247  */
3248 static inline unsigned long *end_of_stack(struct task_struct *p)
3249 {
3250 #ifdef CONFIG_STACK_GROWSUP
3251         return (unsigned long *)((unsigned long)task_thread_info(p) + THREAD_SIZE) - 1;
3252 #else
3253         return (unsigned long *)(task_thread_info(p) + 1);
3254 #endif
3255 }
3256
3257 #endif
3258
3259 #ifdef CONFIG_THREAD_INFO_IN_TASK
3260 static inline void *try_get_task_stack(struct task_struct *tsk)
3261 {
3262         return atomic_inc_not_zero(&tsk->stack_refcount) ?
3263                 task_stack_page(tsk) : NULL;
3264 }
3265
3266 extern void put_task_stack(struct task_struct *tsk);
3267 #else
3268 static inline void *try_get_task_stack(struct task_struct *tsk)
3269 {
3270         return task_stack_page(tsk);
3271 }
3272
3273 static inline void put_task_stack(struct task_struct *tsk) {}
3274 #endif
3275
3276 #define task_stack_end_corrupted(task) \
3277                 (*(end_of_stack(task)) != STACK_END_MAGIC)
3278
3279 static inline int object_is_on_stack(void *obj)
3280 {
3281         void *stack = task_stack_page(current);
3282
3283         return (obj >= stack) && (obj < (stack + THREAD_SIZE));
3284 }
3285
3286 extern void thread_stack_cache_init(void);
3287
3288 #ifdef CONFIG_DEBUG_STACK_USAGE
3289 static inline unsigned long stack_not_used(struct task_struct *p)
3290 {
3291         unsigned long *n = end_of_stack(p);
3292
3293         do {    /* Skip over canary */
3294 # ifdef CONFIG_STACK_GROWSUP
3295                 n--;
3296 # else
3297                 n++;
3298 # endif
3299         } while (!*n);
3300
3301 # ifdef CONFIG_STACK_GROWSUP
3302         return (unsigned long)end_of_stack(p) - (unsigned long)n;
3303 # else
3304         return (unsigned long)n - (unsigned long)end_of_stack(p);
3305 # endif
3306 }
3307 #endif
3308 extern void set_task_stack_end_magic(struct task_struct *tsk);
3309
3310 /* set thread flags in other task's structures
3311  * - see asm/thread_info.h for TIF_xxxx flags available
3312  */
3313 static inline void set_tsk_thread_flag(struct task_struct *tsk, int flag)
3314 {
3315         set_ti_thread_flag(task_thread_info(tsk), flag);
3316 }
3317
3318 static inline void clear_tsk_thread_flag(struct task_struct *tsk, int flag)
3319 {
3320         clear_ti_thread_flag(task_thread_info(tsk), flag);
3321 }
3322
3323 static inline int test_and_set_tsk_thread_flag(struct task_struct *tsk, int flag)
3324 {
3325         return test_and_set_ti_thread_flag(task_thread_info(tsk), flag);
3326 }
3327
3328 static inline int test_and_clear_tsk_thread_flag(struct task_struct *tsk, int flag)
3329 {
3330         return test_and_clear_ti_thread_flag(task_thread_info(tsk), flag);
3331 }
3332
3333 static inline int test_tsk_thread_flag(struct task_struct *tsk, int flag)
3334 {
3335         return test_ti_thread_flag(task_thread_info(tsk), flag);
3336 }
3337
3338 static inline void set_tsk_need_resched(struct task_struct *tsk)
3339 {
3340         set_tsk_thread_flag(tsk,TIF_NEED_RESCHED);
3341 }
3342
3343 static inline void clear_tsk_need_resched(struct task_struct *tsk)
3344 {
3345         clear_tsk_thread_flag(tsk,TIF_NEED_RESCHED);
3346 }
3347
3348 static inline int test_tsk_need_resched(struct task_struct *tsk)
3349 {
3350         return unlikely(test_tsk_thread_flag(tsk,TIF_NEED_RESCHED));
3351 }
3352
3353 static inline int restart_syscall(void)
3354 {
3355         set_tsk_thread_flag(current, TIF_SIGPENDING);
3356         return -ERESTARTNOINTR;
3357 }
3358
3359 static inline int signal_pending(struct task_struct *p)
3360 {
3361         return unlikely(test_tsk_thread_flag(p,TIF_SIGPENDING));
3362 }
3363
3364 static inline int __fatal_signal_pending(struct task_struct *p)
3365 {
3366         return unlikely(sigismember(&p->pending.signal, SIGKILL));
3367 }
3368
3369 static inline int fatal_signal_pending(struct task_struct *p)
3370 {
3371         return signal_pending(p) && __fatal_signal_pending(p);
3372 }
3373
3374 static inline int signal_pending_state(long state, struct task_struct *p)
3375 {
3376         if (!(state & (TASK_INTERRUPTIBLE | TASK_WAKEKILL)))
3377                 return 0;
3378         if (!signal_pending(p))
3379                 return 0;
3380
3381         return (state & TASK_INTERRUPTIBLE) || __fatal_signal_pending(p);
3382 }
3383
3384 /*
3385  * cond_resched() and cond_resched_lock(): latency reduction via
3386  * explicit rescheduling in places that are safe. The return
3387  * value indicates whether a reschedule was done in fact.
3388  * cond_resched_lock() will drop the spinlock before scheduling,
3389  * cond_resched_softirq() will enable bhs before scheduling.
3390  */
3391 #ifndef CONFIG_PREEMPT
3392 extern int _cond_resched(void);
3393 #else
3394 static inline int _cond_resched(void) { return 0; }
3395 #endif
3396
3397 #define cond_resched() ({                       \
3398         ___might_sleep(__FILE__, __LINE__, 0);  \
3399         _cond_resched();                        \
3400 })
3401
3402 extern int __cond_resched_lock(spinlock_t *lock);
3403
3404 #define cond_resched_lock(lock) ({                              \
3405         ___might_sleep(__FILE__, __LINE__, PREEMPT_LOCK_OFFSET);\
3406         __cond_resched_lock(lock);                              \
3407 })
3408
3409 extern int __cond_resched_softirq(void);
3410
3411 #define cond_resched_softirq() ({                                       \
3412         ___might_sleep(__FILE__, __LINE__, SOFTIRQ_DISABLE_OFFSET);     \
3413         __cond_resched_softirq();                                       \
3414 })
3415
3416 static inline void cond_resched_rcu(void)
3417 {
3418 #if defined(CONFIG_DEBUG_ATOMIC_SLEEP) || !defined(CONFIG_PREEMPT_RCU)
3419         rcu_read_unlock();
3420         cond_resched();
3421         rcu_read_lock();
3422 #endif
3423 }
3424
3425 static inline unsigned long get_preempt_disable_ip(struct task_struct *p)
3426 {
3427 #ifdef CONFIG_DEBUG_PREEMPT
3428         return p->preempt_disable_ip;
3429 #else
3430         return 0;
3431 #endif
3432 }
3433
3434 /*
3435  * Does a critical section need to be broken due to another
3436  * task waiting?: (technically does not depend on CONFIG_PREEMPT,
3437  * but a general need for low latency)
3438  */
3439 static inline int spin_needbreak(spinlock_t *lock)
3440 {
3441 #ifdef CONFIG_PREEMPT
3442         return spin_is_contended(lock);
3443 #else
3444         return 0;
3445 #endif
3446 }
3447
3448 /*
3449  * Idle thread specific functions to determine the need_resched
3450  * polling state.
3451  */
3452 #ifdef TIF_POLLING_NRFLAG
3453 static inline int tsk_is_polling(struct task_struct *p)
3454 {
3455         return test_tsk_thread_flag(p, TIF_POLLING_NRFLAG);
3456 }
3457
3458 static inline void __current_set_polling(void)
3459 {
3460         set_thread_flag(TIF_POLLING_NRFLAG);
3461 }
3462
3463 static inline bool __must_check current_set_polling_and_test(void)
3464 {
3465         __current_set_polling();
3466
3467         /*
3468          * Polling state must be visible before we test NEED_RESCHED,
3469          * paired by resched_curr()
3470          */
3471         smp_mb__after_atomic();
3472
3473         return unlikely(tif_need_resched());
3474 }
3475
3476 static inline void __current_clr_polling(void)
3477 {
3478         clear_thread_flag(TIF_POLLING_NRFLAG);
3479 }
3480
3481 static inline bool __must_check current_clr_polling_and_test(void)
3482 {
3483         __current_clr_polling();
3484
3485         /*
3486          * Polling state must be visible before we test NEED_RESCHED,
3487          * paired by resched_curr()
3488          */
3489         smp_mb__after_atomic();
3490
3491         return unlikely(tif_need_resched());
3492 }
3493
3494 #else
3495 static inline int tsk_is_polling(struct task_struct *p) { return 0; }
3496 static inline void __current_set_polling(void) { }
3497 static inline void __current_clr_polling(void) { }
3498
3499 static inline bool __must_check current_set_polling_and_test(void)
3500 {
3501         return unlikely(tif_need_resched());
3502 }
3503 static inline bool __must_check current_clr_polling_and_test(void)
3504 {
3505         return unlikely(tif_need_resched());
3506 }
3507 #endif
3508
3509 static inline void current_clr_polling(void)
3510 {
3511         __current_clr_polling();
3512
3513         /*
3514          * Ensure we check TIF_NEED_RESCHED after we clear the polling bit.
3515          * Once the bit is cleared, we'll get IPIs with every new
3516          * TIF_NEED_RESCHED and the IPI handler, scheduler_ipi(), will also
3517          * fold.
3518          */
3519         smp_mb(); /* paired with resched_curr() */
3520
3521         preempt_fold_need_resched();
3522 }
3523
3524 static __always_inline bool need_resched(void)
3525 {
3526         return unlikely(tif_need_resched());
3527 }
3528
3529 /*
3530  * Thread group CPU time accounting.
3531  */
3532 void thread_group_cputime(struct task_struct *tsk, struct task_cputime *times);
3533 void thread_group_cputimer(struct task_struct *tsk, struct task_cputime *times);
3534
3535 /*
3536  * Reevaluate whether the task has signals pending delivery.
3537  * Wake the task if so.
3538  * This is required every time the blocked sigset_t changes.
3539  * callers must hold sighand->siglock.
3540  */
3541 extern void recalc_sigpending_and_wake(struct task_struct *t);
3542 extern void recalc_sigpending(void);
3543
3544 extern void signal_wake_up_state(struct task_struct *t, unsigned int state);
3545
3546 static inline void signal_wake_up(struct task_struct *t, bool resume)
3547 {
3548         signal_wake_up_state(t, resume ? TASK_WAKEKILL : 0);
3549 }
3550 static inline void ptrace_signal_wake_up(struct task_struct *t, bool resume)
3551 {
3552         signal_wake_up_state(t, resume ? __TASK_TRACED : 0);
3553 }
3554
3555 /*
3556  * Wrappers for p->thread_info->cpu access. No-op on UP.
3557  */
3558 #ifdef CONFIG_SMP
3559
3560 static inline unsigned int task_cpu(const struct task_struct *p)
3561 {
3562 #ifdef CONFIG_THREAD_INFO_IN_TASK
3563         return p->cpu;
3564 #else
3565         return task_thread_info(p)->cpu;
3566 #endif
3567 }
3568
3569 static inline int task_node(const struct task_struct *p)
3570 {
3571         return cpu_to_node(task_cpu(p));
3572 }
3573
3574 extern void set_task_cpu(struct task_struct *p, unsigned int cpu);
3575
3576 #else
3577
3578 static inline unsigned int task_cpu(const struct task_struct *p)
3579 {
3580         return 0;
3581 }
3582
3583 static inline void set_task_cpu(struct task_struct *p, unsigned int cpu)
3584 {
3585 }
3586
3587 #endif /* CONFIG_SMP */
3588
3589 /*
3590  * In order to reduce various lock holder preemption latencies provide an
3591  * interface to see if a vCPU is currently running or not.
3592  *
3593  * This allows us to terminate optimistic spin loops and block, analogous to
3594  * the native optimistic spin heuristic of testing if the lock owner task is
3595  * running or not.
3596  */
3597 #ifndef vcpu_is_preempted
3598 # define vcpu_is_preempted(cpu) false
3599 #endif
3600
3601 extern long sched_setaffinity(pid_t pid, const struct cpumask *new_mask);
3602 extern long sched_getaffinity(pid_t pid, struct cpumask *mask);
3603
3604 #ifdef CONFIG_CGROUP_SCHED
3605 extern struct task_group root_task_group;
3606 #endif /* CONFIG_CGROUP_SCHED */
3607
3608 extern int task_can_switch_user(struct user_struct *up,
3609                                         struct task_struct *tsk);
3610
3611 #ifdef CONFIG_TASK_XACCT
3612 static inline void add_rchar(struct task_struct *tsk, ssize_t amt)
3613 {
3614         tsk->ioac.rchar += amt;
3615 }
3616
3617 static inline void add_wchar(struct task_struct *tsk, ssize_t amt)
3618 {
3619         tsk->ioac.wchar += amt;
3620 }
3621
3622 static inline void inc_syscr(struct task_struct *tsk)
3623 {
3624         tsk->ioac.syscr++;
3625 }
3626
3627 static inline void inc_syscw(struct task_struct *tsk)
3628 {
3629         tsk->ioac.syscw++;
3630 }
3631 #else
3632 static inline void add_rchar(struct task_struct *tsk, ssize_t amt)
3633 {
3634 }
3635
3636 static inline void add_wchar(struct task_struct *tsk, ssize_t amt)
3637 {
3638 }
3639
3640 static inline void inc_syscr(struct task_struct *tsk)
3641 {
3642 }
3643
3644 static inline void inc_syscw(struct task_struct *tsk)
3645 {
3646 }
3647 #endif
3648
3649 #ifndef TASK_SIZE_OF
3650 #define TASK_SIZE_OF(tsk)       TASK_SIZE
3651 #endif
3652
3653 #ifdef CONFIG_MEMCG
3654 extern void mm_update_next_owner(struct mm_struct *mm);
3655 #else
3656 static inline void mm_update_next_owner(struct mm_struct *mm)
3657 {
3658 }
3659 #endif /* CONFIG_MEMCG */
3660
3661 static inline unsigned long task_rlimit(const struct task_struct *tsk,
3662                 unsigned int limit)
3663 {
3664         return READ_ONCE(tsk->signal->rlim[limit].rlim_cur);
3665 }
3666
3667 static inline unsigned long task_rlimit_max(const struct task_struct *tsk,
3668                 unsigned int limit)
3669 {
3670         return READ_ONCE(tsk->signal->rlim[limit].rlim_max);
3671 }
3672
3673 static inline unsigned long rlimit(unsigned int limit)
3674 {
3675         return task_rlimit(current, limit);
3676 }
3677
3678 static inline unsigned long rlimit_max(unsigned int limit)
3679 {
3680         return task_rlimit_max(current, limit);
3681 }
3682
3683 #define SCHED_CPUFREQ_RT        (1U << 0)
3684 #define SCHED_CPUFREQ_DL        (1U << 1)
3685 #define SCHED_CPUFREQ_IOWAIT    (1U << 2)
3686
3687 #define SCHED_CPUFREQ_RT_DL     (SCHED_CPUFREQ_RT | SCHED_CPUFREQ_DL)
3688
3689 #ifdef CONFIG_CPU_FREQ
3690 struct update_util_data {
3691        void (*func)(struct update_util_data *data, u64 time, unsigned int flags);
3692 };
3693
3694 void cpufreq_add_update_util_hook(int cpu, struct update_util_data *data,
3695                        void (*func)(struct update_util_data *data, u64 time,
3696                                     unsigned int flags));
3697 void cpufreq_remove_update_util_hook(int cpu);
3698 #endif /* CONFIG_CPU_FREQ */
3699
3700 #endif