Git of dcc - anni/blob - lib/pleroma/application.ex

   1 # Pleroma: A lightweight social networking server
   2 # Copyright © 2017-2022 Pleroma Authors <https://pleroma.social/>
   3 # SPDX-License-Identifier: AGPL-3.0-only
   4
   5 defmodule Pleroma.Application do
   6   use Application
   7
   8   import Cachex.Spec
   9
  10   alias Pleroma.Config
  11
  12   require Logger
  13
  14   @name Mix.Project.config()[:name]
  15   @version Mix.Project.config()[:version]
  16   @repository Mix.Project.config()[:source_url]
  17   @mix_env Mix.env()
  18
  19   def name, do: @name
  20   def version, do: @version
  21   def named_version, do: @name <> " " <> @version
  22   def repository, do: @repository
  23
  24   def user_agent do
  25     if Process.whereis(Pleroma.Web.Endpoint) do
  26       case Config.get([:http, :user_agent], :default) do
  27         :default ->
  28           info = "#{Pleroma.Web.Endpoint.url()} <#{Config.get([:instance, :email], "")}>"
  29           named_version() <> "; " <> info
  30
  31         custom ->
  32           custom
  33       end
  34     else
  35       # fallback, if endpoint is not started yet
  36       "Pleroma Data Loader"
  37     end
  38   end
  39
  40   # See http://elixir-lang.org/docs/stable/elixir/Application.html
  41   # for more information on OTP Applications
  42   def start(_type, _args) do
  43     # Scrubbers are compiled at runtime and therefore will cause a conflict
  44     # every time the application is restarted, so we disable module
  45     # conflicts at runtime
  46     Code.compiler_options(ignore_module_conflict: true)
  47     # Disable warnings_as_errors at runtime, it breaks Phoenix live reload
  48     # due to protocol consolidation warnings
  49     Code.compiler_options(warnings_as_errors: false)
  50     Pleroma.Telemetry.Logger.attach()
  51     Config.Holder.save_default()
  52     Pleroma.HTML.compile_scrubbers()
  53     Pleroma.Config.Oban.warn()
  54     Config.DeprecationWarnings.warn()
  55     Pleroma.Web.Plugs.HTTPSecurityPlug.warn_if_disabled()
  56     Pleroma.ApplicationRequirements.verify!()
  57     setup_instrumenters()
  58     load_custom_modules()
  59     Pleroma.Docs.JSON.compile()
  60     limiters_setup()
  61
  62     adapter = Application.get_env(:tesla, :adapter)
  63
  64     if match?({Tesla.Adapter.Finch, _}, adapter) do
  65       Logger.info("Starting Finch")
  66       Finch.start_link(name: MyFinch)
  67     end
  68
  69     if adapter == Tesla.Adapter.Gun do
  70       if version = Pleroma.OTPVersion.version() do
  71         [major, minor] =
  72           version
  73           |> String.split(".")
  74           |> Enum.map(&String.to_integer/1)
  75           |> Enum.take(2)
  76
  77         if (major == 22 and minor < 2) or major < 22 do
  78           raise "
  79             !!!OTP VERSION WARNING!!!
  80             You are using gun adapter with OTP version #{version}, which doesn't support correct handling of unordered certificates chains. Please update your Erlang/OTP to at least 22.2.
  81             "
  82         end
  83       else
  84         raise "
  85           !!!OTP VERSION WARNING!!!
  86           To support correct handling of unordered certificates chains - OTP version must be > 22.2.
  87           "
  88       end
  89     end
  90
  91     # Define workers and child supervisors to be supervised
  92     children =
  93       [
  94         Pleroma.Repo,
  95         Config.TransferTask,
  96         Pleroma.Emoji,
  97         Pleroma.Web.Plugs.RateLimiter.Supervisor,
  98         {Task.Supervisor, name: Pleroma.TaskSupervisor}
  99       ] ++
 100         cachex_children() ++
 101         http_children(adapter, @mix_env) ++
 102         [
 103           Pleroma.Stats,
 104           Pleroma.JobQueueMonitor,
 105           {Majic.Pool, [name: Pleroma.MajicPool, pool_size: Config.get([:majic_pool, :size], 2)]},
 106           {Oban, Config.get(Oban)},
 107           Pleroma.Web.Endpoint
 108         ] ++
 109         task_children(@mix_env) ++
 110         dont_run_in_test(@mix_env) ++
 111         shout_child(shout_enabled?()) ++
 112         [Pleroma.Gopher.Server]
 113
 114     # See http://elixir-lang.org/docs/stable/elixir/Supervisor.html
 115     # for other strategies and supported options
 116     # If we have a lot of caches, default max_restarts can cause test
 117     # resets to fail.
 118     # Go for the default 3 unless we're in test
 119     max_restarts =
 120       if @mix_env == :test do
 121         100
 122       else
 123         3
 124       end
 125
 126     opts = [strategy: :one_for_one, name: Pleroma.Supervisor, max_restarts: max_restarts]
 127     result = Supervisor.start_link(children, opts)
 128
 129     set_postgres_server_version()
 130
 131     result
 132   end
 133
 134   defp set_postgres_server_version do
 135     version =
 136       with %{rows: [[version]]} <- Ecto.Adapters.SQL.query!(Pleroma.Repo, "show server_version"),
 137            {num, _} <- Float.parse(version) do
 138         num
 139       else
 140         e ->
 141           Logger.warn(
 142             "Could not get the postgres version: #{inspect(e)}.\nSetting the default value of 9.6"
 143           )
 144
 145           9.6
 146       end
 147
 148     :persistent_term.put({Pleroma.Repo, :postgres_version}, version)
 149   end
 150
 151   def load_custom_modules do
 152     dir = Config.get([:modules, :runtime_dir])
 153
 154     if dir && File.exists?(dir) do
 155       dir
 156       |> Pleroma.Utils.compile_dir()
 157       |> case do
 158         {:error, _errors, _warnings} ->
 159           raise "Invalid custom modules"
 160
 161         {:ok, modules, _warnings} ->
 162           if @mix_env != :test do
 163             Enum.each(modules, fn mod ->
 164               Logger.info("Custom module loaded: #{inspect(mod)}")
 165             end)
 166           end
 167
 168           :ok
 169       end
 170     end
 171   end
 172
 173   defp setup_instrumenters do
 174     require Prometheus.Registry
 175
 176     if Application.get_env(:prometheus, Pleroma.Repo.Instrumenter) do
 177       :ok =
 178         :telemetry.attach(
 179           "prometheus-ecto",
 180           [:pleroma, :repo, :query],
 181           &Pleroma.Repo.Instrumenter.handle_event/4,
 182           %{}
 183         )
 184
 185       Pleroma.Repo.Instrumenter.setup()
 186     end
 187
 188     Pleroma.Web.Endpoint.MetricsExporter.setup()
 189     Pleroma.Web.Endpoint.PipelineInstrumenter.setup()
 190
 191     # Note: disabled until prometheus-phx is integrated into prometheus-phoenix:
 192     # Pleroma.Web.Endpoint.Instrumenter.setup()
 193     PrometheusPhx.setup()
 194   end
 195
 196   defp cachex_children do
 197     [
 198       build_cachex("used_captcha", ttl_interval: seconds_valid_interval()),
 199       build_cachex("user", default_ttl: 25_000, ttl_interval: 1000, limit: 2500),
 200       build_cachex("object", default_ttl: 25_000, ttl_interval: 1000, limit: 2500),
 201       build_cachex("rich_media", default_ttl: :timer.minutes(120), limit: 5000),
 202       build_cachex("scrubber", limit: 2500),
 203       build_cachex("scrubber_management", limit: 2500),
 204       build_cachex("idempotency", expiration: idempotency_expiration(), limit: 2500),
 205       build_cachex("web_resp", limit: 2500),
 206       build_cachex("emoji_packs", expiration: emoji_packs_expiration(), limit: 10),
 207       build_cachex("failed_proxy_url", limit: 2500),
 208       build_cachex("banned_urls", default_ttl: :timer.hours(24 * 30), limit: 5_000),
 209       build_cachex("chat_message_id_idempotency_key",
 210         expiration: chat_message_id_idempotency_key_expiration(),
 211         limit: 500_000
 212       ),
 213       build_cachex("rel_me", limit: 2500)
 214     ]
 215   end
 216
 217   defp emoji_packs_expiration,
 218     do: expiration(default: :timer.seconds(5 * 60), interval: :timer.seconds(60))
 219
 220   defp idempotency_expiration,
 221     do: expiration(default: :timer.seconds(6 * 60 * 60), interval: :timer.seconds(60))
 222
 223   defp chat_message_id_idempotency_key_expiration,
 224     do: expiration(default: :timer.minutes(2), interval: :timer.seconds(60))
 225
 226   defp seconds_valid_interval,
 227     do: :timer.seconds(Config.get!([Pleroma.Captcha, :seconds_valid]))
 228
 229   @spec build_cachex(String.t(), keyword()) :: map()
 230   def build_cachex(type, opts),
 231     do: %{
 232       id: String.to_atom("cachex_" <> type),
 233       start: {Cachex, :start_link, [String.to_atom(type <> "_cache"), opts]},
 234       type: :worker
 235     }
 236
 237   defp shout_enabled?, do: Config.get([:shout, :enabled])
 238
 239   defp dont_run_in_test(env) when env in [:test, :benchmark], do: []
 240
 241   defp dont_run_in_test(_) do
 242     [
 243       {Registry,
 244        [
 245          name: Pleroma.Web.Streamer.registry(),
 246          keys: :duplicate,
 247          partitions: System.schedulers_online()
 248        ]}
 249     ] ++ background_migrators()
 250   end
 251
 252   defp background_migrators do
 253     [
 254       Pleroma.Migrators.HashtagsTableMigrator,
 255       Pleroma.Migrators.ContextObjectsDeletionMigrator
 256     ]
 257   end
 258
 259   defp shout_child(true) do
 260     [
 261       Pleroma.Web.ShoutChannel.ShoutChannelState,
 262       {Phoenix.PubSub, [name: Pleroma.PubSub, adapter: Phoenix.PubSub.PG2]}
 263     ]
 264   end
 265
 266   defp shout_child(_), do: []
 267
 268   defp task_children(:test) do
 269     [
 270       %{
 271         id: :web_push_init,
 272         start: {Task, :start_link, [&Pleroma.Web.Push.init/0]},
 273         restart: :temporary
 274       }
 275     ]
 276   end
 277
 278   defp task_children(_) do
 279     [
 280       %{
 281         id: :web_push_init,
 282         start: {Task, :start_link, [&Pleroma.Web.Push.init/0]},
 283         restart: :temporary
 284       },
 285       %{
 286         id: :internal_fetch_init,
 287         start: {Task, :start_link, [&Pleroma.Web.ActivityPub.InternalFetchActor.init/0]},
 288         restart: :temporary
 289       }
 290     ]
 291   end
 292
 293   # start hackney and gun pools in tests
 294   defp http_children(_, :test) do
 295     http_children(Tesla.Adapter.Hackney, nil) ++ http_children(Tesla.Adapter.Gun, nil)
 296   end
 297
 298   defp http_children(Tesla.Adapter.Hackney, _) do
 299     pools = [:federation, :media]
 300
 301     pools =
 302       if Config.get([Pleroma.Upload, :proxy_remote]) do
 303         [:upload | pools]
 304       else
 305         pools
 306       end
 307
 308     for pool <- pools do
 309       options = Config.get([:hackney_pools, pool])
 310       :hackney_pool.child_spec(pool, options)
 311     end
 312   end
 313
 314   defp http_children(Tesla.Adapter.Gun, _) do
 315     Pleroma.Gun.ConnectionPool.children() ++
 316       [{Task, &Pleroma.HTTP.AdapterHelper.Gun.limiter_setup/0}]
 317   end
 318
 319   defp http_children(_, _), do: []
 320
 321   @spec limiters_setup() :: :ok
 322   def limiters_setup do
 323     config = Config.get(ConcurrentLimiter, [])
 324
 325     [Pleroma.Web.RichMedia.Helpers, Pleroma.Web.ActivityPub.MRF.MediaProxyWarmingPolicy]
 326     |> Enum.each(fn module ->
 327       mod_config = Keyword.get(config, module, [])
 328
 329       max_running = Keyword.get(mod_config, :max_running, 5)
 330       max_waiting = Keyword.get(mod_config, :max_waiting, 5)
 331
 332       ConcurrentLimiter.new(module, max_running, max_waiting)
 333     end)
 334   end
 335 end